青岛发布国内首个全模态实时交互大模型VisualGPT，引领人工智能交互新纪元

青岛发布国内首个全模态实时交互大模型VisualGPT，该模型具备自然语言理解和生成能力，可实时交互处理图像、文本等多种信息，这一创新技术的推出，将极大促进人工智能领域的发展，提高人机交互的智能性和效率，为智能客服、智能助手等领域提供更广阔的发展空间，VisualGPT的发布标志着青岛在人工智能领域取得了重要进展。

在青岛虚拟智能体产业大会上，国内首个支持全模态实时交互的视觉语言大模型——VisualGPT 正式发布，并同步推出智能体训练平台，向全国开发者开放多模态数据与算力资源。

核心特性

• 全模态实时交互：用户上传图片或视频后，可在画面中直接圈选、标注区域，或通过语音提问，模型将即时返回结构化答案、可执行代码或生成3D场景，无需切换至文字输入模式。
• 所见即所得交互体验：VisualGPT 创新性地融合视觉编码器与流式解码器，实现视觉输入与语义响应的无缝衔接，提升人机交互效率。
• 跨领域应用落地：官方已为教育、医疗、金融三大行业提供专用SDK。教师可对课件中的公式圈选并自动生成动画讲解；医生在阅片过程中可实时询问病灶参数；金融分析师则能针对K线图提问，获取策略回测结果。

青岛智能体训练平台现已配备1000张A100/H100混合GPU算力，以及高达10PB的多模态数据集，面向企业、高校及个人开发者免费开放申请。预计到2026年，平台将扩容至5000张H100，建成北方规模最大的AI训练集群。大会同期发布“百企百景”应用场景对接清单，首批征集超过200项视觉交互需求，计划于2025年底前完成100个典型示范项目落地。

据青岛市工信局介绍，未来三年将以 VisualGPT 为核心打造“青岛AI创新谷”，目标引进超300家上下游企业，构建千亿级全模态交互产业集群。

源码地址：点击下载