苹果发布两大开源模型家族,FastVLM 与 MobileCLIP2

苹果近日宣布开源两大模型家族:FastVLM与MobileCLIP2,这两个模型家族分别专注于视觉和语言处理任务,旨在提高苹果设备的智能处理能力,FastVLM强调快速高效的视觉任务处理,适用于各种设备上的实时图像分析,而MobileCLIP2则专注于语言处理,优化在移动设备上的使用体验,苹果的这一举措将推动机器学习领域的发展,并为开发者提供更多机会。

苹果开源两大模型家族:fastvlm 与 mobileclip2

苹果发布两大开源模型家族,FastVLM 与 MobileCLIP2

苹果近日在 Hugging Face 平台上正式开源了两大模型系列:FastVLM 与 MobileCLIP2。

  • FastVLM 是一种面向高分辨率图像的视觉语言模型(VLM),采用新型的 FastViTHD 混合视觉编码器,能够在降低输出 token 数量的同时显著缩短编码时间,从而更高效地解析图像与文本之间的关联。
  • MobileCLIP2 则是 CLIP 模型的轻量级版本,专为移动设备和边缘计算场景优化,致力于实现低延迟、高效率的本地化推理。

FastVLM 系列涵盖 0.5B、1.5B 和 7B 三种参数规模。其中,FastVLM-7B 在 DocVQA 上取得 93.2 的成绩,在 ScienceQA 上达到 96.7,展现出行业领先的性能表现。

同时发布的还有 MobileCLIP2 模型系列,相关模型已上线 Hugging Face 的专属 Collections 页面。

相关论文《FastVLM: Efficient Vision Encoding for Vision Language Models》已被 CVPR 2025 接收,论文内容已公开,模型仓库中也一并提供了引用信息。

https://www.php.cn/link/84403a769c84d34088c8b19584a235ad
https://www.php.cn/link/d6afc47d9260056bf6ebac5a4c908540
https://www.php.cn/link/49aea21a9ed85c3bd530a37df3de1c7e

关键词:苹果2025

网友留言(0 条)

发表评论