面壁智能开源 MiniCPM-V 4.7,35B MoE 多模态模型可在手机上流畅运行
OpenBMB 发布 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,支持单图、多图和视频理解,官方称 35B-A3B 在 iPhone 17 Pro Max 上仅占约 3GB 内存即可达到每秒 13 个以上 token。
面壁智能与清华团队主导的开源社区 OpenBMB 发布了多模态模型 MiniCPM-V 4.7,提供 35B-A3B(总参数 35B、推理激活约 3B)和 1B 两个版本,其中 35B-A3B 是 MiniCPM-V 系列首个 MoE 模型。
- 端侧可用:官方称借助新提出的"前瞻专家调度(LES)"、分层精细量化和 DSpark 投机采样,35B-A3B 在 iPhone 17 Pro Max 上约 3GB 内存即可跑到每秒 13+ token,是首个能在终端设备上流畅运行且不牺牲性能的开源 MoE 模型;
- 能力覆盖:支持单图、多图和视频理解,官方教程涵盖 OCR、PDF 解析、视觉定位、视频按时间线描述画面文字与场景变化等任务;
- 平台支持:支持 iOS、安卓和鸿蒙,首日适配瑞芯微、后摩、Intel、AMD、Arm 等芯片平台;
- 部署友好:支持 vLLM、SGLang、llama.cpp、Ollama 等推理框架,提供 GGUF、AWQ、GPTQ、FP8、int4 等量化版本,并开源了低成本微调方法 Self-Replay Fine-Tuning。
模型权重已在 Hugging Face 上线,也可通过 Ollama 直接拉取。
对创作者意味着什么: 看懂视频、识别截图和 PDF 文字,是拆解对标视频、整理素材、提取字幕和做图文笔记的高频需求。端侧多模态模型变强,意味着这些工作未来可以在手机或普通电脑上离线完成,不必上传素材到云端,隐私和成本都更可控。有一定动手能力的创作者,可以先用 Ollama 在本地试一试视频内容总结和图片文字提取。
信息来源:Hugging Face · openbmb(本文为编辑整理改写)