MiniCPM-V 4.7 open-sourced: 35B MoE runs offline on iPhone in 3GB memory
ModelBest and OpenBMB have open-sourced MiniCPM-V 4.7, a multimodal MoE model available in 35B-A3B and 1B versions. The 35B-A3B, the first MoE in the MiniCPM-V series, runs on iOS and Android devices with about 3GB memory, achieving over 13 tokens per second on an iPhone 17 Pro Max offline. The 1B version (1.3B actual parameters) targets OCR, math, and video understanding.
Coverage timeline
量子位量子位
iPhone断网跑35B多模态！国产开源新模型，只占3G内存 十三 2026-10-14 04:55:15 来源： 量子位 面壁开源MiniCPM-V 4.7 金磊 发自 凹非寺 量子位 | 公众号 QbitAI 什么？ 35B 的 MoE ，在 手机 上也能跑得很丝滑？ Yeah~It’s true. 我们直接在 断网 状态下，给 iPhone 17 Pro Max 手机上传一张数据可视化经典图——拿破仑远征俄国失败的行军路线图： 然后我们直接提问： 图里记录的最低气温是多少摄氏度，出现在哪一天，换算过程顺带讲一下。 可以看到，不到1分钟的时间，苹果手机上的模型，就从那条线上找到了零下30度的标注，判断出日期是1812年12月6日，再按1列氏度等于1.25摄氏度换算，给出了零下37.5摄氏度的答案。 而且啊，这个手机上的模型的速度， 还能更快 。 例如同一张路边停车标志的照片、同一个停车时间的问题，左边是没做优化的35B模型，右边是优化过后的模型： 可以看到，没优化的时候，速度每秒大概2个Token；但在优化之后，速度达到了每秒8-12个Token。即便是在断网状态下，答案也是唰唰唰地往外蹦。 据了解，这个35B模型在iPhone 17 Pro Max上的解码速度，再仅占用3G内存的情况下，能做到 每秒13个token以上！ 丝滑，着实是有点丝滑。 那么这个在手机上能跑成这样的模型，到底是何许AI也？ 不卖关子，它就是面壁智能和OpenBMB刚刚正式开源的MiniCPM-V 4.7。一共包含两个大小的版本： 35B-A3B：总参数35B，每次推理只激活3B，也是MiniCPM-V系列的第一个MoE模型。大约只要3G内存就能在iOS、安卓设备上流畅运行。 1B：实际参数1.3B，主打极小体积，OCR、数学和视频理解，放在同尺寸模型里都属于第一梯队。 不过有一说一，跑得快还只是一方面，那么MiniCPM-V 4.7放到端侧大模型的圈子里，到底是个什么水平？ 通用视觉 上，35B-A3B的MMBench拿到91.72、MMStar是80.67； 理科题 方面，MMMU和MathVista分别是80.22和88.00。 视频理解 的Video-MME和LongVideoBench也拿到了76.40和68.90。 尤其是OmniDocBench v1.6上，35B-A3B拿
