iPhone断网跑35B多模态！国产开源新模型，只占3G内存

什么？35B的MoE，在手机上也能跑得很丝滑？

我们直接在断网状态下，给iPhone 17 Pro Max手机上传一张数据可视化经典图——拿破仑远征俄国失败的行军路线图：

图里记录的最低气温是多少摄氏度，出现在哪一天，换算过程顺带讲一下。

可以看到，不到1分钟的时间，苹果手机上的模型，就从那条线上找到了零下30度的标注，判断出日期是1812年12月6日，再按1列氏度等于1.25摄氏度换算，给出了零下37.5摄氏度的答案。

而且啊，这个手机上的模型的速度，还能更快。

例如同一张路边停车标志的照片、同一个停车时间的问题，左边是没做优化的35B模型，右边是优化过后的模型：

可以看到，没优化的时候，速度每秒大概2个Token；但在优化之后，速度达到了每秒8-12个Token。即便是在断网状态下，答案也是唰唰唰地往外蹦。

据了解，这个35B模型在iPhone 17 Pro Max上的解码速度，再仅占用3G内存的情况下，能做到每秒13个token以上！

那么这个在手机上能跑成这样的模型，到底是何许AI也？

不卖关子，它就是面壁智能和OpenBMB刚刚正式开源的MiniCPM-V 4.7。一共包含两个大小的版本：

不过有一说一，跑得快还只是一方面，那么MiniCPM-V 4.7放到端侧大模型的圈子里，到底是个什么水平？

通用视觉上，35B-A3B的MMBench拿到91.72、MMStar是80.67；理科题方面，MMMU和MathVista分别是80.22和88.00。视频理解的Video-MME和LongVideoBench也拿到了76.40和68.90。

尤其是OmniDocBench v1.6上，35B-A3B拿到94.24分，另外四个模型都在80分上下，领先了12分以上。

更值得一提的是视觉压缩开到16倍之后的表现。MMBench只从91.72降到90.87，OCRBench从91.20降到90.40，省下来的算力几乎没有拿精度去换。

除此之外，MiniCPM-V4.7在纯文本能力上，中文知识CMMLU拿到90.21，工具调用的τ2-Bench拿到84.65，同样是表里最高。

据悉，MiniCPM-V4.7是首个能在端侧流畅运行、同时不牺牲性能的开源MoE模型。

这次给模型输入的，是一张家庭用电调查表，上面列着空调、冰箱、电热水壶、电视、洗衣机和待机设备的功率与使用时长，再附上这个月的电费账单，一共420度电，126块钱。

先估算每样电器一个月用多少电，排个序；再算算这几样加起来能解释账单的百分之多少，差出来的那部分能不能全算到别的电器头上；最后在三个省电方案里挑出最省的那个，分别是空调每天少开1小时、电视每天少看2小时，以及待机设备每天彻底断电8小时。