星知

logo
logo
登录

淘宝MNN 团队开源 MNN-Pocket-0.3B,iPhone 18 Pro 离线解码飙升至 350 token/s

淘宝MNN团队开源约3亿参数移动端大模型MNN-Pocket-0.3B,以173MB部署体积、低于300MB峰值内存及iPhone 18 Pro约350 token/s离线解码,实现低功耗端侧运行,并在多项评测中超越MiniCPM4-0.5B、Qwen3-0.6B等更大规模模型。
发布时间:2026/11/09 03:01|分类:人工智能
淘宝旗下 MNN 团队开源面向手机的轻量化大语言模型 MNN-Pocket-0.3B,约3亿参数。核心性能:在苹果 iPhone 18 Pro 真机测试中平均解码约350 token/s;在 iPad Pro M5 Metal 后端测试中 Prefill 吞吐达8,721 token/s,Decode 吞吐达466 token/s,约为同条件下 Qwen3-0.6B 的1.63倍。INT4MNN 部署文件仅173MB,iPad Pro M5 峰值内存增量228MB;Qwen3-0.6B 部署体积340MB、峰值内存增量427MB,前者部署体积缩减约49%、内存增量减少约47%。一加13(骁龙8至尊版)4-bit 模型功耗测试显示,100次同等负载累计增量能耗约占手机电池总电量0.3%。词表从约151K精简至64K,缩减57%。评测方面:英文 IFEval 73.20,中文指令遵循 IFEval-zh 74.59;11项综合评测平均50.00,超越 MiniCPM4-0.5B、Qwen3-0.6B 等;中文数学 MGSM-zh 51.20,代码生成 HumanEval 53.66。团队开源 Base、SFT、通用、MNN、DFlash2、Dec 等版本,覆盖预训练、后训练、端侧部署与投机解码等场景。
人工智能星知