AI资讯2026 / 10 / 29约 5 分钟会员专属
20 亿参数模型装进手机：端侧小模型集体上机，延迟降到几十毫秒
一批 20 亿参数级模型通过蒸馏和结构化剪枝，已接近上一代中型云端模型的表现，并具备视觉、语音与工具调用能力，可以装进手机运行，云端数百毫秒的延迟被压到几十毫秒。 对语音交互，几十毫秒是可用与不可用的分水岭。做端侧应用要分好工：即时响应和隐私数据走端侧，复杂推理留在云端。
星星辰编辑部· 2026 / 10 / 29 · 约 5 分钟 · 会员专属
速览
- 12B 级模型已能覆盖视觉、语音、工具调用
- 2端侧推理把延迟从数百毫秒压到几十毫秒
- 3云端与端侧的分工正在重新划分
参数变小，能力没怎么变小
通过蒸馏与结构化剪枝，20 亿参数模型在多项基准上已经接近上一代中型云端模型的表现。真正的变化不是跑分，而是它能装进手机。
延迟才是体验的分水岭
云端往返通常带来数百毫秒延迟，端侧可以把这个数字压到几十毫秒。对语音助手这类交互，这是可用与不可用的区别。
云端干什么
- 复杂推理与长链路任务留在云端
- 端侧负责即时响应与隐私敏感数据
- 两端之间用路由策略决定谁来处理
相关阅读
全文 Markdown
一键复制或下载，粘进笔记、文档，或直接喂给 AI