端侧 AI 的拐点来了吗?

"本地大模型"喊了好几年,今年 7 月突然密集落地——而且不是之前的"能跑 1B 小模型"那种意思,而是开始有人宣称单芯片能跑 35B、端侧 Agent 能自主干活。端侧 AI 是真的到拐点了,还是又一轮 PR?

这一波到底发布了什么

  • 光羽芯辰 TC1000 系列(7/17,WAIC 首发):端侧 3D 堆叠近存算低功耗推理芯片。官方数据:单芯片 3B 模型 300 token/s,支持 35B 规模大模型高性能运行,同等算力功耗仅传统方案 1/3,等效带宽提升 10 倍。直接对标"摆脱云端依赖、原生支持端侧 Agent"。
  • 华润微 × 陆兮科技类脑端侧芯片(7/17):全球第一款为大模型推理原生设计的端侧类脑芯片,用 RRAM 与 NPU 结合的 3D 堆叠突破内存瓶颈,计划 2027 工程样片、2028 量产,可集成进 AI 眼镜。
  • 更早的 东方算芯 DF1000、中昊芯英「须臾」 虽主打云端/智算,但其 3D 近存计算架构同源——带宽墙破了,端侧才装得下大模型。

拐点的前提:三堵墙被推了一寸

端侧 AI 过去卡在三点:带宽不够(模型权重搬不动)、功耗太高(手机/眼镜扛不住)、算力太弱(跑不动像样模型)。3D 近存计算把计算层压到存储层上,带宽数量级提升、功耗大幅下降,正好同时解了前两堵墙。TC1000 说的"3B@300tps、35B 可运行",本质是带宽和功耗让位之后,端侧第一次摸到了"可用大模型"的门槛。

哪些场景是真的近了

  • 手机 / AI PC:本地摘要、本地写作、本地代码助手,隐私数据不出设备。
  • AI 眼镜 / 可穿戴:类脑芯片明说要进眼镜,低功耗是刚需。
  • 人形机器人 / 工业设备:离线自主决策,不依赖网络抖动。
  • 端侧 Agent:TC1000 强调"原生支持端侧 Agent 自主智能"——把自动化从云端下沉到设备。

但别急着宣布"云端已死"

真实约束还在:

  1. 量产节奏差得远。TC1000 终端年底明年初才陆续发布;类脑端侧 2028 才量产。发布会上的芯片,不等于你口袋里的芯片。
  2. 端侧跑得动的,仍是"小且够用"的模型。35B 在端侧是"能跑",不是"跑得爽";和云端 万亿参数 旗舰比推理深度,还差着代际。端侧解决的是推理/交互,不是训练。
  3. 续航和散热是物理天花板。纸面功耗降 1/3,落到手机上还要跟屏幕、5G、相机抢电。长时间端侧推理的发热,目前没有哪家给出让人放心的实测。
  4. 模型能力 vs 隐私的权衡。完全离线意味着用更小的模型、放弃云端最强智能。用户愿不愿意为隐私牺牲一点聪明,是商业问题不是技术问题。

结论:推理拐点已至,训练拐点还远

严谨地说,端侧 AI 的"推理拐点"确实在 2026 年这一波成立了——带宽和功耗的突破让本地跑可用大模型从 PPT 变成工程现实。但它是"补充云端"而非"取代云端":重活、长思考仍在云上,轻活、隐私活、实时活下沉到设备。

值得盯的不是"拐点来没来"这个二元问题,而是哪类应用会率先因为端侧而重生:离线助手、隐私计算、机器人自主——这些才是端侧真正改写格局的地方。至于"云端已死"的标题,留给营销号吧。