2026-11-18 13:36:22
来源:投资家网 作者:
摘要:“大模型在上半场已经证明了我们可以打造出世界级的模型。但下半场更重要的是,如何把这些模型的能力变成高质量、低成本、稳定供给的、有价值的Token能力。”林咏华在开场演讲中指出,随着大模型首次以“Token产能”的形态进入一线产业衡量体系,两个现实矛盾正在凸显。
11月16日,美国商务部工业与安全局(BIS)最新出口管制政策正式落地,将限制范围从芯片实物进一步延伸至远程算力访问,旨在封堵中国企业通过海外数据中心获取先进AI算力的路径。
这一外部变量正在迅速传导至国内算力供给侧。对于正在兴起的“国芯Token工厂”而言,海外算力通道的收窄在需求侧倒逼本土算力加快承接真实业务;但在供给侧,国产推理芯片在制造与封装环节同样面临更严苛的审查。硬件供给依然紧俏,产业界不得不直面一个更迫切的工程命题:在现有的国产新卡与海量存量集群之上,如何把每一张卡榨出更高、更稳、算得平经济账的“有效Token产能”?
11月17日,在“国芯国模自主生态”2026清昴AI伙伴大会暨Token工厂年会上,北京智源人工智能研究院与清昴智能联合发布“国产Token工厂端到端推理优化方案”,基于众智FlagOS(开源多芯片统一AI系统软件栈)正式上线基于国产芯片的商用Token工厂。

“剪刀差”下的算力困局:电价逻辑与生态割裂
“大模型在上半场已经证明了我们可以打造出世界级的模型。但下半场更重要的是,如何把这些模型的能力变成高质量、低成本、稳定供给的、有价值的Token能力。”林咏华在开场演讲中指出,随着大模型首次以“Token产能”的形态进入一线产业衡量体系,两个现实矛盾正在凸显。
首先是模型迭代与硬件基建之间的“周期剪刀差”。如今主流大模型几乎以月甚至以周为单位更新架构,但底层算力基础设施往往两到三年才会更新换代一批。如果软件层跟不上,昂贵的硬件刚部署不久就会面临跑不动新模型的尴尬。
其次是算力成本与供应链安全。林咏华用工业时代的“电价”作比:中国制造业的竞争力很大程度上源于低电价,而电力供应的底气来自九成以上依赖本土煤炭的能源结构;推演到智能时代,行业期盼的是亲民的百万Token单价,而供应链安全的底气,则取决于底层算力供给能否扎根国内。
但硬件侧是按卡、按规模采购,应用侧要的却是按秒交付的Token。正如清昴智能创始人兼CEO关超宇在会上所言,两者之间亟需一座高效“翻译器”,将闲置、异构、难用的国产算力组织成可计量、高可靠的标准化产能。
“无论在CPU时代还是AI芯片时代,都不可能由一款芯片包揽天下。”林咏华认为,国内并不缺少优秀的芯片厂商,真正稀缺的是能够让所有硬件共享的软硬件协同生态。李炎在随后的分享中也点破了工程团队的切身痛点:面对百花齐放的模型与芯片,产业不能每发布一个模型、每推出一款芯片就从头做一次底层适配与算子重写。
这也正是智源过去四年联合高校与芯片厂商持续推进开源FlagOS的初衷——用一套开放、统一、可复用的系统软件栈,让同一套算子与编译系统在不同硬件上共享优化经验。截至目前,FlagOS生态已汇聚21家芯片企业与86家生态伙伴,覆盖35款AI芯片。其底层由通用算子库FlagGems、训推并行框架FlagScale、统一编译器FlagTree与统一通信库FlagCX构成,9大算子库累计沉淀超过1,454个开源Triton算子,其中近八百个算子在至少5款国产芯片上达到了原生算子80%以上的性能。在框架层面,智源坚持不fork上游代码库,而是通过插件化机制零侵入接入vLLM、SGLang、Megatron-LM等主流社区生态,实现了单个代码仓库覆盖20家厂商后端,并在过去半年多次完成新模型发布当天(Day0)即同步跑通多达12款芯片的验证。
深入微秒级内核:众智FlagOS把国产新卡跑进商业生产线
对于追求商业盈利的Token工厂而言,模型“能跑通”只是及格线,能否把延迟压低、吞吐拉高,才是决定服务质量与盈利空间的关键。
在此次联合发布的“国产Token工厂端到端推理优化方案”中,智源团队直接将优化推进到了华为昇腾910C集群的微秒级内核,主攻智谱GLM-5.3与GLM-5.3-Flash模型。李炎介绍,大模型推理在计算密集的Prefill阶段和访存密集的Decode阶段瓶颈截然不同,必须对症下药。
在Prefill阶段,针对GLM-5.3-Flash的混合注意力架构,团队重构了大小块计算路径,协调芯片内部的向量与矩阵计算单元并行分工,省去了中间结果的频繁片外搬运。在81,920输入长度、16并发的测试中,波次吞吐提升了3.41%;在256K超长输入下,TTFT p50下降了4.94%。
到了受访存带宽掣肘最严重的Decode阶段,团队对碎片化的算子进行了深度融合——通过LI量化写回技术,将原本分步执行的动态量化、尺度转换与HBM缓存写回合并进同一个内核。在910C微基准测试中,这一改造将原本18.03微秒的原生链路耗时压缩至2.04微秒,实现接近9倍的提速;叠加针对小批量输入的向量路径定制,在端到端商业场景实测中,Decode阶段的ITL整体下降超过10%,TPOT降低8%以上。
这种不依赖堆叠硬件、纯粹通过底层内核重构释放出的性能红利,正在帮助清昴智能的Token工厂在同等算力规模下承接更高的并发商业流量。
盘活存量910B:让老卡扛起1M长上下文
相比最新一代芯片上的性能冲刺,国内算力中心面临的另一个更现实的难题在于存量资产。市场上已经部署了大量昇腾910B服务器,但面对动辄支持百万(1M)上下文的新一代模型,老卡往往面临显存与算力的双重告急。
“GLM-5.3-Flash和DeepSeek-V4.1-Flash这样的Flash类模型,其实是国产存量卡的天选之子。”李炎在现场提出了一个务实的判断。与其等待漫长的硬件换代,不如用系统软件架构把存量910B的潜力挖透。
在智源内部的BAAI Token Hub上,团队基于FlagOS全栈将48张存量910B组织为“Prefill与Decode分离”的推理集群,稳定跑通了支持1M上下文的GLM-5.3-Flash服务。32张卡组成4个Prefill域专门消化长序列输入,另外16张卡组成8个Decode域专注保障多并发流式输出。该服务已连续稳定运行两周,线上TTFT P50保持在2.3秒左右,TPOT P50稳定在22毫秒。
更进一步的效率跃升来自缓存与搬运链路的重构。团队在框架插件侧打通了跨Prefill域的Prefix Cache复用,将缓存拆分为本地显存、私有主机内存与共享主机内存三级存储,并结合分段SDMA优化,把零散的内存页合并成连续传输段以拉高PCIe带宽利用率。实测数据显示,这一方案将前缀命中率从82.65%推升至94.15%,推动复用阶段的首字时延中位数从16.63秒下降至3.10秒,降幅高达81.4%。
这意味着,企业与科研院所手中大批存量910B集群无需推倒重建,通过软件栈升级即可直接具备承接长上下文商业服务的能力。林咏华还在现场透露,基于FlagOS统一技术栈,智源仅用两周时间便完成了对华为910B-T芯片关键大模型算子的适配与性能优化。
多芯横向印证与生态“保驾护航”
在智源看来,统一软件栈的价值不能只在单一芯片上得到验证。峰会现场公布的多芯横向实测显示,在平头哥810E上,FlagOS 2.2帮助DeepSeek-V4.1-Flash推理性能提升77%至82%,实现16路并发可用、最高支持80并发,每请求解码速度达到136.2 tok/s;在海光BW1100上,GLM-5.3-Flash的推理性能也提升了25%以上,多并发下单路吞吐突破80 TPS。
从底层算子库、编译器到跨芯片调度插件,此次智源作为首批战略伙伴深度参与联合发布,正是希望将开源社区沉淀的优化能力,直接输送给一线Token工厂与终端企业。
正如林咏华在演讲最后对产业伙伴作出的承诺——智源与开源社区扮演的正是“保驾护航”的角色:“无论你手里是已经运行多年的存量集群,还是正在部署的新一代芯片,乃至未来即将问世的新架构硬件,都不用担心上面运行不了最新的模型。”在算力竞争转向比拼“有效Token”的当下,一个开放、可复用的系统软件底座,正在成为国产算力打破周期束缚的关键支点。
近日,中科大机器人博士段逸凡宣布在上海创立具身智能公司灵犀智涌,定位于工业级自进化具身智能机器人企业...
2026-08-21中坚科技(002779.SZ)旗下桦之坚携概念人形机器人ZERO重磅亮相。开展首日,两层楼高的巨型化...
2026-08-21装卸环节一直是物流场景中极难突破的“最后一块拼图”。在2026世界机器人大会(WRC)现场,赛那德携...
2026-08-21京城机电旗下配天机器人、中航迈特,以及京城机电牵头成立的北京人形机器人创新中心携多款新品亮相展会,集...
2026-08-21作为全球领先的AI硬件制造解决方案提供商,广东领益智造股份有限公司(以下简称 "领益智造")携 1....
2026-08-21投资家网(www.investorscn.com)是国内领先的资本与产业创新综合服务平台。为活跃于中国市场的VC/PE、上市公司、创业企业、地方政府等提供专业的第三方信息服务,包括行业媒体、智库服务、会议服务及生态服务。长按右侧二维码添加"投资哥"可与小编深入交流,并可加入微信群参与官方活动,赶快行动吧。

本届沙龙既搭建起思想碰撞的交流平台,也提供了深入产业的调研窗口,既探讨了AI时代内容创作的守正与创新...
1 分钟下线 1 台电机 年产 30 万台!卓誉四代智能产线投产 支撑具身智能规模化量产
掌阅科技一季度营收7.94亿元,全面加码AI短剧
ATFX:阿联酋突然宣布退出欧佩克,令其盟友措手不及。在加入欧佩克六十年后,阿联酋决定于下个月正式退...
精微视达完成新一轮超亿元融资,国产高端内镜领跑精准诊疗全球前沿