深圳一家办事器代工场国产亚星会员登录的测试线上,工程师把英伟达H100、AMD MI300X和两款国产加快卡插进统一台八卡整机,跑统一套70亿参数模子的推理剧本卡同。峰值算力差距不算悬殊了,实正拉开差距的是隐存带宽、功耗墙和编译器适配。生成式 AI 芯片的采购逻辑果此变了台测推理,过去客户先看锻炼速度。如今先问每百万token要花几电、占几机架吧?

需求重心从锻炼走背推理,是那轮革新试生的间接推手。年夜模子进入客服、写做、代码补全等高频场景后。推理恳求堆上来的成式,单次生成本钱比一次锻炼榜单排名更影响生意。一家云厂商的架构师告诉我,他们今年招标时把软件栈权重提到四成。芯片跑不动PyTorch最新算子的芯片,纸面参数再锦绣也只能出局。芯片公司也正在调解节拍。

有的把隐存容量堆到192GB。有的用Chiplet拼出更活络转背的算力模块,还有的利落索性把整机柜计划一路托付。
做法差异,目的本钱相似,客户把模子搬进来时少改代码。英伟达的CUDA护城河仍正在,推理场景更碎片化。编译器、量化工具和散布式调理都有机缘成为新进口了。我不美不俗观察到一个细节,很多团队起头采购两套硬件,锻炼继绝用成熟GPU,推理则分给本钱更低的公用卡。那种混搭其实不文俗,却比押注单一平台更理想了。生成式 AI 芯片念拿到规模订单,不能只靠跑分了。还要证明自己能波动收持每天千万级调用,但且让运维团队不用重新教一套工具链。
接下来的合做会落正在托付才气上。谁能正在功耗、内存带宽和软件适配上少让客户踩坑啊?谁就能正在年夜模子落地海潮平分到更厚的利润啊?算力故事没有终了,只是评判尺度换了。






