企业AI成本压力推动本地部署回归

本文要点
- 云token账单超支,企业开始把AI推理迁回本地和开源模型。
戴尔和英特尔的业务负责人在戴尔AI领导力研讨会上指出,越来越多企业客户发现,原本按数月规划的云token预算在几周内就被耗尽。随着智能体工作负载增加,推理调用量快速上涨,云端按量计费的模式让成本变得难以预测。部分湾区客户已经开始重新评估推理应该跑在哪里,本地基础设施和开源权重模型因此重新进入讨论范围,与云端前沿模型搭配使用。两位负责人强调,这不是要放弃前沿模型,而是通过本地部署分担一部分负载,缓解token预算压力。 这一变化之所以重要,是因为它可能改变企业AI的硬件采购逻辑。过去两年,企业采购几乎一边倒地追逐GPU,但智能体工作负载对编排、推理和边缘计算的需求,让CPU的利用率明显上升。英特尔方面表示,其智能体AI架构覆盖编排、推理和边缘三个层面。
戴尔团队也观察到这种重心转移,只是很多买家还没跟上。对云厂商来说,这意味着部分推理收入可能流向本地;对戴尔、英特尔这类提供本地基础设施的厂商,则是一个重新拿回企业预算的窗口。 对正在部署AI的企业IT负责人来说,这条消息的实用价值在于:不必默认所有推理都放在云端。可以先在沙箱环境里测试开源权重模型,评估自己的业务到底需要多大的模型、多低的延迟。很多企业数据中心里已有CPU资源存在闲置余量,足以跑一些新一代应用。在决定生产部署前,把现有基础设施的资本支出和云端运营支出放在一起算账,再决定哪些工作负载留在云上、哪些迁回本地,是更稳妥的做法。
会员留言