正文：
谷歌TPU跑Kimi的推理速度，比英伟达GPU快了57%。这是vLLM人马创业公司的测试结果——全程使用的是DeepSeek开发的推理框架。
测试的核心事实
vLLM人马创业公司是专注于推理框架优化的团队，这次测试是针对Kimi模型的专项推理测试，仅聚焦于推理阶段的性能对比，没有涉及模型训练环节。测试的对比对象明确：模型是Kimi，硬件分别为谷歌TPU和英伟达GPU，统一采用DeepSeek的推理框架，最终跑出的效率差为TPU比GPU快57%。整个测试没有披露硬件具体型号、模型参数量等额外细节，所有结论都基于公开的测试结果，没有假设或补充信息。
差距的核心变量
这次测试的关键变量不是硬件本身，而是DeepSeek的推理框架。同样的模型、同样的运行任务下，TPU在适配该框架时，能释放出比英伟达GPU更强的性能。之前不少开发者形成了固定印象：AI推理的最优硬件是英伟达GPU，尤其是大模型推理场景，英伟达的生态和性能是首选。但这次测试说明，硬件的表现很大程度上取决于框架的适配程度——换对了框架，TPU的硬件优势就能直接转化为推理速度的差距，而这次的差距直接到了57%，是不小的突破。
对推理赛道的小信号
这个结果至少打破了一个刻板认知：AI推理的最优解不一定是英伟达GPU。谷歌TPU虽然在消费级市场少见，但在企业级推理场景中，只要框架适配到位，性能能甩开GPU一大截。这对那些想降低推理成本的企业来说，可能是个值得关注的新选项——不用盯着英伟达的GPU，也能拿到不错的推理速度，甚至能省不少成本。
如果后续更多主流模型都适配DeepSeek的推理框架，谷歌TPU会不会成为推理端的新热门选择？
素材来源：量子位 · AI情报、大模型、AI芯片与算力、消费级AI
查看报道原文
发表第一条评论吧