谷歌刚推出的DiffusionGemma，把Gemma系列的文本生成速度拉到了原来的4倍。
换了生成逻辑，不是堆算力
之前大模型生成文本，都是走“自回归”的路子——每生成一个词（token），都得盯着上一个词的结果，再算下一个要出什么。这种方式稳，但慢，尤其是长文本的时候，每一步都要等，延迟感明显。DiffusionGemma没走老路子，也没靠堆更大的模型、加更多参数提速，而是换了生成的底层逻辑：把文本生成当成“给噪声去噪”，用扩散模型的思路并行生成多个token，一次出好几个词，所以速度直接提了4倍。
速度优势，盯准了哪些场景？
不是所有用文本生成的地方都需要这么快。比如生成长文案、技术报告，更看重内容的连贯性和准确性，速度快几倍没太大感知；但像实时聊天机器人、智能客服、直播实时互动这种场景，延迟半秒都能被用户察觉到。举个实际的例子，之前客服机器人回一句用户问题要等1秒，用DiffusionGemma后，250毫秒就能输出，用户的等待感会弱很多，互动体验能直接提上来。不过目前还没看到关于它生成文本质量的公开对比，暂时没法说速度和质量能不能兼顾。
DiffusionGemma的出现，是在大模型提速上找了个新方向，不是靠“蛮力”堆资源，而是靠算法逻辑的调整。现在它的4倍速度是实打实的，也没牺牲模型本身的基础规模，这对需要低延迟的场景来说，是个实打实的利好。但有个问题很有意思：扩散模型在图像生成里，偶尔会出现细节模糊、生成内容偏离预期的情况，这次把扩散逻辑移植到文本生成，会不会在某些需要精准表达的场景里，出现类似的“偏差”？毕竟文本的“去噪”逻辑和图像不一样，它能不能平衡速度和文本生成的精准度，还得看后续的落地测试和用户反馈。
素材来源：Google DeepMind Blog · AI情报、AI应用落地
查看报道原文
发表第一条评论吧