同样在A100 GPU上跑Llama-3.1-8B的解码任务，用常规剪枝法的速度是1倍，换成SparseDecoding能到1.48倍，生成质量还没降——这是arXiv上一篇新论文给出的实测结果。
老剪枝法的两个致命问题
之前业界解决LLM解码延迟的主流方案，是基于Hessian的层剪枝：通过剪去少量参数减少解码时的内存读取量。但这套方法有两个硬伤。
第一个坑是分布偏移：旧剪枝法用提前收集的自然文本算Hessian，可解码时模型吃的是自己生成的token序列，两者分布完全不同。算出来的Hessian不对，剪完的模型自然性能下滑——相当于裁缝拿路人尺寸做衣服，穿在模型身上根本不合身。
第二个坑是运算适配差：多数剪枝法优化的是稀疏矩阵乘矩阵（SpMM），但解码时占运算量90%以上的是稀疏矩阵乘向量（SpMV）。旧方法对SpMV支持有限，剪完后实际跑起来提速不明显，白折腾。
SparseDecoding的两个核心设计
针对这两个坑，新框架SparseDecoding从算法和系统两个维度补全了短板。
算法层面，它不用自然文本做校准，而是拿模型自回归生成（排除prefill阶段）时的层激活做校准——相当于剪枝前先摸清楚模型自己的“说话习惯”，让剪枝目标和解码时的实际运算状态对齐，从根源上解决分布偏移问题。
系统层面，它专门做了适配解码的优化：针对N:M稀疏规则，开发了带位掩码索引和固定步遍历的SpMV核，精准匹配解码时的向量运算需求，这才是能把提速拉满的关键。
对当下的实际价值
论文里测了四个常用开源模型：Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B和32B，在长文本生成基准上，SparseDecoding比常规固定文本校准的剪枝法表现更稳定，在A100上能拿到最高1.48倍的端到端解码速度。
现在LLM落地的最大痛点之一，就是解码延迟卡高并发——尤其是中小模型部署到推理服务或边缘设备时，延迟高就意味着成本下不来。SparseDecoding的优势是不用改模型结构，只在剪枝规则和运算核上做优化，属于见效快、成本低的落地级方案。
我觉得这个方法最务实的地方，是没搞花架子，直接抠解码这个最吃性能的环节，而且用的都是现有开源模型，没有新的技术壁垒。那你觉得，接下来会不会有更多开源推理框架直接集成这种解码感知的剪枝？
素材来源：arXiv (LLM/多模态新论文) · AI情报、大模型
查看报道原文
发表第一条评论吧