最近arXiv上挂出的Open-MMUnlearning框架，把多模态大模型（MLLM）遗忘领域的混乱，给梳理出了清晰的脉络——这个开源项目覆盖5个基准、8个模型家族、12种遗忘方法。
为什么MLLM的“遗忘”这么难？
MLLM部署越来越广，隐私、安全问题也跟着变突出。机器遗忘本来是解决这个的：删掉模型里指定的信息，还得保留其他能力。但之前的问题一大堆：各团队实现碎片化，评估标准没统一，鲁棒性测试不全，连指标靠不靠谱都没共识，导致没法系统评估进展到底咋样。
Open-MMUnlearning解决了什么？
这是个开源可扩展的框架，把目标模型准备、多模态数据处理、遗忘、评估全整合了，靠的是统一接口和结构化配置。支持的东西很全：5个基准覆盖隐私、安全、版权场景，8个MLLMs来自4个模型家族，12种遗忘方法。评估套件是重点，不单测遗忘效果，还测保留的模型效用，以及对模型干预、对抗输入、成员推理攻击的鲁棒性。
测试出来的关键结论
用统一评估协议比了10种代表性遗忘方法，GD和MIP-Editor总分最高：GD的遗忘质量排第一，MIP-Editor更能保住模型原来的实用能力。另外还做了指标元评估——测试指标的忠实度（用控制过暴露目标知识的模型）和鲁棒性（量化、再训练场景）。13个指标里，BLEU综合可靠性最高；KS-Test的忠实度AUC最高，但鲁棒性表现一般。
这套框架和这些发现，至少给MLLM遗忘的研究者和开发者，提供了可重复比较的基准，也能系统评估不同评估指标的靠谱程度。现在有个问题摆在眼前——当模型遗忘真要落地到实际产品里，这些标准基准里的好成绩，能不能扛住真实用户场景下的各种奇葩情况？
素材来源：arXiv (LLM/多模态新论文) · AI情报、大模型、开源生态
查看报道原文
发表第一条评论吧