目前针对多模态内容的仇恨言论检测，非英语语料的缺口有多大？arXiv分类为cs.CL（计算语言学）和cs.CV（计算机视觉）的最新研究，推出了MexHat数据集，给出了具体数字：它收录了约1000段标注过的视频片段，专为墨西哥西班牙语语境设计，瞄准的是之前没人好好补的那块短板。
墨西哥西班牙语的仇恨检测，之前为啥没好用的数据集？
之前仇恨检测的自动化模型进步不小，但非英语资源一直是硬伤——尤其是多模态（视频）的，要抓语境、文化细节、表达意图，这些单文本数据补不上。墨西哥西班牙语的特殊性在于，很多冒犯或仇恨的表达带地域文化色彩：比如某些俚语的语境，只有当地人才懂，别的数据集没覆盖到，模型学不到这些，就容易把冒犯当成玩笑，或是漏判隐性的仇恨内容。之前接触过拉美视频平台的内容审核，他们要么靠人工筛，要么用英语模型硬套，准确率都惨不忍睹。
MexHat的核心：双任务标注抓准文化与语言细节
它的设计就是为了填这个坑。标注任务分两类：一类是三分类，把视频内容分成「无负面」「冒犯内容」「仇恨言论」；另一类是细分类任务，专门给仇恨言论拆成不同子类别。1000段视频不算特别大，但胜在标注精准——不是把英语数据集转成西班牙语就完事，而是专门针对墨西哥语境的口语、俚语、文化梗来标注。研究里提到，数据集的统计结果和基线实验都显示，这个任务本身有固有挑战，哪怕有了这个数据集，训练出的模型也得花功夫调，毕竟文化线索的边界太模糊，有时一句冒犯的话，要看说话人的语气、语境才好定性。
对行业的实际价值：补了小语种多模态检测的关键缺口
对做内容安全的公司、或是海外视频平台来说，这个数据集的意义很实在。之前做墨西哥西班牙语的视频仇恨检测，要么没数据，要么数据不贴语境，现在有了MexHat的标注案例，模型能学到当地的隐性规则：比如某句带地域俚语的话，在墨西哥语境里算冒犯还是玩笑，模型能对应标注案例调整识别逻辑。当然，1000段视频对大模型来说不算多，后续肯定还得扩，但至少开了个好头，把之前的空白填了一块。
要提醒的是，这个数据集包含的内容可能让部分读者不适——毕竟是直接从视频里提取的仇恨相关片段，伦理上的考量也是内容安全领域绕不开的问题。现在有了MexHat，墨西哥西班牙语视频的仇恨检测准头会上来，但会不会有更多小语种的专属数据集冒出来？
素材来源：arXiv (LLM/多模态新论文) · AI情报、AI行业观察
查看报道原文
发表第一条评论吧