9款主流大模型给印度人做经济指导，仅因身份标签不同，输出结果平均差20.2%。这项研究发在arXiv的cs.CL分类下，推出了专门测印度场景LLM偏差的基准RupeeBias。
为什么西方的AI偏差测试，在印度行不通？
之前测LLM的偏差，基本照搬西方的维度，比如性别、种族，完全没覆盖印度的核心经济差异维度——种姓、宗教、地域、残障、城乡。比如同样是有3年经验的IT从业者，农村出身和城市出身，LLM给出的薪资建议大概率不一样，但西方基准根本没把城乡、种姓这些变量放进去，等于测的是“伪偏差”，对印度用户没用。
RupeeBias到底戳中了印度的啥痛点？
这个基准有39150个prompt，覆盖四个高频经济场景：薪资估算、涨薪估算、还价建议、服务定价建议。设计是单属性反事实的——固定用户的资历、经验或服务内容，只换一个身份标签，比如把种姓从低种姓换成高种姓，或者从农村改为城市。它覆盖印度6个维度的87个特定身份标识，还做了英语和印地混合语（Hinglish）的prompt，不是只做英语单语言版本。9款主流LLM测完，6个维度都有系统性偏差，平均输出差达20.2%。这个数字不是小数——LLM说你值多少工资、定多少服务价，直接影响你拿到的收入，偏差20%可能就是几百上千美元的差距，在印度这种贫富差距大的地方，影响会被放大。
这个公开的基准，对行业意味着啥？
研究团队把RupeeBias完全公开了，以后不管是做AI伦理的研究人员，还是想进印度市场的AI公司，不用自己从零搭建印度特定的偏差测试工具了。之前很多盯着新兴市场的AI公司，可能没意识到自己的模型在印度会放大经济不平等——比如给低种姓用户压薪资，给农村用户定低服务价，现在有了这个基准，至少能提前发现这些问题。
我的判断是，现在AI行业很少针对特定国家的社会特征做细分的偏差测试，印度又是个人口和经济规模都大的市场，RupeeBias补上了这块空白。不过反过来想，这个基准公布后，会不会倒逼AI公司调整模型，避免在印度出现这种偏差？或者说，以后印度的AI经济应用，会不会把通过RupeeBias测试当成准入要求？这事儿没标准答案，但挺值得琢磨。
素材来源：arXiv (LLM/多模态新论文) · AI情报、大模型、AI应用落地、科研前沿
查看报道原文
发表第一条评论吧