星光澄海 | BLOG

LLM-BlockFE:长文本转风控特征的轻量新方案

某金融风控团队上线5个应用后,这套新模型把KS指标提升了0.02到1.56个百分点——别小看这个幅度,风控里KS差0.1,可能就把10%的高风险用户漏判,或是误伤8%的低风险客户。

旧方案的死穴
工业风控原来依赖结构化数据模型,但大量有价值信息藏在长文本里,比如交易备注、客户留言,这些信息不用太亏。但手动挖这些特征,太费人工,而且容易漏最优的。另一条路,实时调用LLM处理每一条文本?不行,现在线上服务时延卡得死,调用一次LLM可能就超了SLA,成本也扛不住——毕竟风控系统每天处理百万级请求,按API调用费算,那开销能吓退所有人。这两个矛盾卡了很久,直到这个新框架出来。

LLM-BlockFE的巧劲
核心思路是“离线做特征,在线直接用”。具体说,LLM先离线生成“可执行的特征程序块”,把长文本转成结构化特征的步骤,直接写成代码块,这些块是不可变的,拼起来就是整个特征提取程序。然后怎么选最好的块?原来的贪心搜索容易困在次优解里,比如加了A块后,加B块就死胡同,但其实换C块可能更好。这个框架改了搜索方式:加了块级回滚,靠深度校准的信用分配判断哪个块没用,能退回去换;还开了多个搜索路径,交错着来,还让不同路径共享已探索的方向描述,减少重复功夫。最后,拼好的程序直接冻住,上线后不用碰LLM,直接跑代码取特征,完美解决时延和成本问题。

效果硬不硬?
测试数据说话。四个数据集:两个公开的,两个私有,对比最强基线,AUC提升了0.0069到0.0358,幅度不小。线上的5个金融风控应用,KS提升0.02到1.56个百分点,这个是真落地的效果——上线后就有变化,不是实验室里的纸面数据。很多模型说的提升,一到真实业务场景就打折扣,这个是实打实测出来的上线表现。

这套方案解决的是真实落地的矛盾,没有为了效果牺牲部署成本,但它的适用范围还有待验证——现在的疑问是,这套框架只适合金融风控吗?如果换成电商的商品评论、用户咨询的长文本,能不能直接用?还是得重新调整搜索的参数?


素材来源:arXiv (LLM/多模态新论文) · AI情报、大模型、AI应用落地
查看报道原文

发表第一条评论吧

支持 Markdown