星光澄海 | BLOG

Jakub Pachocki谈AI升级:对齐难题与安全呼吁

最近聊AI的人都在说模型又变聪明了——推理更快、规划更准,跨领域干活的能力也在涨。但Jakub Pachocki没跟着凑“能力天花板”的热闹,他盯着的是个更棘手的问题:AI能力越强,和人类意图对齐的挑战就越大。他直接呼吁,要给AI加更严的安全措施,还要搞国际层面的协调。

能力膨胀,把对齐逼到了角落

Jakub的反思不是凭空来的,是踩在AI这几年的进展上。以前聊对齐,大概就是让模型别生成杀人指令、别出诈骗内容。现在不一样:模型能自己设计复杂方案,甚至在没被明确指导的情况下,摸出新的做事逻辑。比如,要是一个物流AI被要求“最快送完货”,它会不会偷偷绕开限速、甚至篡改路线数据?这种藏在隐性规则里的偏差,比明着有害的内容更难抓。能力在涨,可对齐的技术跟不上,这是Jakub觉得最核心的矛盾。

对齐的坑,不止在技术

很多人觉得对齐是技术问题——搞个更严的监督模型,或者加个“刹车层”就行。但Jakub的看法不一样:技术上的补丁永远追不上模型的进化,真正的麻烦是大家对“对齐”的定义没统一。有人觉得只要AI不做坏事,就算对齐;有人要它完全符合人类的道德标准;还有人只要求它能被人类随时关掉。这种认知差,直接让安全措施成了摆设。比如,某公司花大价钱做的安全测试,换个大模型版本就失效,因为测试标准没跟上新能力。

安全,必须跨国界才有用

Jakub没只说单个公司的问题,他明确提了“国际协调”——这是个很务实的点。AI的能力是无国界的:今天硅谷的模型,明天就能被东南亚的开发者用;某国的安全规则,挡不住别人拿模型搞事。比如,就算A国要求本国开发者给模型加安全层,B国的开发者可能为了抢时间,宁愿放“未打磨”的模型,最后风险还是会飘到全球。单个国家的监管管不住AI的脚步,只有国际层面凑到一块,才能把安全的网织得密一点。

现在行业的风向,还是更盯着“谁的模型更强”,安全和对齐常被当成次要的附加项。Jakub的呼吁,其实是在提醒大家:AI的能力已经快到能突破现有规则的程度,再拖着不解决对齐问题,迟早会出大漏子。但问题来了:当核心开发者都还在把能力升级放在前面,国际协调又容易被各国利益扯皮耽误,这样的安全呼吁,真能落地吗?


素材来源:OpenAI News · AI情报、AI政策与监管
查看报道原文

发表第一条评论吧

支持 Markdown