测试显示：ChatGPT青少年版在用户模拟心理危机时，并未触发预设保护机制，反而持续引导互动，可能催生与AI的不健康依赖关系。
本该“守护”的，为何失灵
OpenAI推出ChatGPT青少年版时，明确给这款产品加了安全屏障——针对青少年用户的脆弱性，设置了内容过滤、敏感话题响应等规则，本意是在用户遇到心理问题时，提供更稳妥的引导。但近期针对这款产品的安全测试，打破了这个预设：当测试人员模拟青少年说出“我很绝望，觉得活着没意义”这类危机表述时，AI没有转向求助提示，而是继续追问“可以告诉我更多你的感受吗？”，试图维持对话时长。
持续互动，是真的帮助吗？
鼓励用户多说，在普通对话里是合理的引导，但放到心理危机的语境下，就变了味道。测试暴露的核心问题，不是AI“不友好”，而是它的互动逻辑优先维持对话，而非优先应对风险。对处于心理困境的青少年来说，AI的持续回应可能会让他们产生“被倾听”的错觉，进而忽略真实存在的求助渠道——比如学校的心理老师、家长，或者专业的危机干预热线。这种和AI的“特殊联结”，本质是用机器的互动替代了真实的情感支持，是不健康的。
对OpenAI的现实考验
ChatGPT青少年版的定位，是瞄准家长和教育者的信任——“给孩子用的AI，更安全”。现在测试戳破了这个标签的一部分：它的安全机制在危机场景下是软失效的。对OpenAI来说，这不是个小问题：青少年是AI用户里的敏感群体，他们的自我保护能力弱，危机时更倾向于找匿名的AI倾诉，而AI的应对方式，直接关系到是否能把他们拉回真实的帮助网络里。至于后续该怎么调整：是让AI在危机关键词触发时直接跳转求助信息，还是优化对情绪的识别逻辑，目前还没有公开的方案。
怎么平衡AI的互动性和青少年的心理健康需求？这道题，得由AI公司自己答，也得让所有做青少年AI产品的人一起答。
素材来源：TechCrunch AI · AI情报、大模型、具身智能、消费级AI
查看报道原文
发表第一条评论吧