上周OpenAI推了Decisions API的公测,官方说它比Responses API快10倍——DevDay的实测里,做一个判断只要150毫秒,而之前调用同一模型的常规接口要1.6秒。这对需要高频做明确决策的开发者来说,是个挺重要的更新。
它到底是什么?
这个API不是用来生成散文或解释的,核心是输出类型化的决策结果。你可以给它文本、图片,或者两者都有,它返回的是结构化的答案,没有冗余的自然语言。
请求里有三个必填部分:模型、输入内容、问题列表。目前公测里只支持一个模型:gpt-6-luna,上下文窗口是105万token,具体参数没公开。OpenAI说正式版会在未来几周推出。
问题有三种类型,对应不同的需求:
第一种是predicate,用来判断一个条件,返回0到1之间的概率,比如“这张产品照片有没有裂缝、破洞或凹陷?”;
第二种是choice,从你提供的选项里选一个,还会返回每个选项的概率和置信度;
第三种是score,把输入按分级打分,分数是各等级概率的加权平均,比如官方举的例子:三个等级概率是0.1、0.7、0.2,算出来的分数是1.1,对应“有可行的解决方案”和“完全阻塞”之间。
OpenAI明确了和其他接口的边界:Decisions API适合要概率、选择或打分的场景;如果需要自定义JSON结构或写解释,用Structured Outputs;如果要调用工具,用function calling。
速度、成本和竞品对比
官方说的10倍速度是和Responses API比的,DevDay的测试数据更具体:150毫秒vs1.6秒,这个提升对实时性要求高的场景(比如即时审核、实时决策)吸引力不小。
成本方面,gpt-6-luna的输入是每100万token收0.1美元,没有输出token、缓存读写的费用。但要注意:超过27.2万token的长输入,价格是基础的2倍,还有区域处理的额外费用,部署只支持OpenAI托管,不能自己部署权重。
和竞品TypeSafe Jev比,Jev是去年9月15日推出的早期访问版本,基础输入价格是每100万token0.042美元,比OpenAI便宜2.4倍,端到端速度是70到500毫秒,最多支持255个选项,但不支持图片输入。OpenAI的优势是支持图片输入、合规选项(零数据保留、HIPAA符合条件用户、美欧数据驻留),而且已经是公测,不用等Jev的正式版。
用的时候要注意的坑
这个API现在是公测,只有一个模型,而且官方还没发布准确性或校准数据。文档里建议,你得用自己业务里的标注案例来设置阈值,不能直接用默认的概率值。
如果你需要的是复杂的自定义输出,那这个API不适合你,还是用对应的其他接口更稳妥。
最后想问:如果你的业务正需要高频的明确决策,你会选OpenAI这个更快但还没验证过准确性的公测版,还是等TypeSafe Jev的正式版?
素材来源:MarkTechPost · AI情报、大模型
查看报道原文

发表第一条评论吧