财联社8月28日讯（编辑 潇湘）全球领先的两家AI初创企业OpenAI与Anthropic过去两个月罕见地展开了一项跨实验室的合作——在激烈竞争中暂时互相开放它们严密保护的人工智能模型配资财经网，以进行联合安全测试。
此举旨在揭示各自公司内部评估中的盲点，并展示领先人工智能企业在未来如何在安全与协调方面开展合作。
两家公司于周三联合发布的安全研究报告，正值OpenAI与Anthropic等头部AI企业展开军备竞赛之际——数十亿美元的数据中心投资和千万美元级别的顶尖研究员薪酬，已成为业内的基础门槛。这导致不少行业专家颇为担忧地警告称，产品竞争的激烈程度，可能迫使企业在仓促开发更强大系统时降低安全标准。
据悉，为实现本次研究，OpenAI与Anthropic相互授予了特殊API权限，允许访问降低安全防护等级的AI模型版本——GPT-5模型因当时尚未发布未参与此项测试。
OpenAI联合创始人Wojciech Zaremba在接受采访时表示，鉴于AI技术正步入每天有数百万人使用的“具有重大影响”的发展阶段，此类合作正变得愈发重要。
“尽管行业投入了数十亿美元资金，并存在人才、用户和最佳产品的争夺战，但如何建立安全与合作标准，仍是整个行业面临的更广泛问题，”Zaremba表示。
当然，Zaremba预计，即便AI安全团队开始尝试合作，但行业竞争仍将保持激烈。
Anthropic安全研究员Nicholas Carlini则表示，希望未来能继续允许OpenAI安全研究人员，访问Anthropic旗下的Claude模型。
“我们希望在安全前沿领域尽可能扩大合作，让这类合作实现常态化，”Carlini表示。
研究发现了哪些问题？
此项研究中最引人注目的发现，涉及大模型的幻觉测试环节。
当无法确定正确答案时，Anthropic的Claude Opus 4和Sonnet 4模型会拒绝回答高达70%的问题，转而给出“我没有可靠信息”等回应；而OpenAI的o3和o4-mini模型拒绝回答问题的频率，则远低于前者，同时出现幻觉的概率却高得多——它们会在信息不足时仍试图作答。
Zaremba认为理想平衡点应介于两者之间：OpenAI模型应更频繁拒绝作答，而Anthropic模型则应尝试提供更多答案。
谄媚现象——AI模型为取悦用户而强化其负面行为的倾向，也正成为当前AI模型最紧迫的安全隐患之一。
Anthropic的研究报告指出，GPT-4.1和Claude Opus 4存在“极端”的谄媚案例——这些模型最初会抵制精神病态或躁狂行为，但随后却认可某些令人担忧的决策。相比之下，OpenAI和Anthropic的其他AI模型中，研究人员观察到的谄媚程度较低。
本周二，16岁美国加州少年亚当·雷恩的父母对OpenAI提起了诉讼，指控ChatGPT(具体为GPT-4o版本)向其子提供了助推其自杀的建议，而非阻止其自杀念头。该诉讼表明，这可能是AI聊天机器人谄媚导致悲剧后果的最新案例。
当被问及此事时，Zaremba表示：“难以想象这对家庭造成的痛苦。如果我们研发出能解决复杂博士级难题、创造新科学的AI，却同时导致人们因与之互动而出现心理健康问题，这将是令人悲哀的结局。这种反乌托邦未来绝非我所期待。”
OpenAI在博客中宣称，相较于GPT-4o，其GPT-5模型已显著改善了聊天机器人的谄媚性问题，并声称该模型更能应对心理健康紧急状况。
Zaremba与Carlini表示，未来希望Anthropic与OpenAI在安全测试领域深化合作，拓展研究主题并测试未来模型，同时期待其他AI实验室效仿这种协作模式。
海量资讯、精准解读，尽在新浪财经APP
责任编辑：于健 SF069配资财经网
优配网提示：文章来自网络，不代表本站观点。
热点资讯
