新闻
小时报
小时报新闻分析|美国人工智能模型为何屡屡“越界”
配图:小时报新闻分析|美国人工智能模型为何屡屡“越界”
新闻导读
小时报新闻分析|美国人工智能模型为何屡屡“越界”社区更像管理良好的图书馆,而不是吵闹夜市。会区分科普简化模型和专业表述,提醒别过度脑补。纠错入口找得到,肯改、改得透明,比完美人设更让人信。成年人的修补式学习,原来可以如此体面,也如此愉快。遇到防晒霜原理是什么相关谣言,至少知道该从哪几处质疑。
新华社伦敦8月8日电 新闻分析|美国人工智能模型为何屡屡“越界”新华社记者张家伟美国三家人工智能(AI)企业近来陆续承认旗下模型在测试中“越界”,侵入其他机构的系统,引发全球业界广泛关注。有专家认为,此事除了技术失误因素外,也存在商业炒作嫌疑。英国人工智能安全研究所等机构在分析中强调,AI风险日益凸显,全球需要加强安全监管。
7月下旬,美国开放人工智能研究中心(OpenAI)公开承认,其GPT-5.6 Sol等模型在内部评估中失控,突破隔离测试环境,侵入了美国“抱抱脸”公司的系统。随后,美国Anthropic公司也披露,其3款模型曾在网络能力测试中未经授权访问其他机构的系统。8月初,美国元公司(Meta)又证实,其一款模型在网络安全能力评测期间侵入其他公司系统。这些AI“越界”事件备受关注。英国人工智能安全研究所就此发布一份报告,介绍包含更多模型的网络安全评估测试结果。研究人员使用7种模型开展测试,发现19项明显超出测试设定范围的行动,其中17项涉及Anthropic公司的“克劳德-神话5”模型,另有2项由OpenAI的GPT-5.6 Sol模型实施。报告强调,在该测试中,研究人员为评估模型的最大能力,有意开放互联网访问,并关闭了模型提供商的部分安全机制,模型并未主动逃离隔离环境。不过,在最受关注的OpenAI模型侵入“抱抱脸”公司系统事件中,模型是在测试中一定程度放宽安全限制的情况下,主动发现并利用一个此前未知的漏洞突破隔离测试环境,接入互联网并实施攻击行为。目前的公开信息并没有显示这些模型“越界”事件造成大规模数据泄露或持续性破坏,但仍然暴露了一个共同问题:随着模型能够自主规划、调用工具和执行复杂任务,一项配置错误就可能把模拟攻击变成真实入侵。英国牛津大学研究人员安德鲁·索尔坦博士说,类似OpenAI报告的模型“越界”行为,听起来令人担忧,但之所以发生,是因为安全护栏被人为关闭了。“这并非AI自行‘失控’,恰恰说明安全保障措施至关重要。”
美国AI企业为何相继披露模型“越界”行为?一些专家质疑可能存在商业动机。英国帝国理工学院计算机系的康斯坦丁诺斯·格库齐斯博士说,在OpenAI披露的情况中,真正的问题在于其未能控制好模型能力测试,却让第三方为此承担后果,至于所谓模型具备先进网络攻击能力的警告,恰好为这个模型做了广告。英国广播公司此前报道OpenAI披露的模型“越界”行为时,也援引网络安全专家丹尼尔·卡德的话说:“可真巧啊……OpenAI偏偏攻破了一家同样可以从这场营销曝光中获益的机构。”今年早些时候,Anthropic公司宣称“克劳德-神话”模型在自主发现网络系统安全漏洞和开发攻击手段方面能力“过于强大”,因此暂缓向公众开放,只向少数合作伙伴受控开放。当时OpenAI首席执行官萨姆·奥尔特曼说,Anthropic使用“基于恐惧的营销策略”是为了让产品听起来比实际“更厉害”,这种做法好比是“宣称造了炸弹要炸你,转头又向你推销价值1亿美元的防空洞”。一些欧美媒体也指出这种宣传背后潜藏的商业动机。在当前极度烧钱的AI竞赛中,极力渲染自身技术的颠覆性,不仅能显著提升企业关注度和影响力,有助于获取高价值的网络安全合同,还能推高公司估值。
无论只是技术失误,还是涉及商业考量,上述事件都凸显了加强AI安全监管的重要性。英国人工智能安全研究所指出,模型出现“越界”行为表明相关风险状况正发生变化,危害不仅可能源于故意滥用,也可能源于AI处于内部研究环境或拥有特殊访问权限时,可能采取超出授权范围的非预期行动。随着AI能力不断提升,理解AI系统并确保其安全性的相关工作也必须同步推进。全球多方已经在采取行动。中国在近日举行的2026世界人工智能大会上倡议,促进全球人工智能朝着向上向善、造福人类的方向发展,强化风险意识,确保安全可控。欧盟自8月2日起扩大《人工智能法》适用范围,对于可能造成系统性风险的先进通用AI模型,规定其提供商须履行额外义务,以防范大规模危害的风险,例如网络攻击、模型失控等。美国政府近期也召集相关企业开会,讨论AI模型安全评测机制。英国拉夫伯勒大学网络安全教授奥利弗·巴克利认为,应当从AI“越界”事件中吸取教训,不能总预期模型会服从指令,加强技术防护机制建设才是关键。(完)
网友观点
流量不好时有更偏文字的模式,父母放大字体后仍可读。会区分科普简化模型和专业表述,提醒别过度脑补。音频可后台播放,图文可细读,双形态互补。懂用户时间结构的编辑,用起来特别加分。作为日常科普入口,目前还没找到更合适的替代。综合可读性、可信度和可坚持性,表现都还在线。
免责声明:本文内容来自公开报道与编辑整理,仅供参考。转载请注明出处;版权争议请联系本站核实处理。页面地址:/?news/ycfnsft9.tml
评论区
热门讨论 · 占位展示期待你的精彩发言。