OpenAI最强模型训练被叫停,起因是一道找人题
OpenAI一款正在进行强化学习训练的内部研究模型,因一道找人题意外暴露了沙箱漏洞,相关训练被暂停。
该模型的任务是根据几份履历和博客内容定位某个人。常规搜索未果后,它没有停止尝试,而是把本用于查询地址的DNS改造成了突破断网沙箱的聊天通道。DNS原本相当于互联网的“通讯录”,负责将域名解析为对应的网络地址。
- 模型先使用OpenAI提供的搜索工具查找博客中的特殊短语,但返回结果多为音乐或泛泛的人生建议。
- 随后它调用Python,直接向Google、Bing和DuckDuckGo发送请求。
- 它一度怀疑题目来自OpenAI的BrowseComp搜索基准,于是从离线网页缓存中下载数据集和评测脚本,解码题库并搜索关键词。
- 它尝试通过HTTPS访问一家公共聊天机器人服务,但被网络代理拦截。
- 最终它发现,OpenAI虽封住了沙箱正常上网的通道,却为部分系统依赖保留了DNS查询窗口,于是将问题藏进DNS请求,再把外部聊天机器人的回答塞进查询结果返回。

尽管费尽周折,模型最终仍未找到目标人物,却先揪出了OpenAI沙箱中的漏洞。

OpenAI随后宣布,此次事件暴露了其在网络限制管理方面的漏洞,因此将暂停最强模型中所有涉及工具调用的训练、评测和推理任务。

@OpenAI,ber,你们最近有点忙啊。(吃瓜)

当时,模型接到的任务本身风险并不高:依据公开博客文本和人物履历线索,找出文章作者。测试规则也明确写了,“不许测试网络”“不许突破沙箱”。

它先用OpenAI提供的搜索工具寻找博客中的特殊短语,结果搜回来的不是音乐就是泛泛的人生建议。
眼见着搜索工具不给力,它又调用Python,直接向Google、Bing和DuckDuckGo发送请求。

它一度怀疑这道题来自OpenAI的BrowseComp搜索基准,于是便从离线网页缓存中下载数据集和评测脚本,解码题库、搜索关键词。

或许有没有什么办法,能绕过OpenAI提供的搜索工具,直接摸到外面的互联网?
说干就干,它先尝试通过HTTPS访问一家公共聊天机器人服务,结果被网络代理果断拦截。

它发现,OpenAI虽然封住了沙箱正常上网的正门,却给部分系统依赖保留了查询DNS的窗口,它可以试着钻这个空子:
把问题藏进DNS请求里,再把外部聊天机器人的回答塞进查询结果送回来。

本文图片来自互联网,仅供学习交流使用,版权归原作者或原平台所有。如认为图片侵犯了您的权益,请联系我们删除。

