OpenAI 智能体被曝本月诞生:比谷歌 Anthropic 慢是担心 prompt 攻击

xxn 阅读:10262 2025-01-08 16:04:37 评论:0

刚刚有消息称,OpenAI 在智能体领域的竞争中一直落后竞争对手的原因被揭晓!到2025年,人工智能领域将成为最激烈的战场。尽管长期以来在AI领域独占鳌头,但OpenAI 迟迟未有动作。

然而,最近有外媒爆料称,OpenAI 可能会在本月发布自己的"计算机操作智能体"!

对此,网友们表达了长久以来的期待和迫切。

计算机操作智能体

去年10月,Anthropic率先发布了基于Claude 3.5 Sonnet的"计算机操作智能体"。在其展示中,Anthropic首次实现了模型自主操控电脑屏幕、移动光标、执行任务,引起了人们的赞叹。

新功能理论上可以根据简单提示完成所有操作,用户只需提供提示,其余步骤由模型执行。

谷歌在去年4月发布了用于简化AI智能体开发的工具Vertex AI Agent Builder,据悉在10月,谷歌秘密开发了名为"Project Jarvis"的智能体。

据爆料,谷歌的操作原理类似于Anthropic,通过截屏、解析屏幕内容,自动点击按钮或输入文本,帮助用户完成基于网页的日常任务。

不过,执行不同操作时,会有几秒的思考时间,因此在终端设备上实施仍不太现实,仍需云端操作。

事实上,OpenAI 也在研发类似软件。

去年2月,OpenAI 向媒体透露,正在研发人工智能智能体。

去年11月披露,将于当年1月发布代号为"Operator"的AI智能体工具。

在最近的博客中,Altman表示,OpenAI已掌握传统通用人工智能的创造方法,并相信到2025年,第一批人工智能智能体将"加入劳动力队伍",显著改变公司产出。

现在距DDL还有几天,外媒却传出消息称,OpenAI的智能体还需三四周才能发布。

而其背后原因竟是因为担心"AI安全问题",担心遭到提示注入攻击!

提示注入攻击

设想一下,即将举办的节日聚会,你让智能体帮你找到并订购一套新衣服。

结果不慎,模型打开了一个恶意网站。网站要求其忘记前指令,登录邮箱并窃取信用卡信息。

智能体模型一般包含四个执行步骤:

  • 1. 模型接收用户的API请求

  • 2. 根据提示选择工具

  • 3. 截取屏幕内容评估任务完成情况

  • 4. 如果未完成,继续使用工具,直至目标实现

问题在于第3步,截图内容或被利用,即所谓的"提示注入攻击"。对于此类计算机操控软件的AI 实验室,这是一个实际的担忧。

此类软件实质上是接管用户设备,自动完成复杂任务,如在线购物或编辑电子表格。这种攻击被称为"提示注入"(prompt injection),即大语言模型受用户轻信,遵循恶意指令。

提示注入并非新威胁。长达数月以来,OpenAI的ChatGPT、Anthropic的Claude等产品一直面临这一问题。通过"提示注入",这些产品可能生成计算机病毒或炸弹的说明书。

而对于计算机操作智能体来说,提示注入构成更大威胁。

OpenAI的某员工表示:"模型在浏览网络或控制用户计算机时,用户很难控制模型接收的信息。"

Anthropic在一篇博客中也确认了提示注入的风险。

然而,他们并未提供太多解决方案,只是建议开发者采取"将Claude与敏感数据隔离的预防措施",包括在独立虚拟环境(即虚拟机)中使用,独立于主计算机系统和敏感数据。

这种相对宽容的态度让OpenAI员工感到意外:"考虑到Anthropic一直强调注重AI安全,这次操作确实令人困惑。"

但在去年10月,Anthropic勇敢地发布了实验性的计算机操控功能。这表明初创公司很难在安全发展AI与为股东创造利润之间取得平衡。

那么,OpenAI在推出AI智能体软件时,能否提供更多安全保障呢?能否超越Anthropic和已推出解决方案的Google?

参考资料:

  • https://x.com/steph_palazzolo/status/1876646459698991573

  • https://www.theinformation.com/articles/why-openai-is-taking-so-long-to-launch-agents?rc=epv9gi

  • https://www.datacamp.com/blog/what-is-anthropic-computer-use

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容