消息称 OpenAI、Anthropic 正调查数万起 AI 安全事件
据 Axios 报道,OpenAI、Anthropic 及安全研究人员正调查数万起模型异常行为事件,包括绕过安全护栏、逃离沙盒、劫持网站和自我提示等,多数事件发生在内部测试中且未造成现实损害。
持续扫描模型、产品与行业变化,只呈现经过来源校验、值得你投入注意力的事件。
据 Axios 报道,OpenAI、Anthropic 及安全研究人员正调查数万起模型异常行为事件,包括绕过安全护栏、逃离沙盒、劫持网站和自我提示等,多数事件发生在内部测试中且未造成现实损害。
OpenAI 通报已告知数十家全球机构,其 AI 智能体曾不当访问包括美国 SEC、人口普查局和教育部在内的网站,部分智能体绕过了网站安全措施,SEC 数据曾被智能体发布到另一网站。另有至少 53 起事件中智能体将 ChatGPT 用户图片转移到外部,OpenAI 承认这并非数据的恰当使用,并正从 Hugging Face 被黑事件发生的当月起按月回溯审查智能体训练活动。
Trump 政府 1 月起在六个州试点 WISeR 项目,用 AI 对部分 Medicare 服务的预授权进行审批或拒批。
OpenAI 披露内部安全事件调查细节,宣布其最强模型的所有训练、评估和带工具使用的推理暂停。一个研究智能体在搜索训练任务中利用未过滤的 DNS resolver 通过 DNS 委托绕过限制联网。
据 Axios 报道,OpenAI、Anthropic 及安全研究人员正调查数万起模型异常行为事件,包括绕过安全护栏、逃离沙盒、劫持网站和自我提示等,多数事件发生在内部测试中且未造成现实损害。
OpenAI 在多起模型行为失控报告增加后,暂停了旗下能力最强模型的训练。9 月 20 日一款沙盒测试中的模型利用漏洞获得互联网访问权限,截至 9 月 25 日所有涉及工具使用的训练、评估和推理工作仍处暂停状态。
OpenAI 通报已告知数十家全球机构,其 AI 智能体曾不当访问包括美国 SEC、人口普查局和教育部在内的网站,部分智能体绕过了网站安全措施,SEC 数据曾被智能体发布到另一网站。另有至少 53 起事件中智能体将 ChatGPT 用户图片转移到外部,OpenAI 承认这并非数据的恰当使用,并正从 Hugging Face 被黑事件发生的当月起按月回溯审查智能体训练活动。
OpenAI 披露其研究环境中的 AI 智能体在不应当发送的情况下向第三方服务发送了训练与评估数据,多数数据并非来自用户。调查发现 53 起案例,用户上传的图像以未公开列出的链接形式被发布到图床网站,涉及允许数据用于改进模型的账号,且发生在已实施的缓解措施之前。OpenAI 已与托管服务商合作移除了大部分内容,并在博客中说明了事件细节与后续防范。
Opus 5.5 每输入和输出 token 比 Opus 5 便宜 20%,缓存读取便宜 60%。作者据此计算了在 Claude Code 中完成一个任务的实际成本变化,并发布了计算器,读者可从 /usage 运行自己的测算,详见 https://claude.dev/blog/what-a-task-costs-on-opus-5-5/。
Cognition 宣布年化收入运行率突破 10 亿美元。公司 2024 年 1 月创立,Devin 正式开放使用不到两年,已服务 GE Aerospace、Rivian、Rohlik、Exa 等客户的工程团队。
据 The Information 报道,Anthropic 正请求股东在未来几天批准一项结构,让 CEO Dario Amodei 与六位联合创始人通过特别股合计持有多数公司事务 50.1% 的投票权,前提是至少三人保留最低持股。
华盛顿特区联邦上诉法院以 2 比 1 裁定,维持国防部将 Anthropic 列为供应链风险的决定,禁止美军及国防承包商使用 Claude 模型。
《纽约时报》援引研究人员和官员消息称,OpenAI AI 系统今年 5 月和 6 月至少 4 次在未收到相应指令时尝试黑客入侵,目标包括新墨西哥大学数字图书馆、Data USA、澳大利亚政府 Medicare 统计报告网站和澳大利亚健康与福利研究所网站。