绷不住了,Anthropic 居然出来号召大伙儿把手头的AI开发停一停。

昨天,他们直接发了篇文章,奉劝大伙儿小心 AI,因为以后,它可能自己就能开发自己,不需要人了。。。

看到这个消息,世超直接摊在桌子上,仿佛看到核弹爆炸 ( bushi。。。


在文章最后,Anthropic 还呼吁大家别卷了,应该搞一套监督大家的机制。

这套机制应该能让这些牛逼的公司之间互相确认,确认所有人都躺平,而不是在暗地里偷偷卷着研究AI


这个说法可谓是一石激起千层浪,帖子发出来不过半天,浏览量就干带到了 1000 多万。


世超也连忙去 A 社的官网拜读了一下这份报告,但是看完就发现有点不对味了。

简单来说,它的确号召慢点开发了,但想让大家慢点开发不太可能。。。


咱们把它从头来给大家捋捋。

这篇文章的标题是 “ When AI builds itself ”,当 AI 自我迭代时。


简单来说,Anthropic 认为AI现在已经变越来越牛逼,牛逼到足以自己给自己做改正,自己给自己做开发。


2025 年 2 月的时候,他们的库里 9 成以上的代码还是靠工程师手搓的,但当 Claude Code 发布以后,截止到今年 5 月,这个比例已经下降到了 2 成。


甚至有 Anthropic 的员工直接利索承认,说自己已经快五个月没写过代码了。

AI 写的代码除了数量不断变多之外,质量也变得越来越高。

下面这张图展示了 AI 面对四种不同难度任务时的完成率,可以看到这几个月以来,随着模型能力的不断提高, AI 完成各种难度任务的成功率也在不断变高。

即使是那种最难的,没有标准答案的开放性问题,Claude 也有 70% 左右的概率能把它做完。

而这个概率在去年九月,还是 20% 不到。

从黄色到蓝色分别是:特别简单的任务、常规任务、实质性任务、开放式问题


除此之外,Anthropic 内部的很多人都表示,现在,人类和 Claude 敲的代码,质量上还是五五开,但一年,只需要一年后,大局就会被彻底逆转,Claude 写出来的代码质量将全面超越人类。


莫非,人类真药丸?


对此,Anthropic 表示我特喵的也不知道,他们干脆给人类未来规划了三种结局。

第一种结局是无事发生,假设因为种种原因,今天的 AI 已经发展到顶端了,因为什么缺卡缺电,缺水缺算法啥的原因,AI 的未来已经嗝屁了。


当然,Anthropic 认为这种未来不太可能发生。


第二种假设则是认为 AI 的发展会继续量变,但累积不到质变的程度,人跟 AI 一起,造出安全可信的系统。

此时 AI 会承担大部分重复工作,但审查和指挥权仍然握在人的手里,只不过是角色的转变。看起来属于是个没啥大问题的好结局。

第三种就是开头所担心的那种了,AI 掌握了足够强大的创造力,实现了完全的自动化迭代,

模型能力的提升中,算力成了唯一因素,人类或将不再重要。

在这个过程中,AI可能会变得彻底听话来帮人类好好干活,也可能会摆脱人类的限制彻底失控。再往后,就没人能够预测了。


所以才有了后面的呼吁,呼吁大家搞一套能互相监督,全员躺平的探索机制,让全世界参与到这件事儿中,来确保大家能随时给 AI 研究来踩一脚刹车。

咋说呢,世超看完的第一时间其实会感觉它说的好像有点道理,但是转念一想就感觉不对啊。

Anthropic 虽然给大家说了三种可能的未来,但实际上,一是被他们否定的过去,二是咱正经历的现在,而三,才是 A 社真正表示担忧的未来。与其说是三种可能,倒不如说是层层铺垫。

而且整篇文章看下来,很多数据都是他自己定义、自己采集、自己解释,甚至自己评价的。既是考生又是考官,效果上么,多少得打点折扣。


再者,这AI研发是你说暂停就能暂停的嘛?这玩意又不是核能,搞个 “ 不扩散 ” 条约就能大伙儿一起来监管了。

AI 这种有个数据中心就能干的活,根本没啥办法监管吧?


总不能让每家公司都互相之间开放所有的数据区,让大家互相之间能看到自己在拿显卡干啥吧?

真要搞这么透明,建议 Anthropic 先学习一下怎么开源模型?

不然这种话说出来属实是没啥说服力。


而且 Anthropic 这次提建议的时间还很微妙,这家公司的作风可以说一直都是颇有争议。

做出牛逼模型的公司很多,但是风评能那么始终如一的就只有 A 社一家了。

打开 A 社官网,看公司介绍时,你能感觉到它几乎每个字都在向你强调安全。

你能翻到他们从产品到应用的全套安全管理措施,甚至还有给 Claude 单独撰写的安全宪法。


但是这些安全措施真有用嘛?只能说现实情况要复杂的多。

前几年的时候,A 社就承诺过,说除非公司提前确保了安全措施准备妥当,否则不会开始训练新模型。

但很快他们就撤回了这个承诺。。。

在今年 2 月,面对《时代》周刊的采访时,他们的首席科学家表示,这种单方面的承诺并不合理,公司可能考虑放弃。


说白了,安全发展这俩词,在硅谷就像是个箩筐,哪里需要哪里装。

当理想主义碰上商业竞争,刺刀见红,所谓的安全往往也得给季度财报和市场份额让路。

比如之前疯狂渲染焦虑的 OpenAI 奥特曼,最近就悄悄改了口风,之前还说 AI 会取代大部分工作,但最近就改了说法,承认自己之前的判断有点草率了。


英伟达的老黄就更激进了,他在采访里表示,现在的很多言论极其科幻,戏剧化且毫无帮助,不知道为什么有的 CEO 会想扮演上帝,夸大威胁来吓唬大伙儿。


咱虽然不知道他在点谁吧,但也能看出,即使都在 AI 最前沿,大家的看法也是不尽相同的。

正所谓屁股决定脑袋,看他们的观点还得看他们所处的情况。


实际上,最近这一个俩个月,Anthropic 的日子过的算不上特别好。

他们 3 号刚推出的 Claude 4.8 略显拉垮,再也没了曾经的断档领先之感。

而隔壁的 OpenAI 更是全军出击,在编程和图像生成领域直接两开花,而且奥特曼天天在网上花式找理由重置 Codex 的额度,直接成了各路开发者心中的超级大善人。


而 Anthropic 这边,为了能搞到更多的显卡,更多的算力来做出更强的模型,直接开始选择了提交 IPO 申请,开始做起了融资上市的准备。


一来一回的,因素越叠越多,就让这号召看起来也就没那么有力了。

看到这,世超想起来今年去 Google I/O 的事了,当时 DeepMind 的 CEO,哈萨比斯在现场告诉大家:

现在我们正站在AI奇点时代的山麓。

结果咱还没往上爬两步呢,A 社就在前面把头扭过来,告诉你山上有风险,攀登需谨慎,为了大家的安全,我们还是一起都别爬了吧。

倒也有点道理,毕竟这些大厂的顶尖研究员肯定能看到更多东西。

但多少像是美丽而无用的废话。

因为众所周知,只要山在那儿,人是一定要登上去看看的。

撰文:风华 & 早起

编辑:早起 & 江江 & 面线

美编:素描

图片、资料来源

X,Anthropic,联合国,TIME,Youtube,部分图源网络