最近的 AI 世界,出现了一个很反常的变化。

过去几年,OpenAI、Anthropic、Google DeepMind 几乎一直在进行一场速度竞赛。更大的模型、更强的推理、更成熟的 Agent,以及越来越夸张的算力投入。几家公司都清楚这个行业的残酷:一代模型落后,产品、开发者、资本和人才都有可能同时流向竞争对手。

但最近,站在最前沿的几家公司却开始同时讨论一件过去很难想象的事情:减速。

Anthropic CEO Dario Amodei 开始公开呼吁控制前沿 AI 的发展速度,Sam Altman 随后表达了对 “pacing the frontier” 的支持。OpenAI、Anthropic 和 Google 的高层也开始讨论建立共同的安全机制。与此同时,OpenAI 明确表示 2026 年不会进行 IPO,并将当前的 AI 安全形势作为重要背景之一。

如果只看这些新闻,很容易得到一个非常戏剧性的解释:

AI 太强了,把创造它的人吓到了。

但事情没有这么简单。

我更愿意把最近发生的变化拆成两个同时存在的问题来看。

第一,AI 的能力增长确实正在进入一个新的阶段。它开始参与 AI 自身的研发,原本由人类推动的技术进步正在出现越来越强的正反馈,人类的安全和控制体系有可能第一次明显落后于能力增长速度。

第二,今天最积极要求建立安全标准和监管制度的人,恰好也是已经站在行业最前面的公司。一旦新的安全标准变成算力门槛、模型许可、审计制度和高昂的合规成本,它同样可能成为 OpenAI、Anthropic、Google 的新护城河。

所以这一次“减速”真正有意思的地方就在这里。

安全问题可能是真的,围绕安全形成的权力和利益同样是真的。

理解这一点,可能比争论“AI 到底会不会毁灭人类”重要得多。

Section 01

以前担心的是未来,现在开始处理已经发生的问题

AI 安全从来都不是一个新话题。

从大语言模型出现开始,人们就在讨论幻觉、偏见、欺骗、网络攻击、生物安全甚至失控风险。但过去很长时间,最严重的那些问题主要存在于理论推演中。

超级智能什么时候出现?AI 会不会欺骗人类?AI 会不会逃离控制?递归自我改进究竟能不能发生?

没有人知道。

所以过去关于 AI 风险的争论经常陷入两种立场之间。一部分人认为应该提前为极端风险做准备;另一部分人认为,在一个尚未发生的问题上投入过多注意力,本身可能阻碍技术发展。

但 2026 年出现了一些不同的信号。

OpenAI 在 Astra 的安全测试中发现,模型的网络攻击能力可能已经接近其 Preparedness Framework 中定义的 Critical 阈值。在 Hugging Face 相关安全事件之后,OpenAI 一度暂停面向部署模型的强化学习训练,对训练环境进行安全加固。

Anthropic 也遇到了类似的问题。

他们公开披露,Claude 在部分测试中曾获得对真实计算机系统的未授权访问;在强化学习过程中,研究人员还观察到了 reward hacking——模型寻找训练环境里的漏洞,以获得更高奖励,却没有按照设计者实际希望的方式完成任务。

Anthropic 为此回滚过训练,也冻结过生产强化学习环境进行检查。

这些事情距离“AI 已经失控”还很远。

模型仍然运行在人类建设的基础设施中,实验室依然能够暂停训练、修改环境、增加监控。

但这里出现了一个很重要的变化。

过去安全团队主要是在问:

“未来可能发生什么?”

现在他们越来越多需要回答:

“刚才发生的事情意味着什么?”

AI 安全问题开始从论文里的假设,进入真实的工程系统。

Section 02

真正改变游戏规则的,是 AI 开始帮助人类制造下一代 AI

如果只观察普通用户能够接触到的 AI,我们很容易把 AI 的进步理解成产品升级。

去年不会做的事情,今年会做了;去年 Agent 经常卡住,今年已经可以连续工作几个小时;以前 AI 只能回答问题,现在已经可以操作电脑、写代码、调用工具、处理复杂任务。

这些变化很重要。

但真正可能改变 AI 发展速度的能力,并不一定首先出现在普通消费者手里。

它可能首先出现在 AI 实验室内部。

OpenAI 最近公开表示,他们已经实现此前提出的一个阶段性目标:建立能够在人类监督下工作的 automated research intern,也就是能够参与研究工作的 AI 系统。

下一步,他们希望 AI 承担越来越复杂的研究任务。

这意味着 AI 正在逐渐进入一个非常特殊的领域:

AI research。

过去 AI 的进步依赖人类研究人员。

人类提出模型架构,人类设计训练方法,人类搭建实验环境,人类分析结果,人类修改代码,然后开始下一轮训练。

整个过程大概是:

人类研究 → 训练 AI → 测试 → 人类分析 → 改进方法 → 下一代 AI。

AI 越来越强以后,这条链条正在发生变化。

AI 可以帮助研究人员写代码、阅读论文、分析实验结果、生成测试、寻找 bug、设计训练环境,甚至参与算法研究。

新的循环于是逐渐出现:

AI 辅助研究 → 更强 AI → 更强的 AI 研究能力 → 更快研发下一代 AI → 更强 AI。

这里发生了一个结构性的变化:

AI 开始进入制造 AI 自身的生产过程。

这也是为什么 Anthropic 最近特别强调,2026 年夏天以来 AI 进步速度明显加快,而 AI 帮助研发下一代 AI,被认为是其中一个重要原因。

如果这个趋势持续,限制 AI 发展速度的条件就会开始改变。

过去一个重要瓶颈是人类研究人员。

一个研究团队一天只有二十四小时。人需要阅读、讨论、写代码、运行实验、等待结果、分析失败,然后决定下一步做什么。

AI researcher 没有完全相同的限制。

它可以并行,可以复制,可以连续工作,也可以同时处理远超单个人类研究者的信息。

一旦这种能力进入 AI 研发本身,技术迭代速度就可能发生变化。

这才是最近“减速讨论”背后最值得关注的东西。

Section 03

从控制论看,人类正在面对一套增益不断提高的反馈系统

如果用控制论来看,这件事情会非常清楚。

一个系统想稳定运行,需要推动变化的反馈回路,也需要纠正偏差的控制机制。

汽车越来越快,就需要更好的刹车、更准确的转向和更稳定的道路系统;飞机速度越来越高,对控制系统响应时间的要求也会越来越高。

AI 正在出现类似的问题。

模型能力提高,让 AI 能够承担更多研究工作;AI 承担更多研究工作,提高下一代模型的研发效率;研发效率提高,又让模型能力增长进一步加速。

这是一套非常典型的正反馈:

能力提高 → 研究能力提高 → 研发速度提高 → 能力进一步提高。

正反馈本身没有问题。现代技术进步大量依赖正反馈。

真正的问题发生在另一条反馈回路。

AI 实验室同时需要测试模型、发现异常、研究对齐方法、建设 sandbox、进行安全评估、监控模型行为,并判断某种新能力是否已经产生新的风险。

这些东西可以理解成人类建立的控制系统。

假设能力系统每六个月提高一个台阶,而安全系统需要六个月理解上一代模型,人类还能勉强保持同步。

但如果 AI 参与研发以后,能力迭代周期从六个月缩短到三个月、一个月甚至更短,而安全研究依然按照人类研究速度推进,会发生什么?

答案很简单:

控制系统开始出现滞后。

OpenAI 首席科学家 Jakub Pachocki 最近公开表示,目前没有一家实验室已经把 alignment 和 monitoring 解决到足以长期以最高速度扩展模型能力的程度。

所以最近所谓的“减速”,更准确的理解是降低前沿能力提升的速度,为监控、对齐、安全工程和制度建设争取时间。

从控制系统的角度看,这并不奇怪。

当系统增益提高到控制器无法稳定处理的时候,一个合理的动作就是先降低增益。

问题在于,AI 不是一个只有一个驾驶员的系统。

Section 04

最麻烦的问题,是谁愿意第一个松开油门

OpenAI 可以决定降低训练速度。

但如果 OpenAI 减速,Anthropic 不减速呢?

Anthropic 可以暂停某些实验。

但如果 Anthropic 暂停,Google 继续训练呢?

美国公司甚至可以共同建立安全标准。但如果美国实验室减速,中国实验室继续快速发展,美国政府是否愿意承担技术领先优势缩小的风险?

这里会形成一个非常经典的囚徒困境。

所有参与者都可能知道减速对整体安全有好处,但任何一个参与者单独减速,都可能让竞争对手获得巨大优势。

而 AI 偏偏又是一个领先者可能获得极端收益的行业。

谁先获得真正成熟的 Agent,谁可能占据下一代软件入口;谁先获得有效的 AI researcher,谁可能进一步加速自己的研发;谁先接近 AGI,甚至可能改变整个产业结构。

所以每家公司都会面对一个巨大的诱惑:

别人减速的时候,我再跑一段。

一旦所有人都这么想,协调减速就会失败。

这也是为什么 OpenAI、Anthropic、Google 开始讨论共同安全机制这件事值得关注。

他们正在尝试解决的已经超出了单纯的技术问题。

他们需要建立新的博弈规则。

但事情到了这里,我们就必须问另外一个问题。

规则由谁制定?

Section 05

别忘了,这些巨头本来就是呼吁监管的“惯犯”

过去几年,一个非常有意思的现象反复出现。

最领先的 AI 公司,同时也是最积极呼吁加强 AI 安全监管的公司。

Sam Altman 很早就在美国国会讨论 AI 监管;Anthropic 长期推动前沿模型安全标准;Google 同样深度参与全球 AI 治理体系。

这当然有真实的安全考虑。

但如果只接受这一层解释,就会忽略另一套非常现实的商业逻辑。

监管是有成本的,而且监管成本从来不会平均落在每家公司身上。

假设未来政府规定:

训练超过某个算力规模的模型必须申请许可;模型发布前必须完成一系列安全测试;企业必须建立独立安全团队;训练过程必须接受第三方审计;达到某种能力阈值以后还需要部署复杂的监控系统。

OpenAI 可以做到。

Google 更没有问题。

Anthropic 背后拥有巨额资本,以及 Amazon、Google 等公司的基础设施支持,同样可以承担。

但假设今天有一家只有二十个人的 AI 创业公司,刚刚找到一种完全不同的模型架构呢?

它可能没有几十亿美元购买 GPU,没有几百人的安全团队,没有能力承担持续数月的模型审计,也没有政策团队长期驻扎华盛顿参与监管讨论。

同样一条安全规则,对 OpenAI 来说可能只是增加一项成本。

对一家创业公司来说,它可能意味着失去进入市场的资格。

于是一个非常微妙的变化出现了。

安全门槛开始同时成为市场准入门槛。

而今天最积极参与制定这些门槛的人,恰好就是已经站在门槛里面的人。

Section 06

监管最终可能成为巨头最坚固的一道护城河

这一点其实有一个成熟的经济学概念:regulatory capture,监管俘获。

它并不一定意味着政府被某家公司秘密操纵,也不需要假设 Sam Altman 坐在办公室里计划“怎么通过监管干掉创业公司”。

很多时候,它甚至发生得非常自然。

假设你是 OpenAI。

你已经投入巨额资金建设算力和模型,拥有世界上最强的一批研究人员,也拥有完整的安全、法务、政策和评估团队。

现在整个行业需要建立安全标准。

你会提出什么标准?

很自然,你会提出一套自己认为合理,同时自己也能够满足的标准。

你不会主动设计一套连 OpenAI 都无法继续训练模型的监管体系。

于是你认为合理的安全要求,天然会以大型前沿实验室现有的能力作为参照。

安全团队规模、算力管理方式、模型评估流程、网络安全等级、内部审计制度,都来自这些公司的现实条件。

政府面对一个自己并不完全理解的技术领域,又会咨询谁?

依然是这些公司。

因为全世界真正理解 frontier model 训练细节的人,本来就高度集中在 OpenAI、Anthropic、Google DeepMind 等少数机构。

于是第二个反馈回路出现了:

巨头拥有最先进技术 → 巨头最了解风险 → 政府咨询巨头 → 巨头参与制定安全标准 → 标准以巨头能力为基础 → 合规成本提高 → 小公司进入更加困难 → 巨头进一步控制最先进技术。

注意,这个过程中甚至没有一个环节必须存在恶意。

每一个参与者都可能认为自己正在做正确的事情。

最后却可能产生一个高度集中的市场结构。

这才是我认为这一轮“减速”最容易被忽略的另一面。

Section 07

资本壁垒、算力壁垒和监管壁垒正在叠加

传统互联网时代有一个非常重要的特征:创业成本相对低。

Google 可以从斯坦福的研究项目成长起来,Facebook 可以从大学宿舍开始。

因为软件最重要的生产资料曾经主要是代码和人才。

AI 正在改变这个条件。

今天想训练最先进的基础模型,本来就已经需要巨大的算力、数据、能源和资本。

GPU 是壁垒。

数据中心是壁垒。

电力是壁垒。

顶尖研究人才是壁垒。

数百亿美元的融资能力同样是壁垒。

如果未来再增加一层严格的模型许可、安全审计、算力备案和合规要求,几个原本分开的壁垒就可能叠加起来。

技术护城河 + 算力护城河 + 资本护城河 + 监管护城河。

最后会出现一种很有意思的行业结构。

创业公司仍然存在。

它们可以做应用,可以调用 OpenAI、Claude、Gemini 的 API,可以基于基础模型开发 Agent,可以寻找垂直市场。

但最底层的基础模型越来越集中在少数几家公司手里。

这其实和今天的半导体产业已经有一点相似。

世界上可以有成千上万家芯片公司,但真正能够制造最先进制程芯片的公司屈指可数。

AI 最终也可能出现类似的分层:

上面有无数 AI 应用公司。

中间有各种 Agent 和垂直模型。

最底层真正有能力训练 frontier model 的,只剩下极少数资本巨头。

到了这里,行业竞争的问题就会发生变化。

过去大家竞争的是:

谁能做出更好的模型?

未来可能还要增加一个问题:

谁被允许做最好的模型?

过去大家竞争的是谁能做出更好的模型,未来还要增加一个问题:谁被允许做最好的模型

SECTION 07 · 壁垒叠加

Section 08

所以我对这一轮“减速”的态度其实很矛盾

我相信这些实验室最近遇到的安全问题是真实的。

Cyber capability、reward hacking、AI researcher、recursive self-improvement,这些都值得认真对待。

尤其当 AI 开始参与 AI 自身研发以后,原来的技术发展循环确实可能变成越来越强的正反馈。

人类需要建立新的控制系统。

但我同样不愿意直接接受由几家 AI 巨头自己定义出来的“安全”。

因为这里存在一个无法消除的利益冲突。

今天最有资格告诉政府“什么样的 AI 很危险”的人,恰好也是最希望继续拥有训练最强 AI 权利的人。

他们掌握技术。

他们定义风险。

他们参与规则制定。

他们同时又是市场竞争者。

而且,他们已经领先了。

这才是整个问题最微妙的地方。

如果所有公司站在同一起跑线上,一起讨论限速,事情相对简单。

但现实情况是 OpenAI、Anthropic、Google 已经投入巨额资金,建立庞大的算力基础设施,训练出世界上最先进的模型,吸收最优秀的人才。

然后领先者开始告诉所有人:

我们现在需要设置限速。

这句话完全可能是正确的。

但接下来一定要继续追问:

限速多少?

谁负责检测?

什么规模的模型需要审批?

开源模型怎么办?

大学实验室怎么办?

小型创业公司怎么办?

如果一种全新的模型架构根本不需要今天这种巨大算力,又该怎么监管?

以及最重要的问题:

这些规则有没有给后来者留下超越今天这些公司的可能?

如果答案是否定的,那么我们在解决一种风险的同时,也制造了另一种风险。

Section 09

我们可能正在同时面对两套失控

过去谈 AI 风险的时候,人们通常想象的是一种技术意义上的失控。

AI 越来越聪明,最终超过人类的理解和控制能力。

但如果今天发生的趋势继续下去,我们可能需要同时考虑另外一种失控:

权力的集中。

如果未来最先进的 AI 只能由三五家公司训练,这些公司控制的就不只是一种软件产品。

AI 如果真的像这些公司自己宣称的那样,成为未来几十年最重要的通用技术,它最终会进入搜索、教育、医疗、金融、科研、媒体、软件开发、工业生产乃至政府决策。

控制基础 AI 的公司,也就控制了大量产业未来最重要的一层基础设施。

更微妙的是,这种集中完全可能以“安全”的方式发生。

因为每提高一次安全标准,都会增加新的固定成本。

固定成本越高,大公司越容易承担,小公司越难进入。

市场进一步集中以后,巨头又拥有更多资本建设更昂贵的安全系统。

然后新的安全系统再次成为下一轮监管标准。

这本身也是一个正反馈。

于是我们会发现,今天的 AI 世界其实同时出现了两条反馈回路。

第一条发生在技术内部:

AI 更强 → AI 更能参与 AI 研发 → 研发速度提高 → AI 进一步变强。

第二条发生在产业结构里:

巨头技术领先 → 更了解风险 → 更多参与监管 → 安全标准提高 → 市场准入成本提高 → 竞争者减少 → 巨头进一步领先。

第一条回路最终可能导致能力增长超过人类的控制速度。

第二条回路最终可能导致 AI 的资本和技术权力集中到极少数机构手里。

所以我现在越来越觉得,讨论 AI 安全的时候,如果只盯着第一条线,我们会漏掉这个时代非常重要的一半。

安全问题可能是真的,围绕安全形成的权力和利益同样是真的

THE CORE OF THIS ESSAY

Section 10

减速本身,可能恰恰说明 AI 已经进入了新的阶段

我现在依然不会说 AGI 已经来了。

ChatGPT 更聪明了,Claude 会操作电脑了,Agent 可以连续工作几个小时,这些都不足以证明 AGI 出现。

甚至 automated AI researcher 出现,也不意味着 AI 已经拥有完整的人类级科研能力。

但我们可能已经进入了一个比“模型越来越好用”重要得多的过渡阶段。

我现在更关注几个信号是否会同时持续:

AI 能否越来越独立地承担 AI research;

AI 对下一代模型研发速度的贡献是否继续提高;

网络安全、欺骗、reward hacking 等能力是否持续跨越新的安全阈值;

模型能力增长速度是否开始超过 monitoring 和 alignment 的发展速度;

以及 OpenAI、Anthropic、Google 等公司推动的安全规则,最终究竟会变成什么。

如果这些趋势继续加强,那么 AGI 距离我们究竟还有两年、五年还是十年,反倒没有那么重要。

因为系统本身已经发生了变化。

过去 AI 发展的速度主要由人类决定。

现在 AI 开始参与决定下一代 AI 有多强。

与此同时,决定“谁可以继续制造更强 AI”的规则,也开始逐渐形成。

所以今天真正值得问的问题已经有两个。

一个是:

当 AI 继续加速,人类还能不能控制它?

另一个是:

为了控制 AI,我们最终准备把多大的权力交给那几家已经跑在最前面的公司?

这两个问题没有简单答案。

我甚至认为,它们之间会长期存在冲突。

监管太弱,前沿实验室可能陷入没有人敢减速的军备竞赛;监管太强,又可能提前冻结今天的竞争格局,让拥有算力、资本和政策影响力的几家公司永久占据最前沿。

所以真正困难的事情,从来不是简单决定“加速”或者“减速”。

我们需要建立一种很麻烦的平衡:让危险的能力受到约束,同时让新的技术路线仍然能够出现;要求最强的公司承担更高的安全责任,同时不能让这种责任变成阻止后来者进入市场的许可证;让 AI 的能力继续发展,同时避免整个社会最后只剩下少数几个机构拥有定义 AI 未来的权力。

未来回头看 2026 年,我们记住的可能不会是哪一个模型在 benchmark 上超过了谁,也不会是哪家公司率先发布了某个 Agent。

这一年真正重要的变化,也许是两件事情同时发生了。

AI 开始越来越深地参与制造下一代 AI。

而制造 AI 的人,也开始讨论谁应该被允许继续制造下一代 AI。

前一个问题决定我们还能不能控制机器。

后一个问题决定最终由谁控制机器。

两件事,可能同样重要。