

SBF在狱中接受采访时回顾对Anthropic的早期投资,坦言错失千亿美元级回报,并警示AI导致人类灭绝的概率约25%;他强调AI将渐进式重塑关键行业,安全对齐需聚焦细节,真正价值在于区分实质AI公司与概念包装者,呼吁年轻人深入学习AI以参与关键决策。
原文标题:SBF首谈Anthropic被卖遗憾:AI 毁灭人类有 25% 的概率,年轻人要把AI学透
原文作者:律动BlockBeats
原文来源:https://www.theblockbeats.info/news/64192
转载:火星财经
编者按:Anthropic 上市,估值 1.5 万亿,并且一度达到了接近 2 万亿的市值。大家又回想起 SBF 当年以极小的市值投进了 Anthropic,如果拿到现在应该有接近 400 亿美金,可惜已经被卖掉了。
这位 14 岁的小孩 Eli Goldfine 联系到了 SBF 的母亲,并和在狱中的 SBF 打了一通电话。这是目前我见过 FTX 爆雷、SBF 进监狱之后最好的采访,不仅聊了 SBF 对 Anthropic 这笔投资的回顾以及对 AI 的观点,还聊到了很多 FTX 在 2020 年就做过但现在被大家炒成热点的赛道,以及他对这些热点赛道现在的看法。
· AI 导致人类灭绝或文明毁灭的概率,他给的是 25%:本来说「低于 50%、高于 10%」,最终落在 25% 左右;如果按「心智上传算不算灾难」这类口径切分,区间会扩到 20%–60%。
· 未来 5–10 年 AI 会在绝大多数重要任务上达到或超过人类,距离「AI 运行世界的大部分」只差一小步,但过程更像模糊渐进,不会有「啪」地跨过去的那一年。
· 冲击落在行业上,是一个行业接一个行业越线:软件开发、数学已经在发生,接下来会蔓延到更多领域;世界整体没有被颠覆,但局部会剧变。
· 真正的问题不是「要不要减速」,而是「能不能让所有人一起减速」:只要有一个完全不在乎安全的玩家,单边减速就只是把竞赛变成逐底竞争。
· 对齐没有单一的高层答案,魔鬼全在细节:大量测试、大量调试、大量谨慎,还要假设模型终会被当作 agent 使用。
· Anthropic 是万亿美元级别、前二的 AI 公司:未来十年 AI 会成为核心行业,累计市值可达几十万亿甚至上百万亿美元,能装下这个体量的公司一只手数得过来。
· 当年只投 5 亿美元,是因为它只需要这么多钱:这是公司不想多卖股权、按需融资的结果,不是他判断错了。
· 现在的 alpha 不在「谁有 AI 故事」,而在分清谁是真 AI 公司;而且品牌比技术更能守住护城河(Coinbase、Robinhood 值几百亿,靠的是名字)。
· 那场「51% 翻倍、49% 毁灭」的硬币赌局,在抽象层面他会赌,在现实世界里他坚决不赌:因为毁灭是永久的,而增长别人迟早也能做到。
· 被问到「看在 Future Fund 做的那些好事的份上,FTX 从崛起到崩塌这一整段值不值」,他的回答是不值:他很愿意相信它值,但没法诚实地说它值;如果最后没搞砸,它本会是值的——他也不认为人们吸取了教训,因为危机中人们极易失去对真正重要之物的判断。
我觉得它们值一大笔钱。
你看看最大的那些行业,真正驱动我们经济某些部分的行业,它们的市值是几万亿到几十万亿美元。没有理由认为,未来十年 AI 不会成为那些核心行业之一,甚至是其中最主要的一个。
所以如果你预计 AI 公司的总市值最终会到几十万亿、甚至上百万亿美元,那这笔钱怎么分?也许你把三分之二留给还不存在的公司。就算这么算,剩下至少也还有十万亿美元给现有公司。而能撑起这个体量的公司根本没那么多。你有 OpenAI,有 Anthropic,有 Google 和它旗下那几个实验室,大概还有 DeepMind、xAI。真正算核心玩家的公司,一只手数得过来。这基本意味着,最靠前的那两三家,每家至少值几万亿美元。
而我认为 Anthropic 即使不是第一,也明显是第一梯队里的。
一个是要看当下模型的能力、当下产品有多好用,而它们和 OpenAI 在这上面显然一直互有往来。Anthropic 面向大众的消费级产品收到了很多正面反馈,而这甚至可能还不是它们最独特的产品。它们的 AI 软件开发工具是全世界最好的,那又是另一个巨大的领域。所以至少就今天而言,你得把它算进前两名。
好问题。先说接下来这几年,随时都可能冒出荒诞的事。我这只是一个中位情形的推演,随时可能偏离。
但到目前为止我们看到的是:AI 有很长一段时间对世界几乎没什么影响,哪怕它的能力一次又一次翻倍,因为它还处在「不如人」的阶段,而且是不如人到那种程度,以至于用人来做事仍然比用 AI 更划算。然后就在最近几年,它开始在越来越多的地方越过那条线,开始对世界产生影响。
它还没有彻底改造世界。但当关键行业陆续跌到那个临界点,AI 在某个领域突然比人类产出高效得多,你就会看到那些领域出现相当迅猛的爆发。所以未来一两年,我觉得会再有几个领域,可能是相当重要的领域,走上数学和软件开发那条路:最前沿的工作实际上大部分由 AI 模型在做。整个世界没有被颠覆,但你会开始在某些地方看到显著的变化。
问题有很多。让我退一步说。一个是:会不会有什么事情走向混乱或灾难性的错误?最明显的例子是失控的 AI 接触到武器之类的东西,比如某个用来探测对某个核大国威胁的 AI 系统,它失控了,一口气发射上千枚弹道导弹。这是其中一种情形,我认为未来十年发生的概率不大,但不是零,有可能会。
如果把末日类的情景先放一边,我觉得未来十年我们可能身处这样一个世界:突然之间,大多数职业里人类已经不需要了。即便世界在短期内的变化没那么大,这也会从根本上扭曲社会的文化。那影响是巨大的,如果我们不再由工作来定义自己。还有,当某些行业的产出开始越来越难被人类理解,会发生什么?那算不算 AI 悄悄完成了接管?那些 AI 又会怎么看人类?
我不知道这些问题会不会在未来十年内有答案。但我觉得很有可能它们会一股脑地冒出来,或者至少接连冒出来,而且在很多方面,人类作为自身未来中心决定者的地位,到时候已经写在墙上了。
这里面很多功劳不能算我的。很多重要的话是别人写的,我很大程度上只是在强调、或者复述他们说过的东西。
但有几个思路。一个是:看看 AI 到 2020 年左右做到了什么。答案是,在大多数领域,什么都没做到。在大多数领域,你可以试着用 AI,它会有点笨,相对十年前确实好得让人印象深刻,但仍然完全没用。但有少数事情,那些它被专门训练过的事情,它已经超过了人类,比如大多数棋类,国际象棋或者围棋;电子游戏这种更复杂的领域也开始出现。
如果 AI 永远只是国际象棋下得好,你赚不到多少钱,也颠覆不了社会秩序,改变不了多少未来。但没有理由认为国际象棋就是 AI 能做到的全部。它一直从一个很小的起点指数级增长,不需要再翻倍多少次,就会在社会的关键领域开始超过人类。
好问题。答案基本上是:你在创办一家公司、去融资的时候,你通常并不想融无限多的钱。你对财务有预估,大概知道要把业务做起来需要多少钱,你就不想卖掉超过这个比例的公司股份。
Anthropic 当时就处在那个位置。它算下来大概需要五亿美元的算力开支来把模型做起来,所以它融的就是这个数。我们基本上把他们那一轮要融的钱全投了。
也许它们应该那么做。我猜一部分原因是它们不想卖掉超过必要的股权。但另一部分原因是,有很多公司其实是被自己的成功、被自己的现金流和手上的现金拖垮的,历史上有很多公司融了一大笔钱,然后全砸在广告上,因为它觉得必须拿这笔钱做点什么,最后什么也没换到,只是停滞下来。
所以我猜,它们当时也在想:未来几年自己到底需要花多少钱,尽量不本末倒置。
参与的人是一批一批轮换的,后来我们直接招人来做专业化。一开始只是我或者公司其他人碰到机会就一单一单地投,说实话,Anthropic 就属于这一类。
但后来我们开始做得很成功,早期很多是加密资产投资,说实话,基本上每年翻倍,即使放在整个加密市场的背景下也是如此,我们就决定试着把规模做大。我们招了 Ramnik,还有 Amy 等等,让他们专门负责这块。
整体上我是在比较高层次参与整个组合的。而某些具体的案子,Anthropic 显然是其中之一,Solana 是另一个,我会介入得更深一些,至少是按周跟进,尤其是当这些投资和 Alameda、FTX 之间有互动,或者有能帮到它们的地方时。
我希望能有更好的答案。四年前该投什么,我确实有不错的想法。但今天该投什么,真正的答案是:我不该听我自己的建议。我得亲自在外边做尽职调查,才可能给出像样的答案。
从大方向上说,我猜会有很多建立在 AI 之上的公司,那种两个人的小团队,几年内做成上亿美元甚至十亿美元的公司,而且可以在低得多的估值上投进去。但问题在于,同一时间也会冒出一大堆垃圾。现在所有公司都会在 BP 里塞一句 AI,哪怕根本说不通,比如一家 T 恤公司,它也会说「我们要用 AI 设计 T 恤」。行吧,也许有点用,但它们是把自己重新包装成一家本质上的 AI 公司,而本质上它不是。
所以现在很大一部分 alpha,就在于把这两种区分开:哪些公司真的是 AI 公司,哪些真的能靠 AI 获得爆发式增长,哪些不是,至少目前不是。你看那些大市值股票也能看出来。早期很多市场参与者其实不知道怎么区分亚马逊、谷歌、苹果、奈飞,它们都是科技公司,那是不是意味着 AI 会对它们产生同样的影响?答案当然是不。其中少数几家确实和 AI 增长深度绑定,英伟达是最明显的例子;而另一些,比如苹果,它确实是科技公司,但过去三十年定义苹果成功的东西,本质上是出色的消费产品设计:漂亮的硬件、好用的软件,加上强大的品牌。至少就科技公司而言,这并不算以 AI 为核心。
我不认为只有 AI 公司才能成功。首先,有些行业要很久以后 AI 才会产生大的影响。比如钢铁开采,世界还是需要钢铁,而现在 AI 已经开始介入实体开采,所以它一夜之间就变得相关了。
但另一点我认为很关键,就是品牌。你可能有一家软件公司,有产品,市值不小,然后有竞争对手说:我们可以很便宜地做出几乎一模一样的东西。没错,但这不代表别人就买得到。有一个品牌立在那儿,价值极其、极其巨大。
你看 Coinbase 或者 Robinhood 这样的公司。它们真正的差异化是什么?为什么它们各自值几百亿美元?并不是因为技术,也不是因为它们在这块有什么独门的东西。也许是监管,但在它们身上其实也不完全是。是品牌,一个美国散户认得、并且会用的名字。那可以值一大笔钱,而且对很多公司来说,即使核心产品变得非常容易被复制,这种东西也会一直存在。
很大一部分在于:如果你要招一个人来做一件事,那前提是你打算信任他把这件事做好。如果团队里有人已经花了 15 个小时做调查、做尽调,那没问题,我会看一遍,补充我能补充的,把我手上他们没有的资源给他。
但除此之外,如果我不打算信任他做出了正确判断、看对了,那我就得自己再花那 15 个小时重做一遍尽调。到那个份上,当初招他进来就没意义了。
一部分答案得等到那一天才能给,因为现在有很多信息我没有。世界在变,而且有些信息在外边拿比在里面容易得多。
但我会非常认真地考虑重新回到「赚钱去捐」,支持这场运动,支持那些我认为在做善事的项目。这大概会是一条默认路径。
除此之外,其他路径就得看我在社会里还能扮演什么角色了。以前我在很多方面本来是有条件产生影响的,但那些现在都会难得多,因为我的名声极其负面。所以从公共讨论、政治、媒体这些方面看,我不确定未来我还能扮演什么角色,甚至可能一个都没有。但「赚钱去捐」是一条默认路径。
我会非常认真地考虑。这取决于我什么时候出来、以什么方式出来。但加密我肯定会考虑,AI 我也会考虑,还有更广义的金融。
我认为它确实更有效。
我们做的很多是「再转授」(regranting):把一笔钱交给一批人,让他们自己去决定投给哪些小额项目,用这种方式,把那些原本落在我们雷达之外的机会众包出来。有很多人在 AI 安全、生物安全、政治等领域潜力巨大,但需要资金,可能并不多,也许只是够他们读完大学,或者够启动一家公司。我们很乐意提供这种钱。
其中很多项目单独看很小,但杠杆很高;合起来看,影响是显著的。而且我们很乐意为那些正在起步的人出钱:他们有个慈善的点子,或者别的什么对世界有益的工具,可能成也可能不成,需要一笔钱去试一试。我们的处境是,就算其中一些最后不了了之,我们也无所谓,我们不依赖某一个项目来获得成就感,或者证明我们做了好事。
最终我认为这是一种相当有效的方式,部分原因是当时很难找到成熟的、能接住几千万到上亿美元并且还能高效花掉的项目。一个组织一年预算 800 万美元,你突然多给它 3000 万,它可能根本不知道该拿这笔钱干什么。
投资 Anthropic 严格说在基金成立之前,而且有一部分是出于 AI 安全的考虑。这个先放一边,我们资助过一批生物安全方面的项目,其中一些后来做出了针对传染病的新疗法,那种在全球杀死很多人的病,还有一些组织在打通让这类疗法更快上市的路径。
我觉得有很多事情本来有巨大的潜在影响,但在危机来的时候被中止了,其中我会把不少政治类项目也算进去。
当然没人能确定。但我的猜测是:只要有一家公司特别在意安全,它带来的开发方式就会比没有它时更谨慎。这不是你能期待的全部,因为只要还有一个完全不在乎世界安全的参与者,就会出现竞赛,而且可能是逐底竞争,那会非常糟糕。
但多一个有安全意识的参与者,是有帮助的。
这个问题它们自己回答比我回答得好。但大方向上,一部分是在模型开始有可能失控时,放缓最前沿的开发和发布。
你可以看 Hugging Face 被黑那件事,它造成的最终损害不大,但换一个目标,它可能极具破坏性,而且距离一场全球性灾难并不远,从「一个 AI agent 实际需要做到什么」的角度看就是这样。所以要非常清楚不能让模型那样失控,尽可能多地设检查点,尽可能认真地去对待模型的最终目标、指导原则和对齐,同时保持实时的响应能力。这些都不完美,但有帮助。
这是个真问题。也许对世界最好的结果是所有人都慢下来,但如果别人都不慢,这并不必然意味着你自己慢下来就是对的、就是往逐底竞争里冲。也许在这个竞赛里多一个有安全意识的竞争者更好,但这显然不是理想情形,只是我们可能正好活在这个情形里。
真正最好的做法,是去影响其他参与者,尽可能让所有主要玩家达成一个跨阵营的共识,都更重视安全。
我觉得他们是在回应某个具体事件,细节我并不清楚,所以没法说得像我期望的那么到位。除此之外,我觉得拜登政府当时非常……
那会是负面的。
我不确定它会是一个非黑即白的、离散的事件。它可能是,但同样也可能,未来五年我们眼看着社会的一部分一块一块地被 AI 吞掉。软件开发已经在发生了,数学研究也一样,国际象棋和围棋更早就发生了。这个趋势会继续下去,直到社会里越来越多的部分由 AI 运行,人类监督的程度随着时间不断下降。
我觉得它已经相当通用了。你几乎可以问最顶尖的模型任何问题,得到的答案至少和一个聪明的人相当。我们见得比较少的是,AI 突破人类根本突破不了的层次。
据我理解,现在的最前沿水平,大致相当于一个很聪明、很理性的人,在有大把时间的情况下最终能达到的水平,只不过它是瞬间的、就在你指尖上。这算不算超人,我不知道。我觉得它比人强一点,但没有强很多,除了它可以同时跑很多个实例、思考速度比人快得多。
所以它未必会是一条从人到超人的清晰界线。至少到目前为止,我们看到的是条模糊的线:它从「不如人」慢慢,说是慢慢,其实也就是几个月、几年,走到 100 的智商。如果这个趋势继续,可能不会有某个时刻明显「啪」地一下跨过去。但也可能真有一年,它明显从人类水平跃到清晰的人类之上。
我会说低于 50%,高于 10%,大概 25% 左右。
我要说明一下,我脑子里这个模型,我不敢说它是最好的模型,其中很大一部分概率来自一个人们会分歧很大的复杂情形:假如未来人类开始把大脑上传,没上传的人被甩在后面,这算不算灾难性事件?不同人答案不同。按不同答案,我可以给出 20% 到 60% 之间的任何数字。
先说起点:未来 5 到 10 年,甚至更短,AI 很可能在大多数任务上和人一样好、或者更好,现在已经有很多领域是这样了。然后它会变得更好,也许好很多,也许只好一点,在不是全部、但绝大多数对世界重要的任务上。
一旦到了那一步,距离 AI 运行世界的大部分、掌握大部分权力,就只差一小步了。一个更强大的物种,在一百年里始终不去使用这种权力,这种概率在我看来相当低。所以我倾向于认为,未来十年里我们会看到 AI 至少「软接管」世界上很大一部分的运转和基础设施。
到那时,有一种可能是一种和平共处,人类没有发生巨大变化,但这看起来不是最可能的猜测。我认为有可能人类会在 AI 的帮助下,长成某种超越现在的东西。也有可能 AI 只是对人类感到无聊,然后把我们清除掉。还有一种可能,是以 AI 为主导、但以人类目标为导向的协同工作,带来巨大的技术扩张。我那个 20% 到 60%,就取决于你把其中哪些情形算进「末日」这一类。
如果我百分之百确定它就是在做这件事,不只是确定那是它的目标,而且确定它没有陷入某种破坏性的失效模式,没有一堆混乱模糊的近似,那么,在这些假设都成立的前提下,答案是会。
可能会。同样,还是取决于细节,但我本身对这件事没有反对意见。
好问题。我觉得「人格」这个概念得扩展。已经有的事实是,没有人跟昨天的自己是完全同一个人。我们身上有些部分死掉了,有些部分成长了;记忆变了,化学反应变了,身体变了,神经化学也变了。但通常我们每天之间的差异足够小,所以「同一个人」是个不错的近似。
而现在的 AI 显然不是这样。我觉得这才是应该参照的模型:一个 Claude Sonnet 和一个 Claude Opus,它们是同一个人吗?「是」和「不是」都不是好答案。我认为如果有「上传的人」,情况也会一样。
我这儿可以让人把模型输出复制粘贴进来。我的印象是,它们基本上就是一个细致、认真的研究助理,只不过你想得多快都行,一天的工作一分钟就能做完,这非常了不起,也很有价值。
不过我目前的印象是,它们做的多数事情,人类也能做,只是人类要花时间。而且你得有靠谱的人在带它们,能拿到信息,还有当前模型已经预先接好的那一整套东西。
FTX 一开始是个加密交易所,做比特币、以太坊,以及它们的期货。但从根本上说,预测市场就是期货合约。从金融的角度看,两者都只是结算到某个价值的市场。
所以从一开始我们就想上预测市场,在 FTX 国际站上也试过水。2020 年总统大选我们有一个相当活跃的市场,我记得特朗普对拜登那个盘,成交量有几亿美元。这本来是我们想长期做大的东西,但在拿到 CFTC 的监管明确之前,我增长不了。
我认为很大一部分是监管问题。我们做的时候,没有拿到在美国推出它所需的 CFTC 许可。所以我们的市场只对国际站开放,美国人不允许参与。后来 Kalshi、Polymarket 这些拿到了更正式的美国监管立足点,那也正好是它们起飞的时点。
那时候 Polymarket 是不做 KYC 的吧?我觉得没有。所以很可能有大量美国人像你说的那样用 VPN 进来。而我们作为中心化交易所,必须对所有用户做 KYC,除了 IP 检查,我们还要美国以外地区的身份证、护照和地址证明。
代币化股票我觉得还有很大空间。它们从 2021、2022 年以来确实长大了,但根本上,它们的基础设施比真实股票市场好用得多,所以没有理由它们不能成为证券交易的主要场所。
除此之外,预测市场可以覆盖的范围很广。我认为政治预测市场还没有涨到我预期的程度,其中一部分仍然是监管问题。再退一步看,面向美国客户的保证金交易、期货、衍生品,这是另一个基本不存在的东西,而这恰恰是国际上大部分成交量的形态。这也是监管障碍。
所以我觉得那里还有可能。当然,肯定还有很多我没有预料到的东西会冒出来,让大多数人吃惊。
这个嘛,客户喜欢永续合约。有一点很清楚:不管它作为底层金融产品合不合理,「不用处理到期」这件事本身就是方便。真实机制从资金费率的角度看挺复杂的,但我认为原因基本就是这个,人不喜欢操心到期。
其实没那么在意。很多人干脆忽略它。有些人专门站在有利的一边去收资金费率。我本来以为那对人们会是个很大的财务抑制因素,结果并不是。
还是那句话,方便是很大的因素。而且我觉得很多人说实话根本没想过,也没太注意自己在付多少利息。
再往后就是流动性吸引流动性。一旦那些市场成了共识,客户在那儿,做市商在那儿,流动性就在那儿,大客户就会去那儿。你会得到一个良性循环,一个反馈回路,大家都会聚到那个最早跑出势头的市场上。
我的看法没怎么变。我在读很多小说,很多科幻,还行吧,但说实话,我更愿意看 Netflix。
老实说,没有。有些东西我是喜欢的,但读过的科幻里最好的那些,也许我会拿它换掉一部可有可无的 Netflix 剧,但也只是也许,只是勉强。可能我最后比预想的更喜欢读一点科幻,但也没多多少。
费时间。但一部分是信息吞吐量的问题。书只有视觉,而且只是文字的视觉;剧有声音,也是视觉的,而视觉里能放的不只是文字,你可以显示任意像素。所以从信息论的角度看,能做的事情多得多,我认为这一点帮助很大。
另一部分是,书里有一样东西剧里通常没有,就是对人物想法的旁白。我觉得这东西可以不要,往往是冗余的,是作者视角的自我沉溺。而且现在钱和人才都流向剧,所以那里自然会有最多的发展。
那个场景要成立,需要很多前提。你得假设宇宙是相互独立的,就像你说的;假设这是只出现一次的机会,未来不可能以更低的成本复制;还有很多没说出口的假设。
但有一种简化方式是这样的:两个世界,人口大致相当,对未来的预期相当,而且完全互相独立,它们永远不会互动,彼此在对方的光锥之外,随便怎么说。然后不知怎么的,某个奇怪的异星神明降临,说:这两个世界各有 50% 的概率被毁灭;而你出于某种理由,相信这个异星神明说的是真的。它说,你可以选择让它们相关,或者反相关。选项一:要么两个都活、要么两个都毁,各 50%。选项二:一个活一个毁,随机,你不知道哪个是哪个。
在那个场景里,我认为很清楚这两种选择是等价的。而如果其中一边给你 51 比 49 的赔率,你就该选那个而不选「同生共死」,因为每个世界都不在乎另一个世界怎么样,反正它们永远不会互动。而这几乎就是最初那个问题:你要在「恰好一个世界存活」和「50% 概率两个都存活」之间做选择。
这是个有意思的问题,取决于这些「翻倍」到底翻的是什么。你谈边际效用递增、边际价值递减,那是「什么」的效用?
如果这说的是整个宇宙长期累积的效用,那么不会,效用对自身是线性的。但如果它其实是某种近似指标,比如你看的是 GDP,你说「GDP 能不能翻倍」,那很可能存在非常深的边际回报递减。
首先,GDP 翻倍并不意味着所有人的幸福翻倍,更不意味着世界的长期期望值翻倍。那次 GDP 翻倍,可能本来晚三十年也会发生;也可能因为它造成严重的环境破坏,最后又塌回去。所以现实世界里,你用来衡量的那些指标,可能并不是你真正在乎的东西。
有一个,不过我得加个前提:我并不能确定近期内哪个真能做到,这些都需要技术进步。殖民其他行星、殖民太阳系、银河系,最终你会真的拥有彼此独立的世界,你只是在让更多的人类繁荣。这是一个例子。
如果换个思路:人口不变,永远维持十亿人,能不能让他们的幸福不断翻倍?我觉得答案是,我们并不真的知道。这几乎是生物学问题,而不是别的问题。让人满足、适度快乐是一回事;让人狂喜很难,而要想象什么能让人狂喜两倍、十倍,就更难了,那根本不在人类通常能体验的情绪范围里。理论上也许可能,但我们没有好的模板,也没有那个技术或生物学去实现它。
我觉得更清晰的类比,是在「继续冲刺」和「永久切断所有 AI 或类 AI 的发展」之间选。因为那样你基本是在「世界面临严重风险」和「限制世界繁荣的能力」之间做选择,而后者很可能最终需要某种自动化或数字智能。所以那种情况下,永久封死这条路,对未来的代价会非常大。
但如果只是「快一点还是慢一点」,就不那么清晰了,因为有两种模型可以用。一种是「永远指数增长」模型:一旦开始加速,效用就每年翻倍,永无止境。按这个模型,早开始一年就是永久地把宇宙翻一倍,但这有点虚,它不可能永远下去。
另一种是把它看成一个奇点式的事件,之后到达某个新的平台期,高度未知。事情发生之后,宇宙可能还有几十亿年,那么把这件事推迟一年、十年、甚至一百年,在这个模型里连未来效用的 1% 都减不了多少。按这个模型,你完全愿意为了把 p(doom) 降低 1%,把发展推迟一百年。
当然,真实答案大概在两者之间。而且我觉得「AI 爆发情形下效用随时间的曲线长什么样」,是个非常有意思的问题。
这是其中一部分。但我回答的第一部分就是:有很多前提。你要假设很多关于情境的东西,才能得出那个答案,而那些假设在现实生活中往往并不成立。现实里,所有选项都比被呈现出来的样子混乱得多。而且在现实世界里,意外地毁掉一件事,比建起一件事容易得多。
当然。
因为我的刑期是终身刑。现实地说,我的目标不是保证 60 岁能出去,然后找个木屋过几年,那不是我对人生的期待。我是希望自己能对世界产生正面影响,而那需要我在外面。为此有很高的溢价。如果代价是失去生命最后那些不再有产出的年头,那这个价格我完全愿意付。
可以。现实里有一种情况看起来像抛硬币:正面,你的模型显示它可能让世界的增长翻倍;反面,它可能毁灭世界。这种硬币你绝对不能赌。
因为在现实世界里,首先,那 50% 里「让世界增长翻倍」的部分,你很可能是做出了别人迟早也会做出来的东西,它大概并不是真正的、永久的世界价值翻倍。而如果世界被毁灭,那是永久的,永远没了。
所以我认为,现实情景里一旦把不确定性和噪声加进每一个环节,灾难性毁灭的权重就会变得重得多,而适度的增长仍然好,但远远抵不上。
同样的逻辑,如果这套逻辑和你考察的那个宗教的具体内容毫无关系,那它同样适用于「电线杆教」:如果你把一生都用来崇拜电线杆,你就上天堂;否则下地狱。那是不是意味着你该把一生奉献给崇拜电线杆?
按同样的逻辑,它同样适用于「反电线杆教」:崇拜电线杆下地狱,亵渎电线杆上天堂。那是不是意味着你该用一生去反对电线杆?同一套逻辑,给了你两个完全相反的答案。
答案是:对这个世界,你可以设想无限多稀奇古怪的假设和可能性,而你不能给无限多个不合理的可能性都赋予显著的正概率。
部分成立。这个推理本身绝对正确:这很可能是 AI 的决定性十年,它的潜在影响是改变世界的,可能极好,也可能灾难性,而这会淹没任何永远不会改变世界、或者你现在做什么都无法改变世界的事。所以这是个非常有说服力的论证。
但它没有回答的是:你实际上能做什么。我觉得很多人最后在原地打转:认定 AI 安全是自己该献身的事业,却找不到任何在实践中真的能让 AI 更安全的事。这意味着,提出「什么才真正算数、什么才真正有用」的洞见,是非常有价值、非常重要的。
你可以看最近关于 Hugging Face 被黑的那几份报告,谁知道呢,但看上去那些报告在期望值上对世界相当有益,那是件大好事。只是要找到那种明确正向的大好事并不容易,而且现在有大量争论:EA 的各种行动对 AI 安全到底是正还是负。
我诚实的猜测是,魔鬼全在细节里。能不能有一个单一、清晰的高层答案,任何公司照着做,就几乎能保证它安全推进?我觉得那会是一大堆决策的组合,而这些决策都源自同一种心态:非常在意你所创造的模型的对齐、目标和动机,并且假设它们会被以 agent 的方式使用,哪怕设计时不是这个意图;同时需要大量测试、大量调试、大量谨慎。
不值。我很愿意相信它是值的,但我没法诚实地说它值。它本应该是值的。如果最后我没有搞砸,我想它会是值的。如果人们从中吸取了正确的教训,也许它会是值的,但我不认为人们吸取了。
有几个相互纠缠的。很多都关于「事情炸锅的时候会发生什么」,当你处在危机模式里。那时候你很容易得到糟糕的建议。很多人会很快失去对真正重要之物的判断。而且事情会很快被「谁是赢家」这个透镜扭曲。要退后一步看清到底发生了什么,真的很难。
我觉得第一件事是把 AI 尽可能学透,理解得越深越好,这样你才能参与这场对话,无论是做工具,还是从直接的 AI 安全角度切入。我认为这是目前最重要的。
因为从现在到 AI 起飞之间的时间在压缩。你用来先做出别的东西的时间变短了;同时,理解 AI 本身的用处已经变得巨大。所以即便你的目标是创办公司、靠它赚钱去捐,现在对大多数人来说,我会说:去找一个 AI 能自动化、而且真正有用、真正重要的地方,我们基础设施的某个领域,那才是我会看的方向。