Anthropic聘请经济学家, 他说人类灭绝的可能性为33%是可以接受的

道德困境

这位经济学家记得问过人类自己是怎么想的吗？

在所有大型AI玩家中，Anthropic是最喜欢说AI末日的一家——当然，因为它也是最关心AI安全的。

那你绝对猜不到它们新聘的经济学家查德·琼斯有多奇葩的想法。

正如《金融时报》最近报道的，琼斯——斯坦福大学长期教授——曾经写过一篇论文，权衡了从AI导致人类灭绝的可接受风险水平与它将为重要的经济增长带来的潜在好处。

读者，我们很担忧。“回想一下，如果我们每年面临的存在风险流动概率为1%，持续40年，那么我们在这场AI爆炸中存活下来的概率就是exp(-．01×40)≈0.67，”琼斯写道。

“换句话说，从对数效用的角度看，用三分之一的概率结束人类存在，换取2/3的概率将生活标准大幅提高到一个56倍的因数，是最优选择。”

换句更直白的话：玩火是可以的——根据琼斯自己的计算，杀死我们所有人是33%的概率——因为AI可能魔幻地让经济转安为蓉，让每个人都住在美丽的太阳能高楼里。

并不是所有人都认为这是一个“最优”风险。“这不是扑克，你不能让数学给你指引，因为即使你现在输了，一个净正面的决定从长远来看也会有效，”红迪特上的一位读者气愤地说。“终结人类存在需要更谨慎一些。”

尽管琼斯的观点看起来值得怀疑，但它完全符合Anthropic的风格。公开对AI潜在后果表示紧张是这家公司的一贯作风，让它能够在竞争对手面前保持道德制高点。

尽管Anthropic可能真的承诺安全——你可能因为它的Claude AI被用于选择伊朗打击目标而怀疑这一点——但这种策略有一个可怕的效果：倾力吹捇AI的能力。

对AI如何结束世界的焦虑是建立在一个假设之上的：AI已经或将要强大到足以实现这一点，这最终加强了一个观念：Anthropic是一家重要的公司，承担着重大的道德问题。你觉得这对谁有利？