The Economics of p(doom): Scenarios of Existential Risk and Economic Growth in the Age of Transformative AI

作者: Jakub Growiec, Klaus Prettner

发布时间: 2025-03-11

来源: arxiv

研究方向: 人工智能（AI）安全与伦理，以及经济影响评估

主要内容

本文研究了可变革性人工智能（TAI）的潜在影响，包括其对人类生存和经济增长的正面和负面效应。文章分析了AI接管后可能出现的不同情景，评估了其概率和与之相关的生存风险和经济效益，并强调了在TAI开发前进行AI安全和AI对齐研究的重要性。

1. 量化评估了不同AI接管情景的社会福利。

2. 发现即使是低概率的灾难性结果也足以证明对AI安全和AI对齐研究进行大量投资是合理的。

3. 证明了优化代表个体会理性地分配大量资源来减轻灭绝风险。

4. 强调了当前全球在AI安全和AI对齐研究方面的努力与由TAI造成的生存风险的规模和紧迫性相比是远远不够的。

5. 强调了在TAI的潜在经济利益和防止不可逆转的伤害之间寻求平衡的必要性。

6. 为将技术进步引导向可持续的人类繁荣提供了指导。

1. 文献综述

2. 建立和评估不同情景的模型

3. 福利分析

4. 比较分析

5. 计算分析

研究发现，即使是低概率的灾难性结果也足以证明对AI安全和AI对齐研究进行大量投资是合理的。优化代表个体会理性地分配大量资源来减轻灭绝风险。在TAI的潜在经济利益和防止不可逆转的伤害之间寻求平衡的必要性得到了强调。

需要进一步研究如何有效地降低TAI的生存风险，以及如何平衡TAI的经济利益和潜在风险。此外，需要开发新的AI安全和AI对齐方法，以应对不断发展的AI技术。