Toward an Evaluation Science for Generative AI Systems
作者: Laura Weidinger, Deb Raji, Hanna Wallach, Margaret Mitchell, Angelina Wang, Olawale Salaudeen, Rishi Bommasani, Sayash Kapoor, Deep Ganguli, Sanmi Koyejo, William Isaac
发布时间: 2025-03-10
来源: arxiv
研究方向: 生成式AI系统评估科学
主要内容
本文探讨了生成式AI系统在现实世界部署中的性能和安全性评估问题。指出当前评估体系存在不足，如静态基准测试的有效性挑战和个案方法的可扩展性不足。提出借鉴其他领域如交通、航空航天和制药工程的安全评估实践，强调评估指标应适用于现实世界性能，指标应迭代优化，并建立评估机构和规范。
主要贡献
1. 提出生成式AI系统评估科学的成熟路径。
2. 强调评估指标需适用于现实世界性能。
3. 提出迭代优化评估指标的方法。
4. 强调建立评估机构和规范的重要性。
5. 借鉴其他领域的安全评估实践，为生成式AI系统评估提供参考。
6. 提出基于行为的方法评估生成式AI系统。
7. 强调采用更全面的社会技术视角评估生成式AI系统。
8. 提出迭代评估方法，以改进早期评估设计。
9. 强调投资于评估基础设施和工具的重要性。
研究方法
1. 借鉴其他领域的安全评估实践。
2. 采用行为方法评估生成式AI系统。
3. 采用社会技术视角评估生成式AI系统。
4. 迭代优化评估指标。
5. 投资于评估基础设施和工具。
实验结果
本文未进行实验。
未来工作
未来需要进一步研究生成式AI系统的评估方法，包括开发更全面的评估工具和指标，建立评估机构和规范，以及提高评估的科学性和可靠性。