How Do Hackathons Foster Creativity? Towards AI Collaborative Evaluation of Creativity at Scale
作者: Jeanette Falk, Yiyi Chen, Janet Rafner, Mike Zhang, Johannes Bjerva, Alexander Nolte
发布时间: 2025-03-07
来源: arxiv
研究方向: 黑客马拉松与创造力研究，人工智能在创造力评估中的应用
主要内容
本研究通过对193,353个黑客马拉松项目进行大规模数据分析，探索了黑客马拉松如何促进创造力，并探讨了如何利用大型语言模型（LLMs）来评估和增强创造力。
主要贡献
1. 定义和实施了一种分析创造力的方法，以实现黑客马拉松项目中创造力的规模化分析。
2. 确定了促进黑客马拉松中创造力的方法。
3. 探讨了利用LLMs来增强创造力评估的可能性，并讨论了这一方法的挑战和机遇。
4. 通过对大量黑客马拉松项目进行分析，发现了影响创造力的因素，包括个人、团队和事件特征。
5. 提出了针对黑客马拉松组织者的具体建议，以促进创造力的产生。
6. 研究了LLMs作为创造力评估的辅助工具，并探讨了其与人类评估者协作的可能性。
研究方法
1. 数据分析：通过对Devpost数据库中的黑客马拉松项目进行大规模分析，识别出具有创造力的项目。
2. 统计分析：使用混合随机效应逻辑回归模型分析影响创造力的因素。
3. LLMs评估：使用LLMs评估项目描述的创造力和有用性。
4. 人类评估：由人类评估者对项目进行评估，以验证LLMs的评估结果。
实验结果
研究发现，小规模黑客马拉松、具有竞争性的团队、较大的团队规模、丰富的个人经验以及项目的受欢迎程度都与创造力正相关。此外，LLMs在评估创造力方面具有一定的潜力，但需要进一步研究和改进。
未来工作
未来研究可以探索以下方向：进一步改进LLMs在创造力评估中的性能，以实现更准确的评估；开发新的评估指标，以更全面地衡量创造力；研究如何将LLMs与人类评估者更好地结合，以实现更有效的创造力评估。