Optimizing Large Language Models for ESG Activity Detection in Financial Texts
作者: Mattia Birti, Francesco Osborne, Andrea Maurino
发布时间: 2025-03-03
来源: arxiv
研究方向: 金融科技与可持续金融
主要内容
本研究旨在优化大型语言模型（LLM）在识别金融文本中与ESG活动相关的文本方面的能力。研究通过在包含原创和合成数据的组合上进行微调，显著提高了模型的分类准确率。
主要贡献
1. 分析了最先进的LLM在关联文本描述与特定环境活动方面的性能。
2. 引入了ESG-Activities，一个结合了原创和合成数据的新型基准。
3. 证明了通过将高质量的、人工编纂的数据集与合成数据进行增强，可以增强模型在此任务上的性能。
4. 提供了分析的全代码库，以确保可重复性。
研究方法
1. 使用低秩自适应（LoRA）技术对LLM进行微调。
2. 创建了一个名为ESGQuest的原型，用于分析和将文档映射到ESG活动。
3. 评估了包括Llama、Gemma、Mistral和GPT-4o Mini在内的多种LLM。
4. 采用零样本学习和微调两种模式进行实验。
5. 使用10折交叉验证来减轻过拟合的风险。
6. 使用AdamW优化器和LoRA技术进行模型优化。
实验结果
实验结果表明，微调后的模型在分类文本方面显著优于零样本方法，证实了领域适应性在提高ESG文本分类方面的关键作用。此外，合成数据的加入证明是一种有价值的策略，在多个模型架构上产生了实质性的性能提升。
未来工作
计划探索替代的数据生成技术，包括人机交互方法，以进一步细化用于ESG应用的合成数据。此外，需要进一步研究评估模型在其他NLP任务上的性能，例如ESG情感分析和风险评估。最后，应研究如何将这些模型有效地部署到现实世界的金融决策过程中，确保AI驱动的ESG分析符合监管要求和行业标准。