FRIDA to the Rescue! Analyzing Synthetic Data Effectiveness in Object-Based Common Sense Reasoning for Disaster Response
作者: Mollie Shichman, Claire Bonial, Austin Blodgett, Taylor Hudson, Francis Ferraro, Rachel Rudinger
发布时间: 2025-02-27
来源: arxiv
研究方向: 自然语言处理与灾难响应
主要内容
该研究旨在通过使用合成数据来增强小型语言模型（LLM）在灾难响应领域的常识推理能力。研究者们开发了一种名为FRIDA的模型，通过专家和语言学家的合作生成高质量的种子数据，进而生成用于微调的合成数据。
主要贡献
1. 开发了一种专家参与的流水线，用于生成特定的高质量合成数据，用于微调，以及由此产生的黄金标准数据集。
2. 创建了一个包含25000条指令的合成数据集，涉及常识和地震知识。
3. 训练了FRIDA 1B、3B、Minstal 8B和LLaMa 8B模型。
4. 一系列在合成数据集子集上训练的消融FRIDA（aFRIDA）模型。
5. 一个包含代码和FRIDA流水线完整示例的匿名GitHub存储库。
研究方法
1. 使用Gemini-1.5 Flash生成合成数据。
2. 开发了一系列模板，用于从灾害救援和语言学专业知识中生成高质量的种子数据。
3. 对LLaMa和Mistral指令调整模型进行微调。
4. 进行消融研究，以了解哪些类型的合成数据最影响性能。
5. 使用精确匹配和SemScore评估模型性能。
实验结果
FRIDA模型在各种尺寸下都优于其基线模型。消融研究表明，仅训练物理状态和对象功能常识知识就优于在所有数据上训练的FRIDA模型。
未来工作
改进合成数据的提示，使其不那么简单化；改进常识相关模板，并创建具有不同语法的子模板，以使合成数据更符合现实世界的自然语言；测试该流程在各种具体灾害上，并从灾害专家那里获得反馈。