FinTMMBench: Benchmarking Temporal-Aware Multi-Modal RAG in Finance
作者: Fengbin Zhu, Junfeng Li, Liangming Pan, Wenjie Wang, Fuli Feng, Chao Wang, Huanbo Luan, Tat-Seng Chua
发布时间: 2025-03-10
来源: arxiv
研究方向: 金融领域的时间感知多模态检索增强生成（RAG）
主要内容
该研究提出了FinTMMBench，一个用于评估金融分析中时间感知多模态RAG系统的基准。FinTMMBench包含了来自多个模态（表格、新闻文章、股票价格和图表）的7380个问题，旨在评估模型在检索和推理时间敏感金融信息方面的能力。为了解决FinTMMBench的挑战，研究人员提出了TMMHybridRAG，这是一种结合密集和图检索以及时间感知实体建模的新方法。
主要贡献
1. 首次研究了金融领域的时间感知多模态RAG，解决了金融分析中的关键现实需求。
2. 引入了新的基准FinTMMBench，专门用于评估金融领域的时间感知多模态RAG系统。
3. 提出了TMMHybridRAG，这是一种新颖的时间感知多模态RAG方法，结合了密集和图检索技术。
研究方法
1. 模板引导的生成方法
2. 多模态大型语言模型（LLM）
3. 密集检索和图检索技术
4. 时间感知实体建模
实验结果
TMMHybridRAG在所有评估指标上均优于基线方法，证明了其在解决FinTMMBench挑战方面的优越性。然而，F1分数相对较低（23.71），突显了FinTMMBench中存在的挑战，并强调了需要开发更先进的RAG方法。
未来工作
希望FinTMMBench能够作为一个有价值的资源，推动构建稳健且可解释的时间感知多模态金融RAG系统。未来的工作可能包括改进检索和推理方法，以及探索更复杂的金融任务和模态。