LLM Knows Geometry Better than Algebra: Numerical Understanding of LLM-Based Agents in A Trading Arena
作者: Tianmi Ma, Jiawei Du, Wenxin Huang, Wenjie Wang, Liang Xie, Xian Zhong, Joey Tianyi Zhou
发布时间: 2025-02-27
来源: arxiv
研究方向: 大语言模型（LLM）在数值推理任务中的表现，特别是在金融交易场景中的应用。
主要内容
本文通过设计一个虚拟的股票交易环境（Agent Trading Arena），评估了LLM在处理文本和视觉数据时的数值推理能力。研究发现，LLM在处理几何推理任务（如K线图）时表现优于代数推理任务（如文本数据）。通过引入反思模块（Reflection Module），进一步提升了模型在复杂数据分析和决策中的表现。
主要贡献
1. 提出了Agent Trading Arena，一个模拟复杂经济系统的虚拟交易环境，用于评估LLM在动态、未见任务中的数值推理能力。
2. 发现LLM在处理视觉数据（如K线图）时表现显著优于文本数据，表明视觉表示有助于提升数值推理能力。
3. 通过引入反思模块，增强了LLM在复杂数据分析中的表现，特别是在金融决策中的应用。
4. 在NASDAQ STOCK数据集上验证了LLM在视觉数据上的优势，展示了其在真实金融场景中的潜力。
研究方法
1. 设计了Agent Trading Arena，模拟零和博弈的股票交易环境，生成多样化的数值数据。
2. 使用文本和视觉两种数据输入方式，评估LLM在代数推理和几何推理任务中的表现。
3. 引入反思模块，通过实时反馈和策略优化，提升LLM在复杂数据分析和决策中的表现。
4. 在NASDAQ STOCK数据集上进行实验，验证了LLM在视觉数据上的优势。
实验结果
实验结果表明，LLM在处理视觉数据时表现显著优于文本数据，特别是在几何推理任务中。引入反思模块后，LLM的表现进一步提升，特别是在视觉数据上的推理能力。在NASDAQ STOCK数据集上的实验中，LLM在视觉数据上的表现优于传统的交易策略（如MACD、StockFormer和TimesNet），展示了其在真实金融场景中的潜力。
未来工作
未来的研究可以扩展到更多的数值推理任务和领域，如医疗和科学研究。此外，可以进一步优化计算资源的使用，探索更多模态的数据表示方式，以提升LLM在复杂任务中的表现。同时，研究如何在资源受限的环境中应用这些技术也是一个重要的方向。