How Far are LLMs from Real Search? A Comprehensive Study on Efficiency, Completeness, and Inherent Capabilities
作者: Minhua Lin, Hui Liu, Xianfeng Tang, Jingying Zeng, Zhenwei Dai, Chen Luo, Zheng Li, Xiang Zhang, Qi He, Suhang Wang
发布时间: 2025-02-27
来源: arxiv
研究方向: 自然语言处理与搜索算法
主要内容
本文研究了如何将学习与搜索算法相结合，以提高大型语言模型（LLMs）在解决复杂问题时的效率和准确性。通过提出SEAL和SEAL-C框架，本文探索了如何利用LLMs的推理能力来指导搜索过程，并确保搜索的完整性和效率。
主要贡献
1. 分析了学习如何提高搜索效率，并提出了SEAL框架，该框架利用LLMs来提高搜索效率。
2. 扩展了SEAL框架以SEAL-C，确保了搜索的严格完整性。
3. 在三个真实世界的规划任务上评估了SEAL和SEAL-C，结果表明它们实现了近乎完美的准确性，同时将搜索空间减少了高达99.1%。
4. 探讨了LLMs离真实搜索有多远，发现通过结合系统搜索策略可以显著提高LLMs的解决问题能力。
5. 验证了SEAL方法的有效性，并强调了提高LLMs搜索能力以应用于真实世界应用的重要性。
研究方法
1. 比较了传统搜索方法和基于LLMs的搜索方法在代表性任务上的性能。
2. 提出了SEAL框架，该框架将学习集成到搜索算法中，以提高搜索效率。
3. 提出了SEAL-C，一个确保严格完整性的变体。
4. 在三个真实世界的规划任务上评估了SEAL和SEAL-C。
5. 研究了LLMs如何通过自身发展搜索能力。
实验结果
SEAL在三个规划任务上实现了近乎完美的通过率，同时将搜索空间减少了高达99.1%。SEAL-C确保了严格的完整性，同时在效率上与SEAL相当。实验结果表明，现有的LLMs在解决复杂任务时效率低下，需要改进它们的搜索能力。
未来工作
未来的工作将集中在如何使LLMs更好地进行自我搜索，进一步释放它们在解决复杂问题方面的潜力。