How Far are LLMs from Real Search? A Comprehensive Study on Efficiency, Completeness, and Inherent Capabilities
作者: Minhua Lin, Hui Liu, Xianfeng Tang, Jingying Zeng, Zhenwei Dai, Chen Luo, Zheng Li, Xiang Zhang, Qi He, Suhang Wang
发布时间: 2025-02-27
来源: arxiv
研究方向: 人工智能，自然语言处理，搜索算法
主要内容
本文研究了如何将学习与搜索相结合，以提高大型语言模型（LLMs）在解决复杂问题时的效率和准确性。作者提出了SEAL和SEAL-C框架，通过将LLMs的推理能力与搜索策略相结合，实现了高效且完整的搜索过程。
主要贡献
1. 分析了学习如何提高搜索效率，并提出了SEAL框架，通过将学习集成到搜索算法中，提高了搜索效率并保持了完整性。
2. 提出了SEAL-C，确保了搜索的严格完整性。
3. 在三个真实世界的规划任务中评估了SEAL和SEAL-C，证明了它们在实现高效和完整搜索方面的有效性。
4. 研究了LLMs与真实搜索之间的差距，发现通过结合系统搜索策略可以显著提高LLMs的解决问题的能力。
研究方法
1. SEAL框架：通过直接解决方案生成、状态分解、状态有效性检查和学习引导的排名来提高搜索效率。
2. SEAL-C框架：通过学习引导的完整状态分解和两阶段排名来确保搜索的严格完整性。
3. 实验：在Game of 24、Mini Crosswords和Blocksworld等任务上评估SEAL和SEAL-C，并与其他搜索方法进行比较。
4. 自我搜索实验：研究LLMs是否可以自行发展搜索能力。
实验结果
实验结果表明，SEAL在所有设置下都达到了几乎完美的通过率，与传统的暴力搜索相比，搜索空间减少了高达99.1%。SEAL-C也证明了可以高效地确保搜索的严格完整性。此外，实验还表明，现有的LLMs在处理复杂任务时搜索效率低下，这突出了LLMs在现实世界决策任务中应用的基本能力。
未来工作
未来工作将集中在研究如何使LLMs更好地进行自我搜索，进一步释放它们在复杂问题解决中的潜力。此外，还将探索如何将搜索策略应用于多模态LLMs。