Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching
作者: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang
发布时间: 2025-03-10
来源: arxiv
研究方向: 自然语言处理，大型语言模型推理效率
主要内容
该研究提出了一种名为“Sketch-of-Thought (SoT)”的新型提示框架，旨在提高大型语言模型在推理过程中的效率。SoT通过结合认知科学原理和语言约束，减少了中间输出中的token使用量，同时保持了推理的准确性。
主要贡献
1. 引入了Sketch-of-Thought (SoT)提示框架，该框架结合了认知科学原理和语言约束。
2. 开发了轻量级路由模型，该模型根据查询特征动态选择最佳推理范式。
3. 在15个推理数据集上进行了评估，结果表明SoT在大多数领域都保持了准确性，甚至在某些任务中提高了性能。
4. SoT通过减少token使用量最多可达76%，同时保持了最小化的准确性影响，甚至在某些领域中提高了准确性。
研究方法
1. 使用认知启发的推理范式，包括概念链、分块符号和专家词汇。
2. 通过精心设计的提示和示例实例化LLM。
3. 开发了一个轻量级路由模型，该模型基于查询特征动态选择最佳推理范式。
4. 在多个语言和多模态场景下进行了全面评估，包括数学、常识推理、逻辑推理、多跳推理、科学推理和医疗推理等任务和领域。
实验结果
SoT在所有模型尺寸上实现了显著的token减少，同时保持了与Chain-of-Thought (CoT)相当的准确性。在数学和多跳推理等特定领域，SoT甚至提高了准确性，同时使用更少的token。SoT在多语言和多模态场景中也表现出色，证明了其有效性和适用性。
未来工作
未来的工作可能包括：实现检索增强生成（RAG），以动态选择推理范式和特定任务类型的示例；开发更多的专用范式以解决当前方法未能优化的认知操作；研究专门针对SoT训练的推理模型，以消除在特定领域观察到的准确性损失；以及开发更复杂的范式选择模型，以通过纳入除问题文本之外的更多信号来提高范式匹配。