Optimizing Model Selection for Compound AI Systems

作者: Lingjiao Chen, Jared Quincy Davis, Boris Hanin, Peter Bailis, Matei Zaharia, James Zou, Ion Stoica

发布时间: 2025-02-24

来源: arxiv

研究方向: 人工智能系统优化与模型选择

主要内容

本文研究了如何为复合人工智能系统中的每个模块选择最佳的LLM（大型语言模型），以提高整体性能。作者提出了一种名为LLMSelector的框架，该框架利用两个关键经验洞察：1）端到端性能通常是每个模块性能的增函数；2）每个模块的性能可以通过LLM进行准确估计。

1. 提出复合人工智能系统中的模型选择问题（MSP）。

2. 设计LLMSelector框架，通过迭代选择模块并为其分配具有最高模块性能的模型来优化MSP。

3. 证明LLMSelector在模型选择方面优于将相同LLM分配给所有模块。

4. 在多个实际复合人工智能系统上进行了实验，证明了LLMSelector的有效性。

5. 发布开源代码和数据，以促进对该领域的研究。

1. 端到端性能分析

2. 模块性能估计

3. 迭代模型选择

4. 实验验证

实验结果表明，LLMSelector与将相同LLM分配给所有模块相比，在性能上提高了5%-70%。此外，LLMSelector的性能优于专门用于提示优化的高级技术。

未来可以进一步研究如何将LLMSelector应用于动态复合人工智能系统，以及如何提高LLM诊断器的准确性。此外，还可以探索将LLMSelector与其他优化技术相结合的方法，以进一步提高复合人工智能系统的性能。