Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study
作者: Xian-Rong Zhang, Yue-Jiao Gong, Jun Zhang
发布时间: 2025-03-13
来源: arxiv
研究方向: 多任务优化与大型语言模型
主要内容
本文提出了一种基于大型语言模型（LLM）的元代理框架，用于数据驱动的多任务优化。该框架利用LLM的知识迁移能力和涌现能力，通过元代理模型对多个任务的适应性和知识共享进行优化。
主要贡献
1. 提出了一种新的多任务适应度预测建模范式，通过定义一个通用的模型来拟合一组问题。
2. 提出了一种基于LLM的元代理，将适应度预测视为条件概率估计，并使用统一的标记序列表示来表示任务元数据、输入和输出。
3. 证明了元代理的涌现泛化能力，包括在未见维度的零样本性能。
4. 将元代理集成到进化迁移优化（ETO）中，支持代理和个体两个层面的知识迁移，提高优化效率和鲁棒性。
研究方法
1. 使用LLM作为元代理，将适应度预测视为条件概率估计。
2. 采用科学记数法编码（SNE）来表示数值变量和适应度值。
3. 使用优先级感知加权交叉熵（PWCE）来强调关键数字标记。
4. 将元代理集成到现有的ETO算法中，以实现高效的离线数据驱动多任务优化框架。
实验结果
实验结果表明，与传统的代理模型相比，元代理在预测精度和鲁棒性方面具有显著优势。此外，元代理在未见维度的零样本性能上也表现出良好的泛化能力。
未来工作
未来研究将探索更灵活的数值编码/解码、多模态数据融合、主动采样和跨维度微调。此外，将强化学习微调纳入代理模型可能进一步提高其准确性和鲁棒性。