Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study
作者: Xian-Rong Zhang, Yue-Jiao Gong, Jun Zhang
发布时间: 2025-03-12
来源: arxiv
研究方向: 数据驱动多任务优化与大型语言模型
主要内容
本文研究了利用大型语言模型（LLM）作为元代理，以辅助数据驱动多任务优化（DDEA）的方法。该方法通过在元代理中结合任务元数据和决策变量，实现了对多个任务的高效知识共享和适应新任务的能力。
主要贡献
1. 提出了一种基于LLM的多任务适应模型，实现了跨任务的知识共享。
2. 利用LLM进行元代理建模，将适应度预测视为条件概率估计，提高了模型的泛化能力。
3. 将元代理集成到进化迁移优化（ETO）中，支持双重知识迁移，提高了优化效率和鲁棒性。
4. 通过实验验证了元代理在多任务优化中的有效性和泛化能力。
研究方法
1. 将决策变量、适应度值和任务元数据转换为统一的标记序列。
2. 使用LLM作为元代理，通过共享标记嵌入实现跨任务知识共享。
3. 通过多任务模型训练捕捉复杂的任务依赖关系。
4. 将元代理集成到ETO框架中，实现双重知识迁移。
实验结果
实验结果表明，与传统的代理模型相比，基于LLM的元代理在预测精度和泛化能力方面具有显著优势。在未见过维度的任务上，元代理也表现出良好的零样本性能，证明了其适应新任务的能力。
未来工作
未来将研究更灵活的数值编码/解码、多模态数据融合、主动采样和跨维度微调。此外，将强化学习微调技术应用于元代理，以提高其准确性和鲁棒性。