Investigating Execution-Aware Language Models for Code Optimization

作者: Federico Di Menna, Luca Traini, Gabriele Bavota, Vittorio Cortellessa

发布时间: 2025-03-12

来源: arxiv

研究方向: 代码优化与语言模型

主要内容

该研究旨在探究将代码执行信息整合到语言模型中，对代码优化能力的影响。研究人员通过训练12种基于CodeT5+的执行感知语言模型，评估了不同代码执行方面和训练策略对代码优化效果的影响。

1. 对12种基于CodeT5+的执行感知语言模型进行了全面评估。

2. 分析了执行感知模型在代码优化中的应用，为未来研究提供了指导。

3. 提供了一个复现包，用于重现研究结果。

1. 执行感知预训练

2. 执行感知预训练结合掩码语言模型

3. 执行感知微调

4. 数据集构建

5. 模型训练

6. 模型评估

实验结果表明，与标准CodeT5+模型相比，执行感知模型在代码优化方面并没有表现出明显的优势。此外，执行感知模型在生成语义正确的代码方面存在局限性，尽管它们通常能够生成语法正确的程序。

未来研究可以探索以下方向：探索更多代码执行方面，利用其他（更大）语言模型，以及尝试不同的训练策略。此外，还可以研究如何提高执行感知模型生成语义正确代码的能力。