Multi-modal Summarization in Model-Based Engineering: Automotive Software Development Case Study

作者: Nenad Petrovic, Yurui Zhang, Moaad Maaroufi, Kuo-Yi Chao, Lukasz Mazur, Fengjunjie Pan, Vahid Zolfaghari, Alois Knoll

发布时间: 2025-03-07

来源: arxiv

研究方向: 多模态总结在基于模型工程中的应用

主要内容

本文研究了多模态总结在基于模型工程（MBE）中的应用，特别是针对汽车软件开发领域。通过使用大型语言模型（LLM）来分析和理解UML和EMF图中的多模态信息，旨在提高MBE实践中的生产力和准确性。

1. 探索了多模态LLM在MBE中的应用潜力，特别是针对汽车软件开发。

2. 提出了一个评估多模态LLM在分析UML和EMF图方面的能力的方法。

3. 通过实验验证了现有LLM在处理复杂UML图时的能力和局限性。

4. 展示了如何利用MLLM进行汽车软件的自动化开发。

5. 提出了一种基于MLLM的图像提示工作流程，用于识别产品更新。

6. 提出了未来研究方向，包括提高LLM处理复杂UML图的能力，以及开发新的基准和数据集。

1. 多模态LLM

2. UML和EMF图分析

3. 实验评估

4. 汽车软件开发工具链集成

5. 图像提示技术

实验结果表明，现有的LLM在处理简单的UML图内容（如类名、类数量和简单的类继承关系）方面表现良好。然而，在处理更复杂的任务（如类属性和函数以及关系链）时，许多模型缺乏提供正确答案的能力。MLLM在识别两个相似但不同的UML图之间的差异方面也存在困难。

未来的研究应关注提高LLM处理大型和复杂UML图的能力，特别是在理解类属性和函数以支持代码生成方面。同时，提高模型检测和解释相似UML图之间细微差异的能力也是关键方向。此外，开发针对这些挑战的新基准和数据集对于推动该领域的发展也至关重要。