A Comprehensive LLM-powered Framework for Driving Intelligence Evaluation

作者: Shanhe You, Xuewen Luo, Xinhe Liang, Jiashu Yu, Chen Zheng, Jiangtao Gong

发布时间: 2025-03-10

来源: arxiv

研究方向: 自动驾驶评估与大型语言模型应用

主要内容

该研究提出了一种基于大型语言模型（LLM）的自动驾驶智能评估框架，旨在解决现有自动驾驶评估方法在评估驾驶智能方面的不足，通过构建自然语言评估数据集，并利用LLM进行驾驶行为智能评估。

1. 收集并构建了基于真实驾驶实验和访谈的驾驶评估数据集。

2. 基于驾驶评估数据，开发了全面的自动驾驶行为评估框架。

3. 利用LLM实现了该框架，并通过驾驶模拟器中的数据进行了验证。

4. 通过模拟实验和人类评估验证了框架的有效性。

1. 自然驾驶实验和访谈数据收集

2. 自然语言处理（NLP）和知识图谱构建

3. 大型语言模型（LLM）应用

4. 驾驶模拟器实验

5. 人类评估

实验结果表明，该框架能够有效地评估自动驾驶车辆在不同驾驶场景下的安全、智能和舒适度，与CARLA排行榜的评估结果具有较高的一致性，且人类评估结果也显示出对该框架的认可。

未来工作将考虑将高保真模拟结果集成到知识数据集中，探索框架在多样化驾驶文化中的适用性，将其整合到真实世界测试协议中，结合多模态数据，进行边缘情况分析，以及开发可解释人工智能。此外，还将开展纵向研究，评估伦理决策，并探索在半自动驾驶车辆中的人机协作。