Combating Partial Perception Deficit in Autonomous Driving with Multimodal LLM Commonsense
作者: Yuting Hu, Chenhui Xu, Ruiyang Qin, Dancheng Liu, Amir Nassereldine, Yiyu Shi, Jinjun Xiong
发布时间: 2025-03-11
来源: arxiv
研究方向: 自动驾驶
主要内容
该研究提出了一种名为LLM-RCO的框架，用于应对自动驾驶中感知缺陷的问题。该框架利用大型语言模型（LLM）的常识推理能力，通过四个关键模块（危险推理、短期运动规划、动作条件验证和安全性约束生成）与动态驾驶环境交互，从而实现主动和情境感知的控制动作，以克服感知缺陷带来的挑战。
主要贡献
1. 提出了一种名为LLM-RCO的框架，将人类驾驶员在面对感知缺陷时的思维过程分解为四个LLM增强的模块。
2. 构建了DriveLM-Deficit数据集，用于对LLM进行危险推理和运动规划微调。
3. 在DriveLM-Deficit数据集上对Qwen2-VL-2B-Instruct进行微调，以增强LLM-RCO的危险推理和运动规划。
4. 在CARLA模拟器中验证了LLM-RCO的有效性，证明了其在感知缺陷条件下的驾驶性能提升。
研究方法
1. 利用LLM进行危险推理和运动规划。
2. 构建DriveLM-Deficit数据集，用于微调LLM。
3. 使用LoRA进行模型微调。
4. 在CARLA模拟器中进行实验验证。
实验结果
实验结果表明，与传统的自动驾驶系统相比，LLM-RCO在感知缺陷条件下显著提高了驾驶性能，降低了事故发生率，并提高了行驶效率。
未来工作
未来可以进一步研究如何将LLM-RCO应用于更复杂的驾驶场景，并探索将LLM与其他技术（如深度学习）结合使用，以进一步提高自动驾驶系统的鲁棒性和安全性。