Video-based Traffic Light Recognition by Rockchip RV1126 for Autonomous Driving
作者: Miao Fan, Xuxu Kong, Shengtong Xu, Haoyi Xiong, Xiangzeng Liu
发布时间: 2025-04-03
来源: arxiv
研究方向: 自动驾驶领域中的交通信号灯识别
主要内容
本文提出了一种基于视频的端到端神经网络ViTLR，用于自动驾驶环境中的交通信号灯识别。ViTLR能够处理连续的多个帧，以实现鲁棒的交通信号灯检测和状态分类。
主要贡献
1. 提出了一种基于视频的端到端神经网络ViTLR，用于交通信号灯识别。
2. 设计了一种Transformer-like架构，主要包含卷积自注意力模块，以在Rockchip RV1126平台上高效实现ViTLR。
3. 在两个真实世界数据集上进行了广泛的评估，证明了ViTLR在性能和实时性方面优于现有方法。
4. 将ViTLR集成到自动驾驶的ego-lane交通信号灯识别系统中，并使用HD地图辅助。
5. 公开了源代码和真实世界数据集，以促进该领域的进一步研究。
研究方法
1. 基于视频的端到端神经网络ViTLR
2. Transformer-like架构
3. 卷积自注意力模块
4. Rockchip RV1126嵌入式平台优化
5. HD地图辅助的ego-lane交通信号灯识别系统
实验结果
ViTLR在两个真实世界数据集上取得了最先进的性能，同时在Rockchip RV1126的NPU上保持了实时处理能力（>25 FPS）。与现有的单帧方法相比，ViTLR在时间稳定性、目标距离和复杂环境条件下表现出更强的鲁棒性。
未来工作
未来工作可以集中在以下几个方面：1）进一步优化ViTLR，以处理更复杂的场景；2）探索ViTLR在更多自动驾驶任务中的应用；3）研究ViTLR与其他感知技术的融合，以构建更全面的自动驾驶系统。