Availability-aware Sensor Fusion via Unified Canonical Space for 4D Radar, LiDAR, and Camera
作者: Dong-Hee Paek, Seung-Hyun Kong
发布时间: 2025-03-11
来源: arxiv
研究方向: 自动驾驶（AD）领域中的多传感器融合
主要内容
提出了一种名为可用性感知传感器融合（ASF）的新方法，用于在自动驾驶中融合来自相机、激光雷达和4D雷达的数据。ASF通过统一规范投影（UCP）和传感器间的跨注意力（CASAP-PN）来提高融合的鲁棒性，即使在传感器退化或故障的情况下也能保持高性能。
主要贡献
1. 提出了ASF方法，它结合了UCP和CASAP-PN，在性能和鲁棒性方面优于现有方法。
2. 提出了传感器组合损失（SCL）来优化检测性能，并确保模型可以处理所有可能的传感器组合。
3. 在K-Radar数据集上进行的实验表明，ASF在检测性能方面比现有方法提高了9.7%的APBEV和20.1%的AP3D，同时保持了低计算成本。
研究方法
1. 统一规范投影（UCP）将来自每个传感器的特征投影到一个统一的规范空间，从而消除特征表示的不一致性。
2. 跨注意力（CASAP-PN）在投影后的特征上执行，以估计传感器的可用性，并赋予可用传感器更高的权重。
3. 传感器组合损失（SCL）优化了检测性能，确保模型可以处理所有可能的传感器组合。
实验结果
在K-Radar数据集上的实验表明，ASF在检测性能方面优于现有方法，尤其是在传感器退化或故障的情况下。此外，ASF还保持了低计算成本，使其适用于实时自动驾驶系统。
未来工作
未来工作可以集中在提高相机网络的能力，特别是在恶劣天气条件下，以进一步提高系统的性能。此外，还可以探索将ASF应用于其他多传感器融合场景，例如机器人导航和智能交通系统。