SLAM in the Dark: Self-Supervised Learning of Pose, Depth and Loop-Closure from Thermal Images
作者: Yangfan Xu, Qu Hao, Lilian Zhang, Jun Mao, Xiaofeng He, Wenqi Wu, Changhao Chen
发布时间: 2025-02-27
来源: arxiv
研究方向: 机器视觉与机器人导航
主要内容
本文提出了一种名为DarkSLAM的深度学习基础单目热成像SLAM系统，旨在解决在复杂光照条件下进行大规模定位和重建的问题。
主要贡献
1. 提出了一种名为DarkSLAM的新型自监督SLAM框架，能够直接从单目热图像中学习位姿、深度和闭环。
2. 通过整合高效通道注意力（ECA）和选择性核注意力（SKA）机制，增强了位姿和深度估计的能力，并解决了深度预测中常见的视觉退化问题。
3. 引入了一个基于对比学习的闭环检测模块，实现了高效闭环和位姿图优化。
4. 开发了热数据收集平台，并进行了大量的真实世界实验，证明了DarkSLAM在定位和三维地图构建方面显著优于现有解决方案。
研究方法
1. 热图像增强：通过调整亮度和对比度以及应用线性拉伸技术来增强对比度和细节。
2. 自监督学习：通过热图像合成作为主要监督信号，从热图像中学习位姿和深度。
3. 高效通道注意力（ECA）模块：动态调整通道权重，以更好地提取位姿特征。
4. 选择性核网络（SKA）模块：增强多尺度深度特征融合，减少深度退化。
5. 基于Siamese架构的闭环检测网络：实现可靠的闭环检测和位姿优化。
6. 位姿图优化：使用非线性优化Ceres求解器对位姿图进行迭代优化。
实验结果
实验结果表明，DarkSLAM在位姿预测和深度估计方面均优于现有方法，如SC-Sfm-Learner、Shin等人以及V¨odisch。在具有挑战性的夜间环境中，DarkSLAM能够实现精确的定位和三维密集映射。
未来工作
未来工作将集中于提高在不同热条件下的闭环检测性能（例如日夜过渡）以及增强动态物体检测以实现更精确的位姿预测。