Impoola: The Power of Average Pooling for Image-Based Deep Reinforcement Learning
作者: Raphael Trumpp, Ansgar Schäfftlein, Mirco Theile, Marco Caccamo
发布时间: 2025-03-10
来源: arxiv
研究方向: 深度强化学习，特别是基于图像的深度强化学习
主要内容
该论文研究了基于图像的深度强化学习中的网络架构和训练方法，提出了Impoola-CNN模型，通过引入全局平均池化层来提高图像编码器的性能。
主要贡献
1. 提出了Impoola-CNN模型，通过引入全局平均池化层优化了Impala-CNN架构。
2. 在Procgen基准测试中，Impoola-CNN在泛化能力方面优于更大的模型。
3. 分析了GAP层对编码器的影响，发现其降低了网络的平移敏感性。
4. 证明了网络扩展不仅仅是增加模型大小，高效的网络设计也是关键因素。
研究方法
1. 网络架构分析
2. 实验验证
3. 性能评估
4. 对比分析
实验结果
Impoola-CNN在Procgen基准测试中优于Impala-CNN，在泛化能力方面提高了17%，同时参数减少了35%。实验结果表明，GAP层的引入降低了网络的平移敏感性，提高了性能。
未来工作
在未来，计划在Procgen基准测试之外的其他环境中进行实验，例如Atari游戏或真实世界应用，如自动驾驶或视觉引导的四足机器人运动。