Hierarchical Neuro-Symbolic Decision Transformer
作者: Ali Baheri, Cecilia O. Alm
发布时间: 2025-03-11
来源: arxiv
研究方向: 神经符号决策控制
主要内容
提出了一种结合符号规划和基于Transformer的策略的层次化神经符号控制框架,用于解决复杂、长周期的决策任务。
主要贡献
1. 提出了一种新的架构,将符号规划与基于Transformer的策略统一,从而实现高级逻辑任务分解与低级控制。
2. 对所提出的层次化执行框架进行了分析,推导出复合误差界限和误差传播界限。
3. 通过数值评估,表明所提出的方法在具有长期依赖关系的任务中优于纯端到端神经网络基线,实现了更高的成功率、改进的样本效率和轨迹长度。
研究方法
1. 符号规划:使用符号规划器构建基于逻辑命题的可解释操作序列。
2. 决策Transformer:将符号操作转换为子目标令牌,以条件化决策Transformer生成细粒度动作序列。
3. 层次化框架:结合符号规划和基于Transformer的策略,实现高级逻辑任务分解与低级控制。
4. 理论分析:分析符号规划器和神经执行层的近似误差如何累积。
5. 实验评估:在网格世界中使用多个钥匙、锁定的门和物品收集任务进行实证评估。
实验结果
在网格世界中进行的实验表明,与纯端到端神经网络方法相比,所提出的层次化神经符号决策Transformer在成功率、策略效率和轨迹长度等关键指标上表现更优,尤其是在需要多步骤、复杂状态转换和逻辑约束的任务中。
未来工作
未来工作将探索扩展到更丰富的动作空间和动态环境,进一步推进可靠和可解释的自主决策。