Censoring-Aware Tree-Based Reinforcement Learning for Estimating Dynamic Treatment Regimes with Censored Outcomes

作者: Animesh Kumar Paul, Russell Greiner

发布时间: 2025-03-11

来源: arxiv

研究方向: 医疗与健康数据分析，动态治疗方案优化

主要内容

本文提出了一种名为Censoring-Aware Tree-Based Reinforcement Learning (CA-TRL)的框架，用于估计具有删失结果的动态治疗方案。该框架通过结合增强的逆概率加权（AIPW）和删失感知修改，提高了传统基于树的强化学习方法的有效性和可解释性。

1. 提出了一种新的CA-TRL框架，用于估计具有删失结果的动态治疗方案。

2. 通过结合AIPW和删失感知修改，提高了传统基于树的强化学习方法的有效性和可解释性。

3. 在模拟和真实世界数据集上验证了CA-TRL的有效性，并证明了其在优化生存结果方面的潜力。

1. 基于树的强化学习（T-RL）

2. 增强的逆概率加权（AIPW）

3. 删失感知修改

4. 半合成数据集生成

5. MIMIC-IV v2.0数据集

6. SANAD癫痫数据集

7. 模拟数据生成

8. 生存分析技术

9. Cox比例风险模型

CA-TRL在多个评估指标上优于其他方法，包括受限平均生存时间（RMST）、第一阶段正确决策率（CDR1）、平均正确决策率（ACDR）和预期生存结果。在模拟和真实世界数据集上，CA-TRL均表现出色，证明了其在优化生存结果和个性化治疗策略方面的潜力。

未来工作将集中在以下方面：将CA-TRL扩展到连续治疗变量，改进因果推理技术以增强模型的鲁棒性和可靠性，引入前瞻性机制以优化树结构，以及在更多临床条件下验证CA-TRL的应用。