Citrus: Leveraging Expert Cognitive Pathways in a Medical Language Model for Advanced Medical Decision Support
作者: Guoxin Wang, Minyu Gao, Shuai Yang, Ya Zhang, Lizhi He, Liang Huang, Hanlin Xiao, Yexuan Zhang, Wanyue Li, Lu Chen, Jintao Fei, Xin Li
发布时间: 2025-02-27
来源: arxiv
研究方向: 医学语言模型与医疗决策支持
主要内容
本文介绍了一种名为Citrus的医学语言模型，该模型通过模拟医疗专家的认知过程，实现了临床诊断和治疗中的复杂推理过程。模型基于模拟专家疾病推理数据集进行训练，该数据集通过新颖的方法合成，能够准确捕捉临床医生的决策路径。
主要贡献
1. 提出了一种无训练推理方法，该方法模拟了医疗专家的认知过程，使大型语言模型在临床诊断和治疗中增强了其医疗能力。
2. 结合数据构建方法，引入了一种多阶段后训练方法，进一步提高了模型在医疗性能方面的表现。
3. 将Citrus模型及其训练数据作为开源资源公开，以促进AI驱动医疗决策制定领域的研究。
4. 开发并开源了一个基于真实数据的可更新临床实践评估数据集，准确反映了现实世界中患者的分布情况。
研究方法
1. 连续预训练（CPT）
2. 监督微调（SFT）
3. 强化学习（RL）
4. 数据合成
5. 认知路径模拟
6. 双专家推理方法
7. 临床实践评估数据集构建
实验结果
在MedQA、PubMedQA、MedBullets、CareQA等权威基准测试中，Citrus模型的表现优于其他类似规模的模型。这些结果表明，Citrus模型在医疗决策支持系统中具有显著潜力，可以提供更准确、更高效的临床决策工具。
未来工作
未来工作将集中于进一步提高模型的准确性和鲁棒性，并探索其在实际临床环境中的应用。此外，还将研究如何将这种方法应用于其他领域，以促进人工智能在医疗保健领域的更广泛应用。