Citrus: Leveraging Expert Cognitive Pathways in a Medical Language Model for Advanced Medical Decision Support
作者: Guoxin Wang, Minyu Gao, Shuai Yang, Ya Zhang, Lizhi He, Liang Huang, Hanlin Xiao, Yexuan Zhang, Wanyue Li, Lu Chen, Jintao Fei, Xin Li
发布时间: 2025-02-27
来源: arxiv
研究方向: 医学语言模型与医疗决策支持
主要内容
本文介绍了一种名为Citrus的医学语言模型，该模型通过模拟医疗专家的认知过程来提升医疗推理能力。模型基于模拟的专家疾病推理数据集进行训练，并通过多种训练方法，如连续预训练（CPT）、监督微调（SFT）和强化学习（RL），来提升其性能。
主要贡献
1. 提出了一种无需训练的推理方法，该方法模拟了医疗专家的认知过程，使大型语言模型在临床诊断和治疗方面提升了医疗能力。
2. 结合数据构建方法，引入了一种多阶段后训练方法，进一步提高了模型的医疗性能。
3. 将Citrus模型及其训练数据作为开源资源公开，以促进AI驱动医疗决策研究。
4. 开发并开源了一个基于真实数据的可更新临床实践评估数据集，准确反映了现实世界中患者的分布。
研究方法
1. 模拟专家疾病推理数据集的构建
2. 连续预训练（CPT）
3. 监督微调（SFT）
4. 强化学习（RL）
5. 双专家推理方法
6. 基于真实世界数据的临床实践评估数据集构建
实验结果
在多个权威医疗基准测试中，Citrus的性能优于其他类似规模的模型，这突显了其在医疗决策支持系统中的潜力。
未来工作
未来的工作将集中于进一步优化模型性能，使其在更广泛的医疗任务中发挥作用，并确保其在临床实践中的应用安全有效。