Are foundation models useful feature extractors for electroencephalography analysis?
作者: Özgün Turgut, Felix S. Bott, Markus Ploner, Daniel Rueckert
发布时间: 2025-03-03
来源: arxiv
研究方向: 医学信号处理与人工智能
主要内容
研究利用基础模型在电生理学领域，特别是脑电图（EEG）分析中的应用，评估其作为特征提取器的有效性。
主要贡献
1. 证明了基础模型在提取高质量EEG特征方面的有效性，并在多个任务中实现了最先进的性能。
2. 展示了基础模型在提取EEG特征方面的优越性，甚至优于专门为EEG分析设计的模型，且无需领域自适应。
3. 揭示了基础模型可以定位到不同频段中的特定特征，从而定位到与人口统计学和疾病相关的生物标志物。
4. 分析了模型架构设计选择（如上下文长度）对诊断准确性的影响，为下一代基础模型的发展提供了指导。
5. 提出了基础模型在临床实践中的应用潜力，特别是在领域特定数据有限的情况下。
研究方法
1. 使用开放模型OTiS进行预训练，该模型在多个领域进行了预训练，包括EEG。
2. 评估了OTiS在年龄预测、癫痫发作检测和临床相关EEG事件分类等任务中的性能。
3. 比较了OTiS与专门为EEG分析设计的模型，包括统计特征方法和深度学习模型。
4. 分析了领域自适应策略，包括零样本、线性探测和微调。
5. 通过频率带分析定位了与人口统计学和疾病相关的生物标志物。
6. 评估了上下文长度对模型性能的影响。
实验结果
基础模型在多个EEG分析任务中表现出色，证明了其在提取高质量EEG特征方面的有效性。OTiS在无需领域自适应的情况下，也优于专门为EEG分析设计的模型。此外，模型能够定位到与人口统计学和疾病相关的生物标志物，并且上下文长度对模型性能有显著影响。
未来工作
评估新的基础模型，并探索更多任务。利用fMRI或健康记录等信息增强EEG特征。