AfroXLMR-Comet: Multilingual Knowledge Distillation with Attention Matching for Low-Resource languages
作者: Joshua Sakthivel Raju, Sanjay S, Jaskaran Singh Walia, Srinivas Raghav, Vukosi Marivate
研究方向: 低资源语言的自然语言处理
该研究提出了一种名为AfroXLMR-Comet的轻量级多语言模型,通过知识蒸馏和注意力匹配技术,在保证性能的同时显著降低了模型的尺寸,使其更适用于资源受限的环境,特别是非洲语言。