Is LLM the Silver Bullet to Low-Resource Languages Machine Translation?

作者: Yewei Song, Lujun Li, Cedric Lothritz, Saad Ezzini, Lama Sleem, Niccolo Gentile, Radu State, Tegawendé F. Bissyandé, Jacques Klein

发布时间: 2025-04-03

来源: arxiv

研究方向: 低资源语言机器翻译和大型语言模型

主要内容

该研究旨在评估大型语言模型（LLMs）在低资源语言机器翻译中的应用效果，并探索改进低资源语言翻译的方法。

1. 系统评估了当前LLMs在200种语言中的限制。

2. 探索了替代数据源，如新闻文章和双语词典，以解决平行数据稀缺问题。

3. 展示了从大型预训练模型中提取知识蒸馏如何显著提高较小LLMs的翻译质量。

4. 研究了各种微调策略，揭示了增量改进如何显著减少较小LLMs的性能差距。

1. 使用FLORES-200基准评估LLMs的翻译性能。

2. 探索使用新闻文章和双语词典等单侧数据源进行LLM微调。

3. 利用知识蒸馏技术从大型预训练模型中提取知识。

4. 研究各种微调策略，包括低秩自适应（LoRA）。

实验结果表明，LLMs在处理低资源语言时仍存在局限性，但通过知识蒸馏和数据增强技术，可以显著提高翻译质量。增量微调策略可以减少性能差距，而LoRA方法的效果则不如全模型微调。数据集规模对翻译质量有显著影响，较大的数据集可以带来更好的翻译效果。

未来研究可以进一步探索更有效的数据增强和微调技术，以提高LLMs在低资源语言翻译中的性能。此外，可以研究如何将LLMs与特定领域的知识相结合，以解决特定领域的翻译挑战。