Adding Chocolate to Mint: Mitigating Metric Interference in Machine Translation

作者: José Pombal, Nuno M. Guerreiro, Ricardo Rei, André F. T. Martins

发布时间: 2025-03-12

来源: arxiv

研究方向: 机器翻译与自动评价指标

主要内容

本文主要研究了机器翻译中的指标干扰问题（MINT），即模型训练和评估过程中使用相同或相关指标所带来的风险。作者分析了两种常见的MINT情况：训练数据过滤和基于质量信号的解码，并提出了MINTADJUST方法以解决该问题。

1. 分析了MINT对机器翻译评估的影响，发现MINT会严重扭曲指标分数。

2. 提出了MINTADJUST方法，通过学习无MINT的指标分布来校正干扰指标的分数。

3. 在WMT24 MT共享任务测试集上展示了MINTADJUST的优越性，其在大多数语言对中比现有指标更准确。

4. MINTADJUST方法可以推广到不同的翻译模型和指标，无需针对特定模型进行学习。

1. 对训练数据过滤和基于质量信号的解码进行了分析。

2. 提出了MINTADJUST方法，该方法通过学习无MINT的指标分布来校正干扰指标的分数。

3. 使用了随机森林作为回归器来预测干扰指标的分数。

MINTADJUST在WMT24 MT共享任务测试集上比现有指标更准确，特别是在高质量系统中。MINTADJUST在大多数语言对中都比现有指标更准确，并且在系统级别和实例级别的评估中都表现良好。

未来可以探索更多MINT案例，并针对更多指标和任务进行研究和改进。此外，需要创建更多的人类评估数据来支持这些研究。