MAGE: Multi-Head Attention Guided Embeddings for Low Resource Sentiment Classification
作者: Varun Vashisht, Samar Singh, Mihir Konduskar, Jaskaran Singh Walia, Vukosi Marivate
发布时间: 2025-02-27
来源: arxiv
研究方向: 低资源语言的自然语言处理和文本分类
主要内容
本文针对低资源Bantu语言在文本分类任务中的数据稀缺问题，提出了一种名为MAGE（Multi-Head Attention Guided Embeddings）的模型。该模型结合了语言无关数据增强（LiDA）和多头注意力机制，通过改进嵌入和增强过程，有效地提高了低资源语言的文本分类性能。
主要贡献
1. 提出了一种名为MAGE的模型，结合LiDA和多头注意力机制，提高了低资源语言的文本分类性能。
2. 使用VAE替代传统的去噪自动编码器，增强了合成嵌入的表达能力。
3. 通过多头注意力机制，模型能够更有效地捕获关键特征，提高分类性能。
4. 在AfriSenti SemEval数据集上，MAGE模型在低资源设置下优于基线方法。
研究方法
1. 语言无关数据增强（LiDA）
2. 变分自动编码器（VAE）
3. 多头注意力机制
4. LSTM和逻辑回归分类器
5. AfriBERTa嵌入模型
实验结果
在AfriSenti SemEval数据集上，MAGE模型在低资源设置下优于基线方法。实验结果表明，与原始嵌入相比，MAGE模型在准确率、精确率、召回率和F1分数等指标上均有显著提升。
未来工作
进一步探索MAGE模型在更多低资源语言上的应用，并研究如何提高模型的泛化能力。此外，研究如何降低模型的计算复杂度，使其在资源受限的环境下也能应用。