Continuous Adversarial Text Representation Learning for Affective Recognition
作者: Seungah Son, Andrez Saurez, Dongsoo Har
发布时间: 2025-03-03
来源: arxiv
研究方向: 情感计算、自然语言处理
主要内容
本文提出了一种名为CARL（连续对抗文本表示学习）的框架，旨在通过结合动量连续标签对比学习和基于梯度的扰动词检测来增强情感感知嵌入，从而提升情感识别的准确性。
主要贡献
1. 提出了一种新的情感识别训练框架，使用句子级别的动量连续标签对比学习和词级别的基于梯度的扰动词检测。
2. 提升了模型的情感嵌入能力，有助于更精确和上下文相关的情感理解。
3. 在三个关键的情感识别任务上取得了优于现有方法的表现。
4. 在情感表示空间中实现了更高的质量，通过平衡情感的对齐和均匀性进行了测试。
研究方法
1. 动量对比学习结构：借鉴了BYOL的方法，采用在线网络和目标网络，两者共享相同的架构但具有不同的角色。
2. 连续标签对比学习：基于Russell的情感 circumplex模型，利用情感的两个维度（愉悦-不愉悦和激活-去激活）来表示情感。
3. 基于梯度的扰动词检测：使用梯度来识别具有最高情感相关性的词，并通过扰动这些词来增强模型对情感线索的敏感性。
4. 总损失函数：结合了动量对比学习和扰动词检测的损失，以控制每个损失组件的相对重要性。
实验结果
实验结果表明，CARL在四个任务上都优于基线模型，包括情感预测、极性分类、情感分类和嵌入质量评估。在情感分类任务中，RoBERTa-based CARL比基线RoBERTa提高了15.5%的准确率。
未来工作
未来工作可以进一步探索如何将CARL应用于更广泛的情感计算任务，例如情感合成、情感对话系统等，并探索其他类型的对比学习方法和扰动策略。