When Personalization Meets Reality: A Multi-Faceted Analysis of Personalized Preference Learning
作者: Yijiang River Dong, Tiancheng Hu, Yinhong Liu, Ahmet Üstün, Nigel Collier
发布时间: 2025-02-27
来源: arxiv
研究方向: 个性化偏好学习与大型语言模型（LLM）的适配性
主要内容
本文研究了如何通过个性化偏好学习来提高LLM在开放领域中的适应性和准确性，并评估了不同个性化方法的性能、公平性、意外影响和适应性。
主要贡献
1. 提出了一个评估开放领域个性化偏好学习技术的多角度框架。
2. 引入了一种原则性的方法来表征多样化的偏好数据集。
3. 通过一个实证研究，比较了三种数据集上八种代表性个性化算法。
4. 发现个性化方法可以提高LLM的偏好预测准确性，但可能会损害模型的安全性和推理能力。
研究方法
1. 奖励模型（RM）
2. 个性化奖励模型（PRM）
3. 变分偏好学习（VPL）
4. 检索增强生成（RAG）
5. 分组偏好优化（GPO）
6. 元学习
7. 冷启动策略
8. 安全性和推理基准测试（Reward Bench）
实验结果
个性化RM在所有数据集上实现了最佳性能。个性化方法可以随着更多训练样本的加入而扩展。个性化方法可以保护少数观点。个性化方法可以适应新用户。个性化可能会损害模型的安全性和推理能力。
未来工作
未来研究应关注如何平衡个性化带来的好处和风险，并开发更鲁棒、包容和负责任的方法，以更好地服务多样化的全球用户。