PersonaBench: Evaluating AI Models on Understanding Personal Information through Accessing (Synthetic) Private User Data
作者: Juntao Tan, Liangwei Yang, Zuxin Liu, Zhiwei Liu, Rithesh Murthy, Tulika Manoj Awalgaonkar, Jianguo Zhang, Weiran Yao, Ming Zhu, Shirley Kokane, Silvio Savarese, Huan Wang, Caiming Xiong, Shelby Heinecke
发布时间: 2025-03-03
来源: arxiv
研究方向: 人工智能与个性化
主要内容
该研究旨在评估人工智能模型在理解个人信息方面的能力，特别是在访问（合成）私人用户数据的情况下。研究人员开发了一个合成数据生成管道，用于创建多样化的用户资料和私人文件，以模拟人类活动。基于这些合成数据，他们提出了PersonaBench，一个用于评估AI模型从模拟私人用户数据中理解个人信息性能的基准。
主要贡献
1. 提出了PersonaBench，一个用于评估AI模型理解个人信息的基准。
2. 开发了一个合成数据生成管道，用于创建多样化的用户资料和私人文件。
3. 研究了RAG（检索增强生成）模型在理解个人信息方面的性能。
4. 强调了在私人用户数据中提取和利用个人信息时存在的挑战和复杂性。
研究方法
1. 合成数据生成：使用LLM（大型语言模型）创建用户资料和私人文件。
2. RAG模型评估：使用RAG模型处理个人问题，并评估其性能。
3. 基准测试：使用PersonaBench对AI模型进行基准测试。
4. 实验分析：通过实验结果分析RAG模型的性能和局限性。
实验结果
实验结果表明，当前的RAG模型在从用户文档中提取个人信息以回答私人问题时存在困难。此外，实验还发现，随着噪声水平的增加，检索性能会下降，这强调了从噪声内容中提取个人信息的重要性。
未来工作
未来的工作可以集中在开发更高级的方法和系统来从异构和不完美的私人用户数据中提取和利用个人信息。此外，可以进一步研究如何提高RAG模型的性能，以更好地处理复杂的个人问题和噪声数据。