VizTrust: A Visual Analytics Tool for Capturing User Trust Dynamics in Human-AI Communication
作者: Xin Wang, Stephanie Tulk Jesso, Sadamori Kojaku, David M Neyens, Min Sun Kim
发布时间: 2025-03-11
来源: arxiv
研究方向: 人机交互、自然语言处理、可视化分析
主要内容
VizTrust是一个基于Web的应用程序，旨在通过实时分析和可视化，捕捉和评估用户在与人工智能系统（AI）的交互过程中对AI的信任动态。该工具基于四个信任维度：能力、诚信、仁慈和可预测性，并结合自然语言处理和机器学习技术，以提供对用户信任形成和演变的深入理解。
主要贡献
1. 提出了一种新的可视化分析工具VizTrust，用于捕捉和评估用户对AI的信任动态。
2. 基于四个信任维度（能力、诚信、仁慈和可预测性）对用户信任进行多维评估。
3. 结合自然语言处理和机器学习技术，实现了对用户语言交互的实时分析和可视化。
4. 通过案例研究，展示了VizTrust在理解用户信任动态和改进对话式AI设计方面的潜力。
研究方法
1. 多智能体协作系统：通过多智能体协作来评估用户信任，每个智能体专注于特定的信任维度。
2. 自然语言处理：使用自然语言处理技术来分析用户语言交互，提取用户参与度、礼貌策略和情感色调等指标。
3. 机器学习：利用机器学习模型对用户行为进行分析，以识别信任形成和演变的模式。
4. 可视化分析：通过时间序列图、热图和条形图等可视化工具，展示用户信任动态和关键交互指标。
实验结果
案例研究表明，VizTrust能够有效地捕捉和评估用户对AI的信任动态，为对话式AI的设计和改进提供了有价值的见解。通过分析用户信任的演变，研究人员能够识别出影响用户信任的关键因素，并据此改进AI系统的设计。
未来工作
未来工作将包括以下方面： - 将多模态用户输入（如语音和多媒体）纳入信任分析，以实现更全面的信任评估。 - 集成用户人口统计信息和交互历史，以实现个性化的信任评估。 - 进一步改进LLM智能体，例如通过引入人类反馈和建立可定制的推理路径。 - 扩展分析功能，使利益相关者能够以更灵活和全面的方式探索用户交互数据，并深入了解不同对话环境中的信任动态和用户行为。