Less or More: Towards Glanceable Explanations for LLM Recommendations Using Ultra-Small Devices
作者: Xinru Wang, Mengjie Yu, Hannah Nguyen, Michael Iuzzolino, Tianyi Wang, Peiqi Tang, Natasha Lynova, Co Tran, Ting Zhang, Naveen Sendhilnathan, Hrvoje Benko, Haijun Xia, Tanya Jonker
发布时间: 2025-02-27
来源: arxiv
研究方向: 面向超小型设备的可解释AI（XAI）与大型语言模型（LLM）推荐系统的可读性研究
主要内容
本研究探讨了如何在超小型设备（如智能手表）上提供简洁且易于理解的LLM推荐解释。研究通过结构化解释文本和基于置信度的自适应展示策略，优化了用户在有限屏幕空间下的交互体验。研究提出了两种主要方法：1）通过定义上下文组件在提示过程中结构化LLM的解释文本；2）根据置信度水平自适应地向用户展示解释。研究通过用户实验验证了这些方法对用户体验的影响。
主要贡献
1. 提出了一种通过定义上下文组件在提示过程中结构化LLM解释文本的策略，以在超小型设备上创建空间上可读的LLM解释。
2. 利用置信度估计自适应地展示解释，以在超小型设备上创建时间上可读的LLM解释。
3. 通过用户研究分析了结构化和自适应展示解释对用户与AI交互体验的影响，并得出了设计启示。
研究方法
1. 使用Ego4D数据集进行实验，结合预训练的视觉语言模型和LLM（如GPT-4）生成推荐和解释。
2. 采用Chain-of-Thought提示策略，将推理过程分解为多个步骤，生成结构化的解释文本。
3. 通过混合方法（一致性评估和文本置信度）计算每个推荐的置信度，并根据置信度水平自适应展示解释。
4. 设计了包含四种条件的用户实验（无解释、始终展示非结构化解释、始终展示结构化解释、自适应展示结构化解释），并通过定量和定性分析评估用户体验。
实验结果
实验结果表明，结构化解释显著减少了用户采取行动的时间，并降低了用户在阅读解释时的认知负荷。始终展示的结构化解释提高了用户对AI推荐的接受率，但用户对结构化解释的满意度低于非结构化解释，因为后者提供了更详细和自然的解释。自适应展示的结构化解释在提高用户对AI的感知方面效果较差，用户反馈表明额外的交互步骤影响了体验。
未来工作
未来的研究可以探索多模态输入（如音频、眼动追踪等）以生成更丰富的解释，并开发更精确的置信度估计方法以优化自适应展示的时机。此外，可以在真实场景中进行长期研究，观察用户偏好的变化，并进一步个性化解释内容以满足不同用户的需求。