Measuring and identifying factors of individuals' trust in Large Language Models
作者: Edoardo Sebastiano De Duro, Giuseppe Alessandro Veltri, Hudson Golino, Massimo Stella
发布时间: 2025-03-03
来源: arxiv
研究方向: 人工智能与心理学交叉领域
主要内容
本研究旨在通过开发一个名为 Trust-In-LLMs Index (TILLMI) 的心理测量工具，来测量个体对大型语言模型 (LLMs) 的信任程度。该工具基于 McAllister 的信任认知和情感维度，并将其扩展到 LLM 与人类交互的情境中。
主要贡献
1. 开发了一个新的心理测量工具 TILLMI，用于测量个体对 LLMs 的信任。
2. 通过探索性因子分析和验证性因子分析，确定了 TILLMI 的两因素结构：与 LLM 的亲近感（情感维度）和依赖 LLM（认知维度）。
3. 通过收敛效度分析，发现信任 LLMs 与开放性、外向性和认知灵活性正相关，与神经质负相关。
4. 发现年轻男性在亲近感和依赖 LLMs 方面比老年女性更高。
5. 发现没有直接使用过 LLMs 的人的信任水平低于 LLMs 用户。
研究方法
1. 心理测量工具开发：TILLMI。
2. LLM-simulated validity：使用 LLMs 作为参与者来评估项目质量。
3. 探索性因子分析 (EFA)：用于确定数据中的潜在因素结构。
4. 验证性因子分析 (CFA)：用于验证 EFA 的结果。
5. 收敛效度分析：通过与其他心理测量工具的比较来评估 TILLMI 的效度。
6. 回归分析：用于调查人口统计信息与信任水平之间的关系。
实验结果
TILLMI 成功地将信任分为情感和认知两个维度，并且与已知的心理测量工具和人口统计信息相关。实验结果表明，信任 LLMs 与多种心理特质和人口统计因素相关。
未来工作
未来研究可以进一步验证 TILLMI 的跨文化有效性，并针对特定 LLMs 进行调整。此外，研究可以探索信任在不同情境中的变化，以及如何通过设计来提高 LLMs 的可信度。