Bot Wars Evolved: Orchestrating Competing LLMs in a Counterstrike Against Phone Scams
作者: Nardine Basta, Conor Atkins, Dali Kaafar
发布时间: 2025-03-11
来源: arxiv
研究方向: 人工智能在网络安全领域的应用，特别是在对抗电话诈骗方面
主要内容
本文提出了一种名为“Bot Wars”的框架，该框架利用大型语言模型（LLMs）模拟诈骗对抗，通过模拟对抗性对话来对抗电话诈骗。该框架通过链式思维推理和双层提示架构，使LLMs能够创造具有人口统计学真实性的受害者角色，同时保持战略连贯性。
主要贡献
1. 提出了一个无需显式优化的策略出现的形式化基础，通过提示架构和链式思维推理来实现策略出现，将传统和提示驱动的对话系统相结合。
2. 设计了一种双层提示架构，使LLMs能够创造具有人口统计学真实性的受害者角色。
3. 创建了一个包含3200个诈骗对话的数据集，这些对话通过与179小时的真人诈骗诱骗互动进行验证。
4. 开发了一个综合评估框架，通过认知、定量和内容特定指标量化对话的有效性。
研究方法
1. 大型语言模型（LLMs）的链式思维推理
2. 双层提示架构
3. 内容分析框架
4. 认知评估框架
5. 定量指标框架
6. 内容特定分析框架
实验结果
实验表明，GPT-4在对话自然性和角色真实性方面表现出色，而Deepseek在参与可持续性方面表现出色。
未来工作
未来研究可以进一步探索提高LLMs在对抗电话诈骗方面的效果，包括提高LLMs在复杂对话中的策略适应性和持续参与能力。