Jailbreaking is (Mostly) Simpler Than You Think

作者: Mark Russinovich, Ahmed Salem

发布时间: 2025-03-10

来源: arxiv

研究方向: 人工智能安全与伦理

主要内容

本文研究了一种名为“上下文合规攻击”（Context Compliance Attack，CCA）的新方法，该方法通过操纵对话历史来绕过人工智能（AI）系统的安全机制，从而触发被限制的行为。研究表明，这种方法可以绕过最先进的安全协议，并提出了减轻这种攻击的缓解策略。

1. 提出了上下文合规攻击（CCA）的概念和方法。

2. 证明了CCA可以绕过多种AI模型的安全协议。

3. 分析了AI系统在上下文处理上的架构缺陷。

4. 提出了缓解CCA和其他类似攻击的策略。

5. 开发了一个自动化工具PyRIT用于测试CCA的有效性。

1. 上下文合规攻击（CCA）：通过操纵对话历史来欺骗AI系统。

2. 实验评估：在多种AI系统上测试CCA的有效性。

3. 比较分析：将CCA与其他攻击方法进行比较。

4. 缓解策略：提出服务器端历史维护和加密签名等方法来减轻攻击。

实验结果表明，大多数测试的AI模型都容易受到CCA的攻击，其中Llama-2表现出一定的抵抗力。实验还发现，一旦AI系统被欺骗提供了一项敏感信息，它可能越来越有可能泄露相关的敏感细节。

未来研究应重点关注改进AI系统的上下文完整性验证机制，包括开发更强大的检测和减轻对抗性操纵对话历史的方法。同时，需要将评估扩展到新兴的AI架构，确保新模型在设计时就有内置的防护措施。