LLMs Have Rhythm: Fingerprinting Large Language Models Using Inter-Token Times and Network Traffic Analysis

作者: Saeif Alhazbi, Ahmed Mohamed Hussain, Gabriele Oligeri, Panos Papadimitratos

发布时间: 2025-03-03

来源: arxiv

研究方向: 安全与隐私，自然语言处理

主要内容

该研究提出了使用模型生成的文本的标记间时间间隔（ITTs）作为大型语言模型（LLMs）的指纹识别技术，旨在识别特定语言模型的来源和身份。这种方法通过分析网络流量数据来捕捉模型生成的独特时间模式，从而在本地和远程网络场景中实现被动和实时识别。

1. 证明了自回归语言模型在生成文本时具有独特的时序模式，并提出了利用这些模式进行模型识别的新方法。

2. 设计并实现了一个端到端的管道，该管道处理网络流量，提取36个特征来捕获语言模型的指纹，并使用混合BiLSTM-注意力模型对这些特征进行分类。

3. 通过在16个小型语言模型（SLMs）和10个专有LLMs上的综合实验，验证了该方法的有效性和鲁棒性，即使在不同的网络条件下也能识别模型家族和特定变体。

1. 网络流量分析

2. 深度学习（DL）

3. 特征工程

4. BiLSTM-注意力模型

5. 焦点损失

实验结果表明，该方法在不同部署场景（包括本地主机、局域网、远程网络和虚拟专用网络）中均有效。在测试数据集上，该方法在识别模型家族和特定变体方面达到了较高的准确率。此外，该方法对网络条件和时间变化具有鲁棒性。

未来工作可以包括扩展该方法以识别更复杂的模型行为，以及探索在更广泛的应用场景中使用该技术。此外，还可以研究如何进一步提高模型的准确性和鲁棒性，并减少对模型参数和架构的依赖。