Malware Detection at the Edge with Lightweight LLMs: A Performance Evaluation
作者: Christian Rondanini, Barbara Carminati, Elena Ferrari, Antonio Gaudiano, Ashish Kundu
发布时间: 2025-03-07
来源: arxiv
研究方向: 网络安全，边缘计算，机器学习
主要内容
本研究针对资源受限的边缘计算环境中的恶意软件检测问题，提出了利用轻量级大型语言模型（LLMs）的解决方案。通过实验评估了不同轻量级LLMs的性能，并探讨了在边缘设备上部署LLMs的可行性和准确性。
主要贡献
1. 提出了一种基于轻量级LLMs的边缘恶意软件检测架构。
2. 通过实验评估了不同轻量级LLMs在边缘设备上的性能。
3. 验证了轻量级LLMs在边缘设备上部署的可行性和准确性。
4. 提出了针对不同边缘设备进行细粒度优化和部署的策略。
5. 展示了如何通过中央模型来提高边缘设备对新威胁的检测性能。
研究方法
1. 使用轻量级LLMs（如DistilBERT、TinyBERT、Llama-3.2-1B、DistilGPT-2和TinyT5）进行恶意软件检测。
2. 在多个公开数据集（如Edge-IIoTset、X-IIoTID、TON-IoT和CIC IoT Dataset 2023）上进行了实验。
3. 采用零样本学习、少量样本学习和跨数据集验证等方法评估了模型的性能。
4. 在Raspberry Pi 3和Jetson Nano等边缘设备上进行了模型的部署和性能评估。
5. 使用k-fold交叉验证来防止模型过拟合，确保模型的泛化能力。
实验结果
实验结果表明，经过细粒度优化和部署的轻量级LLMs能够在边缘设备上有效执行恶意软件检测。TinyBERT和TinyT5在准确性和资源使用方面表现出最佳性能。通过中央模型，可以进一步提高边缘设备对新威胁的检测性能。
未来工作
未来工作将集中在进一步优化架构设计，探索更先进的正则化技术以减轻偏差，以及优化真实世界边缘环境的部署策略。此外，还将考虑引入中央模型，以通过集成来自不同边缘设备的反馈来提高整体威胁检测的准确性和一致性。