Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing

作者: Shoumik Saha, Soheil Feizi

发布时间: 2025-02-25

来源: arxiv

研究方向: 人工智能文本检测与评估

主要内容

本文研究了使用大型语言模型（LLMs）进行文本生成，并评估了现有AI文本检测器在检测AI润色文本方面的性能。研究者创建了一个名为APT-Eval的数据集，包含经过不同程度AI润色的文本样本，并使用11种最先进的AI文本检测器进行评估。

1. 提出了APT-Eval数据集，用于评估AI文本检测器在检测不同程度AI润色文本时的性能。

2. 发现现有AI文本检测器在检测轻微润色文本时存在高误报率，且难以区分不同程度的AI润色。

3. 揭示了检测器对较旧或较小的LLMs存在偏见，以及在不同文本领域之间检测准确性的不一致性。

4. 强调了需要更细致的检测方法来应对AI辅助写作的挑战。

1. 数据集构建：从现有的人类写作样本中创建AI润色版本，并调整AI/LLM的参与程度。

2. 检测器评估：使用11种最先进的AI文本检测器对APT-Eval数据集进行评估，包括基于模型、基于指标和商业系统。

3. 性能指标：分析检测器的分类准确性、误报率和领域特定敏感性。

实验结果表明，现有AI文本检测器在检测轻微润色文本时存在高误报率，且难以区分不同程度的AI润色。检测器对较旧或较小的LLMs存在偏见，并在不同文本领域之间表现出检测准确性的不一致性。

未来的研究应探索更细致的检测方法，包括自适应AI文本检测器，以区分不同程度的AI参与，并确保AI辅助写作评估的准确性和公平性。此外，需要评估更广泛的LLMs和更多领域的文本，以提高检测方法的泛化能力。