Did ChatGPT or Copilot use alter the style of internet news headlines? A time series regression analysis
作者: Chris Brogly, Connor McElroy
发布时间: 2025-04-03
来源: arxiv
研究方向: 人工智能与自然语言处理
主要内容
本研究旨在探讨大型语言模型（LLMs）如ChatGPT和Copilot的发布是否对互联网新闻标题的写作风格产生了影响。通过分析451百万条新闻标题和链接的175个NLP特征，研究使用中断时间序列分析来评估LLMs发布后是否出现了统计上显著的持续变化。
主要贡献
1. 首次对LLMs发布对新闻标题写作风格的影响进行了大规模中断时间序列分析。
2. 确定了13个在ChatGPT和/或Copilot发布后出现显著持续变化的NLP特征。
3. 使用控制模型（如GPT-3和Gopher）来验证LLMs发布对新闻标题风格的影响。
4. 发现LLMs对新闻标题风格的影响有限，仅在某些NLP度量方面有所体现。
研究方法
1. 中断时间序列分析
2. NLP特征提取（包括通用POS标签、宾州树库POS标签、依赖标签和命名实体识别标签）
3. 普通最小二乘法（OLS）回归模型
4. 控制模型的使用
实验结果
研究发现，大多数NLP特征在ChatGPT和/或Copilot发布后没有出现显著的持续变化。13个特征在LLMs发布后显示出显著的变化，而在使用GPT-3和Gopher作为控制模型时没有显示出这种变化。这表明LLMs可能只在某些方面对新闻标题风格产生了有限的影响。
未来工作
未来的研究可以包括使用更先进的统计模型，分析更长的文本（如段落），或者研究LLMs在新闻内容生成中的更广泛影响。