Quantifying the Relevance of Youth Research Cited in the US Policy Documents
作者: Miftahul Jannat Mokarrama, Hamed Alhoori
发布时间: 2025-03-10
来源: arxiv
研究方向: 量化分析青年研究在政策文档中的相关性
主要内容
本文研究了青年研究在政策文档中的相关性，使用自然语言处理技术、预训练的大型语言模型（LLMs）和统计分析，分析了引用政策文档中青年相关研究的规模和相关性。
主要贡献
1. 提出了一种使用预训练LLMs分析研究和政策文档的方法。
2. 验证了政策制定者在政策文档中使用了相关的研究证据。
3. 发现大部分获得美国政策引用的青年相关研究文章与引用政策文档相关。
4. 为评估研究对政策的影响提供了一种定量方法。
研究方法
1. 自然语言处理技术
2. 预训练的大型语言模型（LLMs）
3. 统计分析
4. TF-IDF向量器
5. 句子嵌入
6. 余弦相似度
7. Spearman等级相关系数
实验结果
研究发现，大部分获得美国政策引用的青年相关研究文章与引用政策文档相关。预训练LLMs在分析研究和政策文档方面表现良好，尤其是领域特定模型在政策领域的文本分析中提供了更好的结果。
未来工作
未来将探索研究影响预测等任务，并尝试使用更多的模型来得出更通用的结论。此外，将开发一个可以用于未来评估研究对政策影响的指标。