TestNUC: Enhancing Test-Time Computing Approaches through Neighboring Unlabeled Data Consistency
作者: Henry Peng Zou, Zhengyao Gu, Yue Zhou, Yankai Chen, Weizhi Zhang, Liancheng Fang, Yibo Wang, Yangning Li, Kay Liu, Philip S. Yu
发布时间: 2025-02-27
来源: arxiv
研究方向: 自然语言处理，测试时计算，无监督学习
主要内容
该研究提出了一种名为TestNUC的测试时计算方法，通过利用邻近未标记数据的局部一致性来提高大型语言模型在测试时的预测能力。TestNUC通过考虑模型对输入实例及其邻近未标记实例的预测，来对输入实例进行分类。
主要贡献
1. 提出了一种名为TestNUC的测试时计算方法，通过利用邻近未标记数据的局部一致性来提高大型语言模型在测试时的预测能力。
2. 在多个数据集上评估了TestNUC，证明了其在各种任务中的优越性，包括意图分类、主题挖掘、领域发现和情感检测。
3. TestNUC可以无缝集成到现有的测试时计算方法中，显著提高它们的性能。
4. TestNUC随着未标记数据的增加而有效扩展，并且在不同的嵌入模型上表现稳健，使其适用于现实世界的应用。
研究方法
1. 邻居检索：根据特征相似性识别测试样本的顶部K个最近未标记邻居。
2. 协同预测：LLM为测试样本及其检索到的邻居生成预测，然后通过设计的聚合策略进行汇总。
3. 聚合策略：包括朴素多数投票、加权多数投票和过滤加权多数投票。
实验结果
TestNUC在八个数据集上优于基线方法，包括标准提示和自我一致性。TestNUC可以与现有的测试时计算方法无缝集成，并显著提高它们的性能。TestNUC在不同的嵌入模型上表现稳健，并且随着未标记数据的增加而有效扩展。
未来工作
扩展TestNUC以包括生成任务，以及评估其在更强大的推理模型上的性能。