Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms

作者: Jiaming Song, Linqi Zhou

研究方向: 生成式预训练算法

本文探讨了生成式预训练算法中,特别是在推理时间扩展方面的创新。文章指出,尽管近年来在基础模型方面取得了显著进展,但算法创新在这一领域却停滞不前,主要围绕离散信号的自回归模型和连续信号的扩散模型。作者认为,一种以推理优先的视角,即在推理时间优先考虑序列长度和细化步骤的扩展效率,可以启发新的生成式预训练算法。

ID: 2503.07154v1来源: arxiv发布时间: 2025-03-11

PTMs-TSCIL Pre-Trained Models Based Class-Incremental Learning

作者: Yuanlong Wu, Mingxing Nie, Tao Zhu, Liming Chen, Huansheng Ning, Yaping Wan

研究方向: 时间序列类增量学习(TSCIL)

该论文提出了基于预训练模型(PTM)的时间序列类增量学习(TSCIL)方法,通过结合共享适配器调整、知识蒸馏和特征漂移补偿网络(DCN)来提高模型在增量学习过程中的稳定性和泛化能力。

ID: 2503.07153v1来源: arxiv发布时间: 2025-03-11

Hierarchical Neuro-Symbolic Decision Transformer

作者: Ali Baheri, Cecilia O. Alm

研究方向: 神经符号决策控制

提出了一种结合符号规划和基于Transformer的策略的层次化神经符号控制框架,用于解决复杂、长周期的决策任务。

ID: 2503.07148v1来源: arxiv发布时间: 2025-03-11

MRCEval: A Comprehensive, Challenging and Accessible Machine Reading Comprehension Benchmark

作者: Shengkun Ma, Hao Peng, Lei Hou, Juanzi Li

研究方向: 机器阅读理解(Machine Reading Comprehension, MRC)

本文提出了一种新的MRC基准MRCEval,旨在全面评估大型语言模型(LLMs)的阅读理解能力。该基准基于一个新颖的分类法,将MRC技能分为三个层级:上下文理解、外部知识理解和推理。MRCEval包含13个不同的技能,共计2.1K个高质量的多选题。

ID: 2503.07144v1来源: arxiv发布时间: 2025-03-11

A Comprehensive Survey of Mixture-of-Experts: Algorithms, Theory, and Applications

作者: Siyuan Mu, Sen Lin

研究方向: 混合专家模型(MoE)在机器学习中的应用

该论文全面概述了混合专家模型(MoE)在机器学习中的应用,包括其基本设计、算法设计、理论研究以及应用领域。

ID: 2503.07137v1来源: arxiv发布时间: 2025-03-11

ASTRA: A Negotiation Agent with Adaptive and Strategic Reasoning through Action in Dynamic Offer Optimization

作者: Deuksin Kwon, Jiwon Hae, Emma Clift, Daniel Shamsoddini, Jonathan Gratch, Gale M. Lucas

研究方向: 人工智能与谈判策略

该研究提出了一种名为ASTRA的谈判代理框架,旨在通过自适应和战略推理来优化动态出价。ASTRA基于两个核心原则:对手建模和Tit-for-Tat互惠原则,通过三个阶段运作:1)解释对手行为,2)通过线性规划(LP)求解器优化反报价,3)根据谈判策略和合作伙伴的接受概率选择报价。

ID: 2503.07129v1来源: arxiv发布时间: 2025-03-11

A LSTM-Transformer Model for pulsation control of pVADs

作者: Chaoran E, Chenghan Chen, Yuyang Shi, Haiyun Wang, Peixin Hua, Xiwen Zhang

研究方向: 心血管辅助设备(VAD)的脉动控制

提出了一种用于经皮心室辅助装置(pVAD)脉动控制的方法,该方法结合了NPQ模型和LSTM-Transformer模型,旨在提高pVAD的脉动性能,降低长期使用中的风险。

ID: 2503.07110v1来源: arxiv发布时间: 2025-03-11

Correctness Learning: Deductive Verification Guided Learning for Human-AI Collaboration

作者: Zhao Jin, Lu Jin, Yizhe Luo, Shuo Feng, Yucheng Shi, Kai Zheng, Xinde Yu, Mingliang Xu

研究方向: 人工智能与决策支持系统

本文提出了一种名为“正确性学习”(Correctness Learning,CL)的新方法,旨在通过结合演绎验证方法和历史高质量方案中的见解来增强人机协作。该方法旨在验证决策输出方案的正确性,并通过模式驱动的正确性学习(Pattern-Driven Correctness Learning,PDCL)来捕捉系统代理的“正确性模式”,从而提高决策模型的性能。

ID: 2503.07096v1来源: arxiv发布时间: 2025-03-11

FaceID-6M: A Large-Scale, Open-Source FaceID Customization Dataset

作者: Shuhe Wang, Xiaoya Li, Jiwei Li, Guoyin Wang, Xiaofei Sun, Bob Zhu, Han Qiu, Mo Yu, Shengjie Shen, Tianwei Zhang, Eduard Hovy

研究方向: 人脸识别定制化(FaceID Customization)和数据集构建

FaceID-6M是一个大规模、开源的人脸识别定制化数据集,包含600万高质量文本-图像对。该数据集从LAION-5B中筛选而来,经过严格的图像和文本过滤过程,以确保数据集质量,旨在为训练强大的FaceID定制化模型提供高质量的数据支持。

ID: 2503.07091v2来源: arxiv发布时间: 2025-03-12

FaceID-6M: A Large-Scale, Open-Source FaceID Customization Dataset

作者: Shuhe Wang, Xiaoya Li, Jiwei Li, Guoyin Wang, Xiaofei Sun, Bob Zhu, Han Qiu, Mo Yu, Shengjie Shen, Eduard Hovy

研究方向: 人脸识别定制与文本到图像生成

本文提出FaceID-6M,一个包含600万高质量文本-图像对的开放源代码人脸识别定制数据集。该数据集通过从LAION-5B中筛选并经过严格的图像和文本过滤步骤构建,旨在为训练强大的FaceID定制模型提供高质量数据,并促进该领域的研究和发展。

ID: 2503.07091v1来源: arxiv发布时间: 2025-03-11