Uncertainty-Aware Explainable Federated Learning
作者: Yanci Zhang, Han Yu
研究方向: 联邦学习(FL)与可解释人工智能(XAI)
提出了一种名为UncertainXFL的联邦学习框架,该框架结合了联邦学习和可解释人工智能,并考虑了不确定性信息。它旨在解决联邦学习中的隐私保护和可解释性挑战,通过在决策过程中生成解释并提供关于这些解释不确定性的信息来提高模型的可靠性和透明度。
作者: Yanci Zhang, Han Yu
研究方向: 联邦学习(FL)与可解释人工智能(XAI)
提出了一种名为UncertainXFL的联邦学习框架,该框架结合了联邦学习和可解释人工智能,并考虑了不确定性信息。它旨在解决联邦学习中的隐私保护和可解释性挑战,通过在决策过程中生成解释并提供关于这些解释不确定性的信息来提高模型的可靠性和透明度。
作者: Jiachun Li, Pengfei Cao, Yubo Chen, Jiexin Xu, Huaijun Li, Xiaojian Jiang, Kang Liu, Jun Zhao
研究方向: 大型语言模型(LLM)推理与优化
本文研究了大型语言模型在推理任务中,尤其是在数学推理任务中,奖励模型(RM)的性能和问题。通过分析奖励模型在不同任务难度、采样数量和搜索多样性等因素下的表现,提出了一种新的推理算法Optimal Clustering Tree Search (OCTS),以提升LLM的推理能力。
作者: Fengbin Zhu, Junfeng Li, Liangming Pan, Wenjie Wang, Fuli Feng, Chao Wang, Huanbo Luan, Tat-Seng Chua
研究方向: 金融领域的时间感知多模态检索增强生成(RAG)
该研究提出了FinTMMBench,一个用于评估金融分析中时间感知多模态RAG系统的基准。FinTMMBench包含了来自多个模态(表格、新闻文章、股票价格和图表)的7380个问题,旨在评估模型在检索和推理时间敏感金融信息方面的能力。为了解决FinTMMBench的挑战,研究人员提出了TMMHybridRAG,这是一种结合密集和图检索以及时间感知实体建模的新方法。
作者: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang
研究方向: 自然语言处理,大型语言模型推理效率
该研究提出了一种名为“Sketch-of-Thought (SoT)”的新型提示框架,旨在提高大型语言模型在推理过程中的效率。SoT通过结合认知科学原理和语言约束,减少了中间输出中的token使用量,同时保持了推理的准确性。
作者: Shanhe You, Xuewen Luo, Xinhe Liang, Jiashu Yu, Chen Zheng, Jiangtao Gong
研究方向: 自动驾驶评估与大型语言模型应用
该研究提出了一种基于大型语言模型(LLM)的自动驾驶智能评估框架,旨在解决现有自动驾驶评估方法在评估驾驶智能方面的不足,通过构建自然语言评估数据集,并利用LLM进行驾驶行为智能评估。
作者: Yunhao Luo, Utkarsh A. Mishra, Yilun Du, Danfei Xu
研究方向: 机器人规划与决策、生成模型
本文提出了一种名为CompDiffuser的新型生成方法,用于解决机器人决策中的长时规划问题。该方法通过学习将先前任务中的较短轨迹段组合起来,以解决新任务。它通过将轨迹分布细分为重叠块并学习它们的条件关系,通过单双向扩散模型来建模轨迹分布,从而确保生成过程中段之间的物理一致性。
作者: Rajdeep Roshan Sahu
研究方向: 文本到图像生成模型
本研究旨在通过整合CFG(无分类器引导)和EMA(指数移动平均)技术,改进文本到图像的扩散模型,以解决现有模型在样本多样性和训练稳定性方面的局限性。
作者: Ling Team, Binwei Zeng, Chao Huang, Chao Zhang, Changxin Tian, Cong Chen, Dingnan Jin, Feng Yu, Feng Zhu, Feng Yuan, Fakang Wang, Gangshan Wang, Guangyao Zhai, Haitao Zhang, Huizhong Li, Jun Zhou, Jia Liu, Junpeng Fang, Junjie Ou, Jun Hu, Ji Luo, Ji Zhang, Jian Liu, Jian Sha, Jianxue Qian, Jiewei Wu, Junping Zhao, Jianguo Li, Jubao Feng, Jingchao Di, Junming Xu, Jinghua Yao, Kuan Xu, Kewei Du, Longfei Li, Lei Liang, Lu Yu, Li Tang, Lin Ju, Peng Xu, Qing Cui, Song Liu, Shicheng Li, Shun Song, Song Yan, Tengwei Cai, Tianyi Chen, Ting Guo, Ting Huang, Tao Feng, Tao Wu, Wei Wu, Xiaolu Zhang, Xueming Yang, Xin Zhao, Xiaobo Hu, Xin Lin, Yao Zhao, Yilong Wang, Yongzhen Guo, Yuanyuan Wang, Yue Yang, Yang Cao, Yuhao Fu, Yi Xiong, Yanzhe Li, Zhe Li, Zhiqiang Zhang, Ziqi Liu, Zhaoxin Huan, Zujie Wen, Zhenhang Sun, Zhuoxuan Du, Zhengyu He
研究方向: 大规模混合专家语言模型(MoE LLM)训练与优化
该论文主要研究如何在大规模MoE LLM训练中克服成本不效率和资源限制,通过提出创新的方法来优化模型架构、训练过程、异常处理和模型评估效率,以降低训练成本,提高资源利用率。
作者: Hengguang Zhou, Xirui Li, Ruochen Wang, Minhao Cheng, Tianyi Zhou, Cho-Jui Hsieh
研究方向: 视觉推理和多模态推理
该研究主要探讨了如何通过强化学习在大型语言模型中培养复杂推理能力,特别关注在非监督训练(非SFT)的情况下实现类似于DeepSeek R1中的“aha moment”现象。研究人员使用非SFT的2B模型,通过在SAT数据集上应用强化学习,实现了在CVBench上的59.47%准确率,并观察到模型在推理过程中展现出自我反思和增加的响应长度。
作者: Reginald McLean, Evangelos Chataroulas, Jordan Terry, Isaac Woungang, Nariman Farsad, Pablo Samuel Castro
研究方向: 多任务强化学习(MTRL)
本文研究多任务强化学习(MTRL)领域,通过实证分析,探讨参数规模对MTRL性能的影响,以及不同组件(演员和评论家)对参数规模变化的响应差异。