Interpreting CLIP with Hierarchical Sparse Autoencoders
作者: Vladimir Zaigrajew, Hubert Baniecki, Przemyslaw Biecek
研究方向: 机器学习可解释性,视觉-语言模型
本文提出了一种名为Matryoshka稀疏自动编码器(MSAE)的新架构,用于理解和控制视觉-语言模型(如CLIP)的多模态表示。MSAE通过同时学习多粒度层次表示,优化了重建质量和稀疏性,从而提高了可解释性。
作者: Vladimir Zaigrajew, Hubert Baniecki, Przemyslaw Biecek
研究方向: 机器学习可解释性,视觉-语言模型
本文提出了一种名为Matryoshka稀疏自动编码器(MSAE)的新架构,用于理解和控制视觉-语言模型(如CLIP)的多模态表示。MSAE通过同时学习多粒度层次表示,优化了重建质量和稀疏性,从而提高了可解释性。
作者: Yanhong Li, David C. Anastasiu
研究方向: 极端适应性多元时间序列预测
PFformer模型是一种基于Transformer的、无位置编码的模型,用于解决极端事件数据集中的多元时间序列预测问题。该模型通过整合两种新型嵌入策略——增强特征嵌入(EFE)和自动编码器嵌入(AEE)——来有效地捕捉变量间的复杂依赖关系。
作者: Jianing Zhang, Evan Chen, Chaoyue Liu, Christopher G. Brinton
研究方向: 隐私保护联邦学习
本文提出了DPZV,这是一种结合了差分隐私(DP)和垂直联邦学习(VFL)的内存高效零阶优化框架。该框架旨在解决VFL在扩展到大型模型时遇到的隐私风险和效率问题。
作者: Jin Peng Zhou, Kaiwen Wang, Jonathan Chang, Zhaolin Gao, Nathan Kallus, Kilian Q. Weinberger, Kianté Brantley, Wen Sun
研究方向: 大型语言模型(LLM)的强化学习后训练
本文提出了一种名为 Q♯ 的基于分布式强化学习的算法,用于解决 LLM 后训练中的 KL 正则化强化学习问题。该算法通过学习最优 Q 函数来引导参考策略,从而实现 LLM 的性能提升和理论保证。
作者: Long Minh Bui, Tho Tran Huu, Duy Dinh, Tan Minh Nguyen, Trong Nghia Hoang
研究方向: 机器学习,自然语言处理,计算机视觉
本文提出了一种新的Transformer模型,名为Correlated Gaussian Process Transformer (CGPT),用于对Transformer模型进行不确定性校准。CGPT通过使用相关高斯过程(CGP)来模拟Transformer中的自注意力机制,从而提高了模型的表达能力和不确定性校准能力。
作者: Smit Desai, Mateusz Dubiel, Nima Zargham, Thomas Mildner, Laura Spillner
研究方向: 人机交互、自然语言处理、伦理学
本文探讨了基于大型语言模型(LLM)的对话代理人格设计,分析了LLM在对话用户界面(CUI)中的应用及其带来的伦理和实际挑战,并提出了相应的解决方案。
作者: Soumyabrata Chaudhuri, Pranav Purkar, Ritwik Raghav, Shubhojit Mallick, Manish Gupta, Abhik Jana, Shreya Ghosh
研究方向: 人工智能在旅行规划中的应用
TripCraft 是一个用于评估语言代理在复杂、约束感知旅行规划中的能力的基准。它通过整合用户偏好、常识考虑和基于角色的要求,同时确保时间、空间、顺序和个人一致性来评估语言代理构建灵活但受约束的计划的能力。
作者: Julius Broomfield, Kartik Sharma, Srijan Kumar
研究方向: 多模态大型语言模型(LLMs)的人设表达与评估
本研究探讨了不同模态(文本和图像)对LLMs人设表达的影响。研究者创建了包含40个不同人设的模态平行数据集,并使用60个问题评估LLMs在不同模态下的人设表现。
作者: Lance Ying, Katherine M. Collins, Lionel Wong, Ilia Sucholutsky, Ryan Liu, Adrian Weller, Tianmin Shu, Thomas L. Griffiths, Joshua B. Tenenbaum
研究方向: 人工智能与认知科学
本文探讨了如何评估人工智能系统在认知任务上的表现是否类似于人类。作者认为,当前评估人工智能认知能力的范式存在不足,并提出了改进建议。
作者: Vijay Srinivas Tida, Md Imran Hossen, Liqun Shan, Sai Venkatesh Chilukoti, Sonya Hsu, Xiali Hei
研究方向: 深度学习模型优化,特别是GANs中的转置卷积层
本文提出了一种名为统一内核分割的转置卷积操作优化方法,旨在减少计算开销和内存使用,提高GANs中转置卷积层的效率。