Enhancing Alzheimer's Diagnosis: Leveraging Anatomical Landmarks in Graph Convolutional Neural Networks on Tetrahedral Meshes

作者: Yanxi Chen, Mohammad Farazi, Zhangsihao Yang, Yonghui Fan, Nicholas Ashton, Eric M Reiman, Yi Su, Yalin Wang

研究方向: 阿尔茨海默病诊断与脑部淀粉样蛋白阳性分类

该研究提出了一种基于Transformer架构的几何深度学习模型,用于阿尔茨海默病的诊断和脑部淀粉样蛋白阳性分类。该模型通过结合结构磁共振成像(sMRI)和基于血液的生物标志物(BBBMs),旨在提高诊断准确率,同时减少对昂贵的PET扫描的依赖。

ID: 2503.05031v1来源: arxiv发布时间: 2025-03-10

Continual Pre-training of MoEs: How robust is your router?

作者: Benjamin Thérien, Charles-Étienne Joseph, Zain Sarwar, Ashwinee Panda, Anirban Das, Shi-Xiong Zhang, Stephen Rawls, Sambit Sahu, Eugene Belilovsky, Irina Rish

研究方向: 大规模语言模型(LLM)的持续预训练与混合专家(MoE)架构

该研究探讨了如何通过持续预训练方法来更新MoE架构的LLM,同时保持其性能和效率。研究者对比了MoE与密集模型在持续预训练过程中的表现,并分析了不同路由算法和预训练策略对MoE性能的影响。

ID: 2503.05029v1来源: arxiv发布时间: 2025-03-10

LLMs' Reshaping of People, Processes, Products, and Society in Software Development: A Comprehensive Exploration with Early Adopters

作者: Benyamin Tabarsi, Heidi Reichert, Ally Limke, Sandeep Kuttal, Tiffany Barnes

研究方向: 大型语言模型(LLM)在软件开发中的应用和影响

本文通过半结构化访谈研究了16位早期采用LLM的软件开发者,探讨了LLM在软件开发生命周期中各个阶段的应用,包括对开发者、软件工程流程、软件产品以及社会的影响。

ID: 2503.05012v1来源: arxiv发布时间: 2025-03-10

Balcony: A Lightweight Approach to Dynamic Inference of Generative Language Models

作者: Benyamin Jamialahmadi, Parsa Kavehzadeh, Mehdi Rezagholizadeh, Parsa Farinneya, Hossein Rajabzadeh, Aref Jafari, Boxing Chen, Marzieh Tahaei

研究方向: 大规模语言模型动态推理

Balcony是一种轻量级的动态推理框架,旨在解决将大型语言模型(LLMs)部署到实际应用中的计算和延迟限制问题。它通过在预训练LLM中选择性插入额外的Transformer层来减少模型深度,从而在不牺牲性能的情况下实现实时适应不同的计算预算。

ID: 2503.05005v1来源: arxiv发布时间: 2025-03-10

Wanda++: Pruning Large Language Models via Regional Gradients

作者: Yifan Yang, Kai Zhen, Bhavana Ganesh, Aram Galstyan, Goeric Huybrechts, Markus Müller, Jonas M. Kübler, Rupak Vignesh Swaminathan, Athanasios Mouchtaris, Sravan Babu Bodapati, Nathan Susanj, Zheng Zhang, Jack FitzGerald, Abhishek Kumar

研究方向: 大型语言模型(LLM)压缩与优化

本文提出了一种名为Wanda++的LLM剪枝框架,旨在通过区域梯度来优化LLM的剪枝过程,以实现更高效的推理速度提升和更小的性能影响。

ID: 2503.04992v1来源: arxiv发布时间: 2025-03-10

LVLM-Compress-Bench: Benchmarking the Broader Impact of Large Vision-Language Model Compression

作者: Souvik Kundu, Anahita Bhiwandiwalla, Sungduk Yu, Phillip Howard, Tiep Le, Sharath Nittur Sridhar, David Cobbley, Hao Kang, Vasudev Lal

研究方向: 视觉语言模型(LVLM)压缩及其对社会影响的研究

本文研究了视觉语言模型(LVLM)在压缩过程中的表现,特别是对多模态输入驱动的生成性能的影响。研究者提出了LVLM-Compress-Bench框架,用于评估压缩对LVLM性能的影响,包括图像识别、知识、语言生成、空间感知、视觉推理、幻觉和视觉错觉识别、毒性、刻板印象和偏见等多个方面。

ID: 2503.04982v1来源: arxiv发布时间: 2025-03-10

A Consensus Privacy Metrics Framework for Synthetic Data

作者: Lisa Pilgram, Fida K. Dankar, Jorg Drechsler, Mark Elliot, Josep Domingo-Ferrer, Paul Francis, Murat Kantarcioglu, Linglong Kong, Bradley Malin, Krishnamurty Muralidhar, Puja Myles, Fabian Prasser, Jean Louis Raisaro, Chao Yan, Khaled El Emam

研究方向: 合成数据隐私评估

本文针对合成数据隐私评估问题,通过专家共识和文献分析,提出了一个评估合成数据隐私的框架。该框架主要关注成员披露和属性披露,并对现有的隐私度量方法进行了批判性分析。

ID: 2503.04980v1来源: arxiv发布时间: 2025-03-10

Quantifying the Relevance of Youth Research Cited in the US Policy Documents

作者: Miftahul Jannat Mokarrama, Hamed Alhoori

研究方向: 量化分析青年研究在政策文档中的相关性

本文研究了青年研究在政策文档中的相关性,使用自然语言处理技术、预训练的大型语言模型(LLMs)和统计分析,分析了引用政策文档中青年相关研究的规模和相关性。

ID: 2503.04977v1来源: arxiv发布时间: 2025-03-10

Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge

作者: Songyuan Li, Jia Hu, Geyong Min, Haojun Huang

研究方向: 基础模型(FM)的边缘计算与联邦学习

本文研究了在边缘网络中激励多租户分割联邦学习(SFL)以进行基础模型(FM)微调。通过将部分FM计算卸载到边缘服务器,SFL在保护本地设备数据隐私的同时,实现了对资源受限设备的隐私保护FM微调。为了解决多租户场景下的激励问题,提出了一个名为PRINCE的新型激励机制,指导多个SFL租户提供战略价格激励,以吸引高质量的设备参与,从而实现高效的FM微调。

ID: 2503.04971v1来源: arxiv发布时间: 2025-03-10

Data-Efficient Learning from Human Interventions for Mobile Robots

作者: Zhenghao Peng, Zhizheng Liu, Bolei Zhou

研究方向: 移动机器人学习与控制

该研究提出了一种名为PVP4Real的在线人机交互学习方法,旨在提高移动机器人在现实世界任务中的数据效率和训练安全性。该方法结合了模仿学习和强化学习,通过在线人类干预和示范进行实时策略学习,无需奖励或预训练。

ID: 2503.04969v1来源: arxiv发布时间: 2025-03-10