Bridging Legal Knowledge and AI: Retrieval-Augmented Generation with Vector Stores, Knowledge Graphs, and Hierarchical Non-negative Matrix Factorization

作者: Ryan C. Barron, Maksim E. Eren, Olga M. Serafimova, Cynthia Matuszek, Boian S. Alexandrov

研究方向: 法律知识人工智能

本文提出了一种名为Smart-Slic的生成式AI框架,旨在解决法律领域中的信息检索和推理问题。该框架结合了检索增强生成(RAG)、向量存储(VS)、知识图谱(KG)以及分层非负矩阵分解(NMF)等技术,以增强法律信息检索和AI推理能力,并减少幻觉现象。

ID: 2502.20364v1来源: arxiv发布时间: 2025-03-01

Bridging the Creativity Understanding Gap: Small-Scale Human Alignment Enables Expert-Level Humor Ranking in LLMs

作者: Kuan Lok Zhou, Jiayi Chen, Siddharth Suresh, Reuben Narad, Timothy T. Rogers, Lalit K Jain, Robert D Nowak, Bob Mankoff, Jifan Zhang

研究方向: 人工智能,自然语言处理,幽默理解与生成

本文研究了大型语言模型(LLMs)在幽默理解与评价方面的局限性,并提出了通过改进视觉理解、幽默推理和人类偏好对齐来提升LLMs在幽默评价任务上的性能。

ID: 2502.20356v1来源: arxiv发布时间: 2025-02-28

Towards Responsible AI in Education: Hybrid Recommendation System for K-12 Students Case Study

作者: Nazarii Drushchak, Vladyslava Tyshchenko, Nataliya Polyakovska

研究方向: 教育技术(EdTech)与人工智能(AI)在教育推荐系统中的应用与公平性研究

本文研究了一种针对K-12学生的混合推荐系统,该系统结合了基于图的方法和矩阵分解,旨在为学生的课外活动、学习资源和志愿服务机会提供个性化建议。为了解决公平性问题,系统包含一个框架来检测和减少通过分析保护学生群体反馈中的偏差。

ID: 2502.20354v1来源: arxiv发布时间: 2025-02-28

Naturalistic Computational Cognitive Science: Towards generalizable models and theories that capture the full range of natural behavior

作者: Wilka Carvalho, Andrew Lampinen

研究方向: 自然计算认知科学

本文探讨了如何将人工智能的进步应用于认知科学,提出了一种名为“自然计算认知科学”的研究策略,旨在通过自然istic实验范式和基于学习的模型来更全面地理解认知过程。

ID: 2502.20349v1来源: arxiv发布时间: 2025-02-28

Thinking Slow, Fast: Scaling Inference Compute with Distilled Reasoners

作者: Daniele Paliotta, Junxiong Wang, Matteo Pagliardini, Kevin Y. Li, Aviv Bick, J. Zico Kolter, Albert Gu, François Fleuret, Tri Dao

研究方向: 机器学习,特别是大语言模型(LLMs)的推理计算优化和推理能力提升

本文研究了如何通过提升推理计算能力来优化LLMs的推理性能,特别关注于利用低复杂度模型通过其更快的生成吞吐量来超越相同规模的Transformers,从而在固定计算预算下提升性能。

ID: 2502.20339v1来源: arxiv发布时间: 2025-02-28

Expertise Is What We Want

作者: Alan Ashworth, Munir Al-Dajani, Keegan Duchicela, Kiril Kafadarov, Allison Kurian, Othman Laraki, Amina Lazrak, Divneet Mandair, Wendy McKennon, Rebecca Miksad, Jayodita Sanghvi, Travis Zack

研究方向: 医学人工智能,临床决策支持系统

本文提出了一种名为Large Language Expert (LLE)的混合架构,旨在解决临床决策支持系统中将标准化、基于证据的指南转化为自动化系统时可能出现的准确性下降和细微差别丢失的问题。该架构结合了大型语言模型(LLM)的灵活性和强大功能,以及专家系统的可解释性、可说明性和可靠性。

ID: 2502.20335v1来源: arxiv发布时间: 2025-02-28

Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models

作者: Lucy Xiaoyang Shi, Brian Ichter, Michael Equi, Liyiming Ke, Karl Pertsch, Quan Vuong, James Tanner, Anna Walling, Haohuan Wang, Niccolo Fusai, Adrian Li-Bell, Danny Driess, Lachy Groom, Sergey Levine, Chelsea Finn

研究方向: 机器人指令跟随与视觉-语言-动作模型

本文提出了一种基于分层视觉-语言-动作模型(VLA)的机器人指令跟随系统Hi Robot,旨在使机器人能够在开放环境中执行复杂任务并处理动态的用户反馈。系统通过高层次的视觉-语言模型(VLM)解析复杂的指令和用户反馈,生成适合的低层次动作指令,再由低层次的VLA模型执行具体动作。该系统能够处理多阶段指令、实时反馈和约束条件,并在多个机器人平台上进行了验证。

ID: 2502.19417v1来源: arxiv发布时间: 2025-02-27

Norm Growth and Stability Challenges in Localized Sequential Knowledge Editing

作者: Akshat Gupta, Christine Fang, Atahan Ozdemir, Maochuan Lu, Ahmed Alaa, Thomas Hartvigsen, Gopala Anumanchipalli

研究方向: 大语言模型(LLMs)的局部知识编辑与模型稳定性

本研究探讨了在大语言模型(LLMs)中进行局部知识编辑时,更新矩阵的Frobenius范数增长现象及其对模型稳定性和性能的影响。研究发现,无论是持续预训练、全微调还是基于LORA的微调,更新矩阵的范数都会增加。这种范数增长在局部知识编辑中尤为显著,可能导致模型失衡和下游性能下降。研究还发现,内部激活向量的范数减少,并且这些向量在表示空间中的位置发生变化,表明编辑后的模型与未编辑模型在表示空间中的行为存在显著差异。

ID: 2502.19416v1来源: arxiv发布时间: 2025-02-27

Project Alexandria: Towards Freeing Scientific Knowledge from Copyright Burdens via LLMs

作者: Christoph Schuhmann, Gollam Rabby, Ameya Prabhu, Tawsif Ahmed, Andreas Hochlehnert, Huu Nguyen, Nick Akinci Heidrich, Ludwig Schmidt, Robert Kaczmarczyk, Sören Auer, Jenia Jitsev, Matthias Bethge

研究方向: 利用大语言模型(LLMs)从受版权保护的科学文献中提取知识单元(Knowledge Units),以促进科学知识的开放共享。

本文提出了一种通过LLMs将科学文献转化为知识单元(Knowledge Units)的方法,旨在将科学知识从版权限制中解放出来。知识单元通过结构化数据捕捉实体、属性和关系,避免了原始文本的风格和表达形式。文章从法律和技术两个角度论证了这种方法的可行性,并通过实验验证了知识单元在保留事实信息方面的有效性。

ID: 2502.19413v1来源: arxiv发布时间: 2025-02-27

Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs

作者: Dayu Yang, Tianyang Liu, Daoan Zhang, Antoine Simoulin, Xiaoyi Liu, Yuwei Cao, Zhaopu Teng, Xin Qian, Grey Yang, Jiebo Luo, Julian McAuley

研究方向: 大语言模型(LLM)中的代码增强推理与推理驱动的代码智能

本文探讨了代码与推理在大语言模型中的双向增强关系。代码通过其结构化、模块化和逻辑驱动的特性支持推理,而推理则将高层次目标分解为可执行的步骤,推动更高级的代码智能。研究分析了代码如何作为推理的结构化媒介,提供了可验证的执行路径、逻辑分解和运行时验证。同时,推理能力的提升也推动了代码智能从基础补全到复杂软件工程任务的演进,如规划和调试。最后,文章提出了未来研究方向,以加强代码与推理的协同作用,提升LLM在这两个领域的表现。

ID: 2502.19411v1来源: arxiv发布时间: 2025-02-27