TripCraft: A Benchmark for Spatio-Temporally Fine Grained Travel Planning
作者: Soumyabrata Chaudhuri, Pranav Purkar, Ritwik Raghav, Shubhojit Mallick, Manish Gupta, Abhik Jana, Shreya Ghosh
发布时间: 2025-03-03
来源: arxiv
研究方向: 人工智能在旅行规划中的应用
主要内容
TripCraft 是一个用于评估语言代理在复杂、约束感知旅行规划中的能力的基准。它通过整合用户偏好、常识考虑和基于角色的要求，同时确保时间、空间、顺序和个人一致性来评估语言代理构建灵活但受约束的计划的能力。
主要贡献
1. 构建了一个基于真实世界数据的细粒度旅行规划数据集，消除了地理不一致性，并确保了连贯的计划。
2. 提出了一种高度详细的活动生成方法，生成具有增强时空粒度的旅行计划，生成一个全面且上下文连贯的兴趣点序列，从而提供一次旅行的整体表示。
3. 引入了新颖的连续评估指标，以评估 LLM 生成的旅行计划的连续性和可解释性，从而超越二元约束来评估行程质量。
4. TripCraft 建立了 LLM 驱动的个性化旅行规划的新基准，为行程生成提供了更真实、约束感知的框架。
研究方法
1. 数据收集和清洗：通过网络抓取和开源工具如 OSM 来收集数据。
2. 基于角色的查询和构建：通过随机选择关键元素（出发城市、目的地和日期范围等）来生成查询。
3. 注释和细化：由 25 名研究生注释查询，提供理由以增强可解释性。
4. 评估指标：包括时间餐点得分、时间景点得分、空间得分、排序得分和角色得分，以评估行程的各个方面。
实验结果
TripCraft 的实验结果表明，与不包含参数信息的设置相比，包含参数信息的设置在时间餐点得分和空间得分方面有所提高，但以增加约束违规为代价。
未来工作
未来工作可以包括：将事件纳入核心兴趣点列表，以使 LLM 能够明确考虑事件时间；将数据集扩展到其他地理区域；探索在数据集上使用不同的方法，以进一步提高个性化 AI 驱动的行程合成。