AgentOrca: A Dual-System Framework to Evaluate Language Agents on Operational Routine and Constraint Adherence
作者: Zekun Li, Shinda Huang, Jiangtian Wang, Nathan Zhang, Antonis Antoniades, Wenyue Hua, Kaijie Zhu, Sirui Zeng, William Yang Wang, Xifeng Yan
发布时间: 2025-03-12
来源: arxiv
研究方向: 自然语言处理与语言智能代理
主要内容
本文介绍了AgentOrca，一个用于评估语言代理在操作流程和约束遵守方面的双系统框架。该框架通过自然语言提示和对应的可执行代码来编码动作约束和流程，并通过自动化测试案例生成和评估流程，在五个真实世界领域中对语言代理的约束遵守进行了量化评估。
主要贡献
1. 提出了一种新的双系统框架，用于评估语言代理在操作流程和约束遵守方面的能力。
2. 通过自动化测试案例生成和评估流程，对语言代理的约束遵守进行了量化评估。
3. 揭示了当前语言代理在约束遵守和流程执行方面的显著性能差距，并指出大型推理模型在遵守约束方面表现更佳。
4. 强调了推理能力在理解执行流程和遵守约束方面的关键作用。
研究方法
1. 双系统验证：通过“提示系统”和“程序系统”并行执行，以自动化和可扩展的方式评估语言代理。
2. 自动化测试案例生成：通过排列约束组合，使用LLM自动创建涵盖不同复杂程度操作场景的测试案例。
3. 约束验证：通过比较执行轨迹和数据库状态，自动验证代理对约束的遵守情况。
4. 数据库状态匹配：比较代理产生的最终数据库状态与程序系统获得的最终数据库状态，以确保最终结果的一致性。
5. 定向动作图验证：构建基于映射的定向动作图，以验证代理执行动作的顺序，防止通过猜测绕过约束。
实验结果
实验结果表明，大型推理模型在遵守约束方面表现更佳，而具有函数调用支持的最新模型表现较差。此外，代理容易受到用户说服的攻击，需要增强安全性机制。
未来工作
计划扩展框架到更多领域，并将其作为在线强化学习的实时步骤式动作奖励环境。此外，计划减少人工干预，通过将自主编码代理工作流程集成到数据生成和系统设计中。