Disambiguate First Parse Later: Generating Interpretations for Ambiguity Resolution in Semantic Parsing

作者: Irina Saparina, Mirella Lapata

发布时间: 2025-02-27

来源: arxiv

研究方向: 自然语言处理和语义解析

主要内容

本文提出了一种处理自然语言接口中歧义和欠指定问题的方法，特别适用于文本到SQL语义解析等任务。该方法首先使用自然语言解释来消除歧义，然后将这些解释映射到逻辑形式（例如SQL查询）。该方法利用了大型语言模型（LLM）在处理歧义时的固有偏差，并通过训练一个专门的填充模型来识别和生成缺失的解释。

1. 提出了一种模块化的方法，使用自然语言明确表达歧义，然后在将单个解释映射到逻辑形式（例如SQL查询）之前处理歧义。

2. 使用LLM生成一组首选的歧义消除方案，然后应用专门的填充模型来识别和生成缺失的解释。

3. 实验表明，“先消除歧义再解析”的策略提高了歧义问题的解释覆盖率，并泛化到具有不同标注风格、数据库结构和歧义类型的不同数据集。

1. 使用LLM生成首选解释。

2. 引入一个专门的填充模型来识别和生成缺失的解释。

3. 通过SQL执行来验证不同含义的标注方法。

4. 创建用于AmbiQT的合成参考解释。

5. 使用LoRA适配器在指令微调的Llama-3.1 8B上训练填充模型。

在AmbiQT和Ambrosia数据集上进行的实验表明，该方法在歧义问题的解释覆盖率方面取得了显著成果。与其他方法相比，该方法在单解释覆盖率和全解释覆盖率方面均取得了最高分数。此外，该方法还显示出跨领域和跨数据集的泛化能力。

未来的工作可以探索通过更好地处理数据库结构或使用查询执行作为训练和测试时搜索的信号来提高歧义处理。