多轮数据问数中基于对话状态跟踪（DST）的代词指代消歧研究

1. 引言与多轮语义解析的演进范式

在人工智能、自然语言处理（NLP）与数据库交互的交叉领域中，将自然语言转化为结构化查询语言（Text-to-SQL）的研究一直处于核心位置。早期的研究主要集中于单轮查询（Single-turn Text-to-SQL），例如在Spider或WikiSQL等经典数据集上，模型只需根据独立的用户问题和给定的数据库模式（Schema）生成对应的SQL语句。然而，在真实的商业智能（BI）、企业数据治理和探索性数据分析场景中，用户获取信息的方式极少是单次即止的。用户倾向于通过多轮对话（Multi-turn Dialogues）与系统进行交互，在此过程中不断细化查询条件、转移查询焦点或提出补充要求。

这种对话式数据问数（Conversational Text-to-SQL）引入了极为复杂的语言学现象，其中最突出的挑战便是代词指代（Pronoun Coreference）与信息省略（Ellipsis）。在连贯的多轮交互中，前一轮的输出构成了后一轮的上下文背景。系统为了准确生成当前轮次的SQL，必须具备跨轮次的上下文理解能力。对话状态跟踪（Dialogue State Tracking, DST）作为任务型对话系统（Task-oriented Dialogue Systems）的核心组件，在此展现出了不可替代的价值。DST通过在对话的每一个轮次中持续更新用户的意图、实体（Slots）以及数据库模式的映射关系，为解决指代消歧问题提供了结构化的记忆基础。

2. 核心语言学挑战：代词指代与上下文依赖的深度解构

在多轮Text-to-SQL任务中，模型面临的不再是孤立的文本序列，而是一个随时间演变的会话流。自然语言的经济性原则决定了人类在连续对话中会大量省略已知信息，并使用代词来指代前文已经提及的实体或复杂概念。

2.1 语言层面的指代消歧与模式映射

在跨领域的数据库查询中，指代现象不仅限于简单的人称代词（如“他”、“她”、“它”），还广泛涉及指示代词（如“这个”、“那些”）、关系代词以及基于语义的隐式指代。例如，在第一轮对话中，用户可能提问“查询阿尔伯塔省的所有手机型号？”，系统随后生成相应的SQL并返回结果。在第二轮中，用户继续追问“它们的制造商是谁？”。此时，“它们”明确指代第一轮中查询到的“阿尔伯塔省的手机”这一特定数据集合。

这种指代关系的解析需要模型具备两个深度的理解能力。首先是语言层面的指代消歧（Linguistic Coreference Resolution）。模型需要在文本序列中精确定位代词的先行词（Antecedent）。传统的指代消歧任务（如基于CoNLL-2012数据集的研究）主要关注文本中实体提及（Mentions）的聚类匹配。然而，在Text-to-SQL领域，仅仅找到前文的实体名词是远远不够的。其次，也是更为关键的，是模式层面的状态继承（Schema-level State Inheritance）。代词的解析最终必须落地到数据库的物理结构上。模型不仅要知道“它们”指代手机，还需要将其映射到数据库中的特定表（如Phone表），并且完整保留隐含的过滤条件（如Location = 'Alberta'）。因此，对话状态必须能够动态推断哪些数据库模式元素在多个对话轮次中仍然保持着上下文相关性。

2.2 信息省略与跨轮次意图转移

除了显式的代词指代，信息省略同样是对语义解析的巨大考验。用户可能会在后续轮次中输入“那另外一个校区呢？”或者“去掉薪水大于五千的限制”。这类话语在语义上是不完整的，完全依赖于上一轮生成的SQL逻辑树或查询结果。如果系统无法将当前话语与前序的意图进行结构化对齐，就无法生成合法的SQL代码。

对话状态跟踪（DST）在这里的作用是双重的。在传统的预订系统中，DST主要追踪预定义的、静态的槽位-值对（Slot-Value pairs）。但在复杂的多轮数据问数中，对话状态必须直接建立在SQL程序或数据库模式之上（SQL-grounded dialogue state tracking）。由于现代Text-to-SQL系统通常在未见过的数据库（Zero-shot Cross-domain）上进行评估，DST机制必须具备极强的领域泛化能力，能够不依赖于特定领域的静态本体（Ontology），而是根据动态加载的数据库模式进行状态的实时更新与追踪。

3. 基准数据集与评估体系的系统性演进

多轮Text-to-SQL领域的突破性进展，在很大程度上归功于高质量基准数据集的发布以及评估指标的持续精细化。学术界通过构建复杂度不断升级的测试环境，推动了指代消歧技术的发展。

3.1 核心数据集特性分析：SParC与CoSQL

目前学术界评估多轮对话上下文解析能力的两大核心数据集是SParC（Semantic Parsing in Context）与CoSQL（Conversational Text-to-SQL）。两者均脱胎于单轮解析的标杆数据集Spider，具备复杂的跨领域特性和丰富的SQL逻辑模式，要求测试阶段的模型必须泛化到训练集未见过的数据库上。

SParC主要包含约4,298个连贯的问题序列，涉及138个不同领域的200个复杂数据库。其交互模式往往是线性的，后续问题对前序问题存在明显的意图依赖或条件修正，非常适合评估基础的上下文状态追踪能力以及对简单代词的消解。

相比之下，CoSQL被设计为更贴近真实人机对话场景的语料库。它采用绿野仙踪（Wizard-of-Oz）方式收集了超过3万个轮次的对话，涉及1万个以上的标注SQL查询。CoSQL与SParC最显著的差异在于，其对话序列不仅仅是单向的文本到SQL的映射。它包含了系统对模糊问题的澄清、对执行结果的自然语言回复确认，以及用户提出的与数据库无关或不可回答的闲聊（Unanswerable questions）。因此，CoSQL不仅考察指代消歧，还要求模型具备用户对话行为预测（Dialogue Act Prediction）的能力，以决策当前轮次是否应该生成SQL，以及该追踪何种状态。

3.2 评估指标的演化与数据质量危机

随着任务复杂度的提升，多轮系统性能的衡量标准也经历了从文本表面相似度到深层逻辑执行正确性的演变。早期的研究常采用确切集合匹配（Exact Set Match, EM / ESM）指标，该指标严格比较预测SQL和真实SQL在子句（Clause）级别的无序匹配程度。其内在局限性在于过于死板，因为SQL语法的多样性意味着两个不同的SQL结构完全可以查询出相同的结果。该指标无法反映逻辑等价性，且在评估指代消歧时可能因别名（Alias）的不同而给出错误惩罚。

为了更真实地反映查询效用，执行准确率（Execution Accuracy, EX）成为主流，它直接比较预测SQL和真实SQL在数据库引擎中执行后返回的表格结果是否一致。而在多轮场景中，交互执行准确率（Interaction Execution Accuracy, IEX）被广泛采用，该指标要求整个多轮交互序列中的所有SQL查询都必须执行正确。这直接反映了模型抵抗级联错误（Cascading Errors）的能力，是目前最严苛的指标之一。此外，为了防止由于数据库数据量过小导致的执行结果“假阳性（False Positives）”，测试套件准确率（Test-suite Accuracy, TS）通过在多个生成的边缘情况数据库实例上执行SQL，提供了更严格的语义上限评估。

然而，尽管指标体系不断完善，该领域正面临着严峻的数据质量挑战。最新针对BIRD和Spider 2.0-Snow数据集的全面复核研究指出，现有的大规模基准测试中存在分别高达52.8%和66.1%的严重标注错误。这些错误主要表现为问题语义与目标SQL逻辑不匹配、对数据库模式理解受限导致的映射错误、领域知识错误以及严重的自然语言歧义。这种数据噪声极大地扭曲了排行榜的真实可靠性，也对多轮指代消歧系统提出了更高的要求：模型不仅要“拟合数据”，更要具备基于交互状态的主动纠错与自我校验能力。

4. 深度学习时代：从隐式记忆到显式状态跟踪

在大型预训练语言模型（LLM）成为绝对主流之前，研究者们在深度学习框架下提出了多种不同的网络架构与机制，试图显式或隐式地构建对话的“记忆（Memory）”，以解决跨轮次的指代和省略问题。这些架构的演进代表了学界对对话状态本质理解的逐步深化。

4.1 序列编辑机制与解耦重写

早期的多轮Text-to-SQL模型（如EditSQL）将指代消歧视为一个序列编辑问题。EditSQL模型并非在每一轮都从零开始生成SQL，而是将前一轮生成的SQL查询结果与当前轮次的自然语言话语进行拼接作为联合输入。模型设计了一个类似代码编辑器的生成方法，通过在词元（Token）级别重用或修改前一轮的SQL片段来生成新的SQL。这种方法的优势在于，当代词指代了前文的实体时，该实体所对应的数据库列名大概率已经存在于上一轮的SQL中。通过注意力机制和复制机制（Copy Mechanism），模型可以直接将上一轮SQL中的子结构“复制”到当前轮次，从而隐式地完成指代消歧。

与此同时，解耦解析（Decoupled Parsing）与对话重写（Dialogue Rewriting）提供了一条高度可解释的技术路径。这种策略将复杂的多轮任务强行拆解为两个独立阶段。第一阶段是纯文本的对话重写，利用基于GPT-2或BART的生成模型，将当前包含代词的话语结合对话上下文，重写为一句指代明确的单轮查询。例如，将“它们的制造商是谁？”重写为“阿尔伯塔省的所有手机型号的制造商是谁？”。第二阶段则是将重写后的话语输入给业界领先的单轮解析器。这种方法的瓶颈在于严重缺乏高质量的重写标注数据，研究者往往需要引入双向学习（Dual Learning）机制，通过评估重写质量和SQL生成质量来联合优化无标注数据上的重写模型。

4.2 基于图神经网络的模式交互图

为了更深度地捕捉多轮交互中数据库模式的变化，图神经网络（Graph Neural Networks, GNN）被引入以对齐文本与数据库。IGSQL（Interaction Graph SQL）创新性地构建了一个基于数据库模式的交互图编码器。它利用跨轮次（Cross-turn）和轮次内（Intra-turn）的模式图层，显式地对对话场景中的模式项历史信息进行建模。当用户在多轮中反复使用代词时，IGSQL通过图节点的信息传递机制，保留了历史轮次中被频繁激活的模式节点的权重，从而在当前轮次中更容易将其关联到对应的代词上。随后，R2SQL模型进一步提出了动态图框架，引入了动态记忆衰减机制（Dynamic Memory Decay）。由于对话的焦点会随着轮次的增加而转移，早期的指代实体可能会失效，记忆衰减机制有效防止了历史过时噪音对当前指代消歧的干扰。

4.3 显式交互状态跟踪（IST-SQL）的核心机制

为了从根本上解决多轮指代问题，IST-SQL（Interaction State Tracking for SQL）模型创造性地将传统任务型对话中的DST概念严格数学化并迁移到Text-to-SQL中。IST-SQL定义了两种基于数据库模式和SQL关键字的独立交互状态：

1. 模式状态（Schema-states）：以数据库所有表的列名作为状态标识。其值域来源于上一轮预测的SQL查询中提取的SQL关键字。
2. SQL状态（SQL-states）：以SQL关键字作为状态标识。其值域是上一轮查询中与这些关键字产生关联的模式列名。

在每一个对话轮次中，IST-SQL通过状态更新器（State Updater）动态提取新值来更新这些状态。为了深度编码这些状态，模型利用了关系图神经网络（RGNN）来处理模式状态，使得外键等数据库固有关系能够在节点间传播状态信息；同时利用单层非线性网络处理SQL状态。在处理代词指代（例如将“那些宿舍”映射回前序提及的具体表格）时，话语编码器通过多头注意力机制，将所有历史话语的信息无缝整合到当前话语表示中。解码器最终结合动态的模式状态表示、SQL状态表示以及富含历史信息的文本表示，通过复制机制精准地生成当前SQL。

4.4 关系感知自注意力模型（RASAT）

在Transformer架构普及之后，研究者开始探索如何将结构化关系编码直接融入大规模预训练模型中。RASAT（Relation-Aware Self-Attention-augmented T5）通过显式引入共指关系（Coreference Relations）作为一种图结构输入，解决了长距离依赖问题。RASAT将多达数十种预定义的关系（包含模式链接关系、语法依存关系以及跨轮次的共指关系）注入到Transformer的自注意力偏置矩阵中。这迫使模型在计算注意力权重时，必须将代词词元（如“they”）与前序轮次中的先行词词元（如“students”）进行强制的语义绑定。结合PICARD（一种基于抽象语法树的拒绝无效词元的受限解码技术），RASAT在SParC和CoSQL多轮数据集上的交互执行准确率（IEX）取得了突破性的进展。

5. 大语言模型时代的上下文学习与提示工程

随着大语言模型（如GPT-4, LLaMA-3, Qwen-2.5-Coder等）的性能爆发，Text-to-SQL领域的范式发生了根本性的改变。LLM凭借其在海量预训练语料中学习到的丰富代码逻辑与广博的常识知识，在处理自然语言歧义和代词指代方面展现出了惊人的零样本（Zero-shot）和少样本（Few-shot）推理能力。研究的重心随之从复杂的神经网络架构设计，转移到了提示工程（Prompt Engineering）与上下文学习（In-Context Learning）的优化上。

5.1 任务分解与基础提示框架

直接让大模型处理包含复杂数据库模式和多轮对话历史的输入往往会导致模型注意力分散。为此，DIN-SQL和DAIL-SQL等方法提出将庞大的Text-to-SQL任务拆解为多个独立的子任务，如模式链接（Schema Linking）、查询分类和最终生成。DART-SQL则进一步引入了数据库反馈引导的重写机制（Execution-Guided Refinement）。该框架首先利用数据库的实际内容信息来消除自然语言问题的固有歧义，随后结合生成的SQL在数据库中的执行结果进行迭代式的自我修正，极大提升了模型在应对含有省略信息轮次时的执行准确率。

5.2 基于编辑链（Chain-of-Editions）的逻辑推理

在处理多轮上下文传递时，直接拼接对话历史容易导致长对话中的幻觉（Hallucination）或焦点丢失。CoE-SQL（Chain-of-Editions）提出了一种符合人类代码审查思维的提示设计策略。受到代码版本控制和编辑过程的启发，CoE-SQL将SQL在不同交互轮次中的状态变化显式地建模为一个具体的推理过程。

在生成当前轮次的SQL前，模型必须先输出一个“编辑链”。这个链条以自然语言（或结构化规则）的形式，详细描述了从上一轮的SQL到当前轮次的SQL需要经历的逻辑编辑操作（例如：“由于用户指代了前一轮的‘部门’，保留上一轮中的JOIN操作，但将WHERE条件中的销售额约束替换为人数约束”）。通过这种类似于思维链（Chain of Thought, CoT）的显式推理，LLM在实际生成SQL代码前，已经在语义层面上强制完成了对前序状态的更新和代词的深度解构。实验证明，采用自然语言描述的编辑链在SParC和CoSQL基准测试中表现尤为出色，有效弥合了模型在多轮状态追踪中的断层。

6. 面向长视野交互的智能体架构与强化学习突破

进入2025至2026年，业界深刻认识到现有的LLM提示方法存在一个致命的系统性缺陷，即“短视野推理范式（Short-horizon Paradigm）”。现有的大部分代理在处理多轮对话时，仅仅将其视为一连串相互独立的单次文本翻译任务，缺乏持续的执行验证和历史连贯性的回溯检查。为了解决这一核心痛点，研究范式全面转向了多智能体协同与强化学习主导的长视野系统设计。

6.1 模块化多智能体与无监督本体构建

SQL-of-Thought框架将语义解析流程彻底解构为由不同专家智能体组成的流水线，包含模式链接智能体、子问题识别智能体、查询计划生成智能体、SQL合成智能体以及由分类法引导的动态错误修正循环。这种职责分离使得专门处理指代消歧的智能体能够独立于SQL语法生成，专注于通过分析多轮上下文来明确每个代词映射的实体表，随后将清晰的指令传递给下游执行者。此外，针对不可回答或含糊不清的提问，MMSQL测试套件驱动的智能体系统能够主动识别问题类型，并选择性地拒绝生成无效的SQL代码。

在对话状态管理的理论前沿，TeQoDO系统展示了通过LLM固有的SQL编程能力从零开始自动构建任务型对话本体（Ontology）的潜力。该方法利用DST机制的理论框架，促使LLM自主区分对话中已经存在于数据库的旧信息和新出现的信息。它通过生成ALTER TABLE或UPDATE操作来直接在物理数据库上反映对话状态的逻辑演变，提供了一种完全透明且无需人工标注的白盒状态追踪方案。

6.2 MTSQL-R1：马尔可夫决策过程与长视野智能体

MTSQL-R1代表了当前多轮Text-to-SQL领域的最先进实践。该框架创新性地将多轮语义解析转化为一个马尔可夫决策过程（Markov Decision Process, MDP）。在MDP的约束下，智能体不再是一次性输出代码，而是进入一个严谨的迭代循环：“提出预案 -> 执行测试 -> 验证一致性 -> 细化修正（Propose -> Execute -> Verify -> Refine）”。

在解决指代消歧与状态追踪方面，MTSQL-R1引入了双重维度的交互环境反馈：

1. 环境执行反馈（Execution Feedback）：生成的SQL草稿会被实时送入隔离的数据库引擎执行。如果由于代词解析偏差导致引用了错误的或不存在的列，执行引擎的报错信息会立即作为负面反馈传递给智能体，触发列名或连接条件的修正。
2. 持久化对话记忆校验（Persistent Dialogue Memory）：智能体维护着一个跨越所有轮次的全局对话记忆库。在验证阶段，系统执行严格的一致性检查（Coherence Verification），确保当前SQL表达的意图与记忆库中保存的历史上下文（尤其是前期确立的实体过滤器）没有发生逻辑冲突。

MTSQL-R1的训练机制摒弃了纯粹的监督微调（SFT），引入了端到端的强化学习（RL），利用执行成功率和记忆一致性构建多级奖励信号。这种由环境驱动的验证与记忆引导的修正机制，极大地增强了模型在复杂交互中的自愈能力，使其在CoSQL和SParC基准测试中稳居SOTA位置。此外，ExCoT-DPO等框架也证明了，仅依靠执行准确率作为偏好反馈，利用直接偏好优化（DPO）技术迭代优化开源LLM，能够在完全不需要奖励模型或人工标注偏好的情况下，实现大幅度的性能飞跃。

7. 级联错误分析与多轮交互的鲁棒性优化

多轮对话系统在实际部署中面临的最致命且难以察觉的风险是“级联错误（Cascading Errors）”。由于多轮互动的内在高度依存性，系统在早期对话轮次中发生的微小指代错误或状态追踪偏差，不仅会破坏当前轮次的查询准确度，更会如同滚雪球一般，严重污染后续所有轮次的交互逻辑。

7.1 级联错误的深层扩散机制

在基于LLM的多智能体协作系统中，级联错误的扩散机制表现出有别于传统软件缺陷的特征，其传播过程更类似于社会网络中的“谣言（Rumors）”。在传统的软件工程中，如果模块A产生错误输出，模块B的异常处理机制通常能够将其捕获。然而，在自然语言代理构成的多轮系统中，如果前序智能体由于代词消歧失误（例如将“它的季度销售额”中的“它”错误地从特定的“北美分部”泛化解析为了“整个集团”）而生成了逻辑错误的SQL，该SQL在语法层面上往往是完全合法的。

此时，后续的对话轮次（下游智能体）在缺乏全局校验的情况下，会将这个带有逻辑瑕疵的输出视为“已验证的事实（Ground Truth）”并继续在其基础上进行叠加推理。这种现象在认知工程中被称为“虚假共识（False Consensus）”。随着交互的深入，到了对话的第五或第六个轮次，系统的内部状态可能已经彻底偏离了用户最初的搜索意图，且系统极为困难去追溯并纠正最源头的状态更新错误。这种级联效应在CoSQL等多轮对话且包含不可回答问题的数据集中表现得尤为明显，导致许多依赖短视野推理的模型在序列后期的交互执行准确率（IEX）出现断崖式下跌。

7.2 截断与缓解策略：从断路器到交互式消除歧义

为了有效阻断级联错误，最前沿的研究在系统架构层面引入了一系列干预与兜底机制：

8. 结论

多轮数据问数（Conversational Text-to-SQL）代表了未来人机数据交互的核心方向，而精准的代词指代消歧与上下文解析则是横亘在该领域面前的一座高山。本研究报告系统性地梳理了在此复杂场景下，基于对话状态跟踪（DST）及相关机制的技术演进历程。

研究分析明确指出，多轮语义解析的核心壁垒在于必须在语言学层面的实体消歧与物理数据库模式层面的状态继承之间，建立起动态且精准的映射。传统的序列编辑方法已被证明在处理长对话时极易陷入级联错误的泥沼。从显式引入结构化状态编码的IST-SQL，到融合关系感知自注意力的RASAT，深度学习时代的研究为追踪意图演变奠定了深厚的理论基础。进入大语言模型时代，不再拘泥于特定领域的复杂图结构，基于提示工程的“编辑链（CoE-SQL）”推理以及解耦的对话重写策略，正在成为主流的高效解决方案。

最为关键的是，面对“级联错误”这一阻碍智能体系统投入大规模生产环境的致命缺陷，学术界和工业界的关注焦点正发生战略性转移：从单纯追求单步翻译准确率的“短视野系统”，大步迈向具备环境交互能力的“长视野系统（Long-horizon systems）”。以MTSQL-R1为代表的马尔可夫决策过程（MDP）框架，通过引入真实的数据库执行反馈闭环和持久化的全局一致性记忆，彻底颠覆了传统的生成范式。结合基于直接偏好优化（DPO）的强化学习技术以及主动式交互澄清机制，下一代Agentic AI在数据治理、自主分析以及抵御多轮逻辑退化方面展现出了无可估量的潜力。将强健的对话状态跟踪理论与具备自主校验能力的智能体架构深度融合，不仅是突破当前多轮Text-to-SQL系统泛化与可靠性瓶颈的必然路径，更是真正实现“数据交互民主化”的基石。