一种融合对话上下文信息的自然语言理解方法与装置制造方法及图纸

本发明专利技术属于自然语言理解领域，提供了一种融合对话上下文信息的自然语言理解方法与装置。主旨在于提高多轮人机对话场景中自然语言理解的准确度，主要方案包括采用该反馈式的系统架构，自然语言理解模块可获取对话上下文相关信息并融合到其算法模型中，主要过程包括通过深度神经网络Transformer的编码器模型来将对话状态中维护的结构化信息融合进自然语言理解模型中，同时通过Transformer解码器模型来根据对话历史信息预测用户可能的后续意图，最后通过基于贝叶斯概率原理的计算模块将理解与预测的结果结合，最终得到最为符合对话上下文语境信息的理解结果。下文语境信息的理解结果。下文语境信息的理解结果。

【技术实现步骤摘要】
一种融合对话上下文信息的自然语言理解方法与装置


[0001]本专利技术属于人工智能技术人机对话系统中的自然语言理解领域，具体是涉及一种融合对话上下文信息的自然语言理解方法与装置。

技术介绍

[0002]现有的人机对话系统通常采用如图所示的单向管道架构，由语音识别、自然语言理解、对话状态跟踪、对话管理、自然语言生成、文本语音转换六大模块组成，信息在各个模块之间单向序贯地流动。其中自然语言理解、对话状态跟踪和对话管理三大模块起着最核心的作用。自然语言理解模块负责理解和提取用户输入语言中所包含的对话意图与关键信息，对话状态跟踪模块将自然语言理解对每句话的处理结果进行整理和保存，对话管理模块根据对话状态跟踪模块所维护的信息进行对话规划和决策。在现有的技术中，自然语言理解模块只根据当前的输入语句来理解其意图和提取信息，而不能利用对话状态跟踪和对话管理模块中所记录和预测的对话上下文信息来更准确地分析理解当前语句。
[0003]与本专利技术最相似的现有技术实现方案，以及现有技术的缺点：其它相关专利的对比说明。
[0004]随着人工智能技术与人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合对话上下文信息的自然语言理解方法，其特征在于，包括以下步骤：步骤1、特征提取：将用户输入的当前自然语言文本，即当前语句转化成数字向量表示，将非结构化的自然语言文本所包含的信息转换成计算机可以处理和分析的结构化信息，最终得到每个词语的词特征向量，从而得到词特征向量序列；步骤2、意图识别和实体抽取：运用神经网络Transformer编码器模型处理输入自然语言文本中语句的分词的结果和特征提取后得到的词特征向量序列，利用Transformer编码器对意图识别和实体抽取，得到当前语句意图的推测概率和当前语句的各个词语的实体标注结果，即得到意图识别结果和实体抽取结果；步骤3、意图融合：将步骤2得到的用户输入的当前语句的意图识别结果和由上一轮得到的基于对话历史记录D对用户可能在当前轮输入意图的意图预测进行结合后，得到当前用户输入语句的融合意图识别结果，即得到融合意图；步骤4、对话状态跟踪：基于步骤3得到用户当前输入语句的融合意图和步骤2得到的实体抽取结果来填写一系列预先设定的对话状态属性的值，其中对话状态是{属性 : 值，
……
，属性 : 值} 构成的集合，对话状态跟踪的结果最后通过one
‑
hot编码方式转换成一个二值化的对话状态特征向量,即得到对话状态，对话状态作为接下来的用户意图预测和下一轮对话中意图识别的输入；步骤5、用户意图预测，使用Transformer解码器模型根据对话过程的对话历史记录D与步骤3得到的融合意图结合实现对用户接下来最可能输入的意图预测，为下一轮次步骤2中的意图识别提供参考的基准；下一次轮次的意图识别将根据用户输入语句本身的信息和根据对话历史已作出的意图预测来综合判断用户最可能的意图。2.根据权利要求1所述的一种融合对话上下文信息的自然语言理解方法，其特征在于，步骤1具体包括以下步骤：步骤1.1、中文分词：分词操作通过序列标注方法将用户输入的自然语言文本中的各个词语识别并分离开，使得语句从一个字序列变成一个词序列表示，得到分词的结果；步骤1.2、构建稀疏向量特征：运用词典匹配或者正则表达式匹配方法，首先识别出输入的自然语言文本的关键词、短语、特殊形式这些特征信息，将得到的特征信息表示为一系列的“one
‑
hot”稀疏向量并拼接在一起，得到输入语句的稀疏向量特征表示，从而得到稀疏向量特征；步骤1.3、获取词嵌入向量特征：基于分词的结果，从预训练的中文词嵌入词表中获取每个词语的词嵌入向量表示，从而得到词嵌入向量特征；步骤1.4、特征融合：稀疏向量特征包含了与任务相关的语言信息，而词嵌入向量特征则是表征了通用的语法语义信息，特征融合将两者结合在一起形成最终的特征向量，其操作为通过训练一个前馈神经网络将稀疏向量特征转换为一个稠密向量再与词嵌入向量特征拼接得到每个词语最终的词特征向量表示 ：
上式中FFN（）指前馈神经网络。3.根据权利要求2所述的一种融合对话上下文信息的自然语言理解方法，其特征在于，步骤2具体包括以下步骤：步骤2.1、意图识别根据语句的步骤1得到的词语特征向量和当前的对话状态向量来识别当前用户输入语句所包含的意图，具体的为，语句的识别意图：这里表示意图识别结果，i表示intent，表示词特征向量序列，表示当前的对话状态向量，()求取使得目标函数得到最大值的；是由深度学习模型计算得到的条件概率，即综合了语句文本特征和对话状态特征对当前语句意图的识别概率，其具体计算步骤如下：先运用Transformer编码器对词特征向量序列进行编码，编码时加入特殊的CLS标识符并运用Transformer的自注意力机制将语句中每个词语的特征以及词语之间的相互关联特征汇总到CLS标识符的编码中输出，得到语句编码向量；将状态向量通过一个前馈神经网络转换成稠密的特征向量，与CLS标识符输出的语句编码向量拼接，最后再通过一个前馈神经网络和归一化层得到输出的意图推测概率 ;步骤2.2、实体抽取实体抽取被建模为一个序列标注问题，即搜索一个实体标注序列 使得联合概率最大化，这里的
ꢀꢀ
对应输入自然语言文本中每一个词的实体标注结果；实体抽取也通过Transformer编码器对输入语句中的每个词进行编码，每个词语的特征向量通过一个前馈网络输入Transformer编码器，Transformer编码器使用自注意力机制将每个词语与语句中其它词语的特征融合，最后再通过一个条件随机场模型计算得到各个词语的实体标注结果，即得到实体抽取结果。4.根据权利要求3所述的一种融合对话上下文信息的自然语言理解方法，其特征在于，步骤3包括以下步骤：意图融合：当前用户输入的语句的识别意图和基于对话历史对用户可能输入意图的预测意图结合后，得到新的当前用户输入语句的融合意图:其中()求取使得目标函数得到最大值的融合意图，表示当前用户输入语句的识别意图，表示当前输入语句分词后的特征向量序列，表示当前的对话状态， 表示对话历史记录，其中，
其中表示在一个对话轮次中系统输出的行为，表示当前对话的轮次，表示词特征向量序列，表示当前的对话状态，
ꢀꢀ
是基于对话历史记录和当前状态对用户可能输入的意图的预测， 是用户在不同对话状态下可能输入的意图的先验概率，先验概率可直接从训练数据中统计获得，即对应的情况在训练数据中出现的频率。5.根据权利要求1所述的一种融合对话上下文信息的自然语言理解方法，其特征在于，步骤5中，用户意图预测使用Transformer解码器模型根据对话过程的历史记录D对用户接下来最可能输入的意图进行预测，得到预测意图，预测意图为下一轮次的意图识别提供参考的基准，下一次轮次的意图识别将根据用户输入语句本身的信息和根据对话历史已作出的意图预测来综合判断用户最可能的意图。6.根据权利要求5所述的一种融合对话上下文信息的自然语言理解方法，其特征在于，预测意图的具体实现如下：对历史记录D中的
ꢀ…ꢀ…ꢀ
，均采用1
‑
hot向量表示，拼接后通过前馈网络编码输入Transformer单向解码器，Transformer单向解码器从前向后依次将每一轮次的输入转换为内在状态表示，最后将轮得到的内在...

【专利技术属性】
技术研发人员：刘昌松，孙文韬，张汝民，张超意，陈怀珍，
申请(专利权)人：广东数业智能科技有限公司，
类型：发明
国别省市：