一种计算机问答系统中的问句分类方法技术方案

本发明专利技术公开了一种计算机问答系统中的问句分类方法，基于用户的情境数据，对用户问句进行分类及预测。其主要包括：一是根据智能问答系统应用领域构建影响用户意图的上下文环境信息；二是通过用户画像构建、日志分析、传感器读取手段获取用户的情境信息数据；三是设计基于注意力机制的问题意图预测网络，将情境信息嵌入问题，形成考虑情境的问题分布式表示，带入模型进行预测；四是模型训练与预测。本方法解决了仅靠自然语言对话的问题的用户意图识别存在用户的问题可能表达不完整、不同的背景下问句表达涵义不同的问题，提高了意图识别的准确性。

A Question Classification Method in Computer Question Answering System

【技术实现步骤摘要】
一种计算机问答系统中的问句分类方法
本专利技术涉及自然语言智能问答
，特别涉及一种计算机问答系统中的问句分类方法。
技术介绍
聊天机器人、语音助手、自动客服等为人们的生活极大的便利的同时，也节约了一些行业的人力成本，是当前自然语言处理研究的热点。这些应用的成功不仅取决于语音内容的识别，更在于对句子含义的理解，称之为意图识别。意图识别旨在确定用户对话的意图，可以看成分类问题。事先在该领域在该领域定义各种可能的意图，再用分类方法将问句分到某类意图中，交给对话管理或任务管理器，就可以完成用户的需求或者生成相应领域的回应。相关问题在搜索引擎、智能问答等场景下有广泛的应用。意图识别，也就是意图分类，是一个典型的文本分类问题，所有传统的分类方法都可以使用，比如SVM，最大熵等，或者用一些深度学习的模型，如RNN(RecurrentNeuralNetwork)循环神经网络、CNN卷积神经网络(ConvolutionalNeuralNetworks,CNN)等。这类分类方法的一般步骤是，获取或者构造一批问句数据，对每条数据的意图进行标注，选取特定的算法进行训练，挖掘用户问句中隐含的特征，通过训练好的模型进行分类。然而，大部分的意图分类只是基于用户当前对话的，但在真实场景中，用户的问句在上下文或者环境背景下提出的。比如“明天呢？”，若前句问题是“今天还有没有去北京的高铁票”，那么用户意图是车票查询，若前句是“今天北京的天气怎么样”，那么用户意图是天气查询，比如用户想购买一件外套，根据气候和所处位置，有可能是一件夹克，也有可能是一件棉服；有时候一些词语本身就有歧义，如用户在购物时询问苹果的价格，可能是水果，也有可能是手机，这需要结合用户最近关注点来判断。因此，仅靠自然语言对话的问题的用户意图识别存在一些缺陷，一方面，用户的问题可能表达不完整，另一方面，在不同的背景下，同样的问句可能表达出不同的涵义，这些往往需要结合情境信息来辅助分类，包括上下文语境，用户个性化特征，用户所处的地理位置气候季节等等。
技术实现思路
本专利技术的目的在于提出一种计算机问答系统中的问句分类方法，实现任务驱动型问答系统的用户意图识别，使得系统能够将问句分到正确的任务执行引擎。本专利技术包括：获取待分类的问句，问句中包括问题，基于用户的情境数据，对问句进行分类预测，具体包括以下步骤：步骤1，构建用于对问句进行分类的用户情境模型(由于用户的情境数据很多，不利于计算机处理，因此需要定义一个统一的标准化的用户情境模型)；步骤2，基于用户情境模型，通过用户画像构建、日志分析、传感器读取手段获取用户的情境信息数据；步骤3，获取待分类的问句，并基于用户的情境信息数据，构建基于注意力机制的问题意图预测网络；步骤4，训练模型，并对问句进行分类预测。步骤1中所述的构建用户情境模型，是指根据问答系统需要定义的情境属性构建完整的情境信息描述，一组完整的情境信息ContextInfo需要从三个维度Y、H、E进行描述，表示如下：ContextInfo＝<Y、H、E>其中，每个维度的含义如下：Y表示用户情境信息；H表示历史情境信息；E表示环境情境信息；所述用户情境信息是指用户的基本信息与行为偏好，包括性别、年龄段、职业和领域偏好(共4个情境信息)；所述历史情境信息是指用户最近三轮对话中用户关注的意图领域(共3个情境信息)；所述环境情境信息是指用户所在的区域、温度、时间(共3个情境信息)。每个情境信息都用一个属性词表示，即最终情境信息的表示由10个词语组成。步骤3中，所述基于注意力机制的问题意图预测网络包含文本嵌入层、情境注意力层、模型层和输出层；其中，文本嵌入层用于将问题与情境中的每个词映射到高维向量空间；情境注意力层用于将情境信息嵌入问题，形成考虑情境的问题分布式表示G；模型层用于，使用G作为输入，采用双向LSTM，生成隐状态序列，获得输出矩阵M；(双向LSTM是深度学习网络中公知的模型方法，最初发表：AlexGraves和JurgenSchmidhuber，FramangularPhonemeClassificationwithBidirectionalLSTMandOtherNeuralNetworkArchitectures，2005)输出层用于预测用户意图各分类的概率分布p。所述文本嵌入层用于将问题与情境中的每个词映射到高维向量空间，具体包括：获取问句，问句中包括问题，问题和情境分别包含了若干词，使用GloVe预训练的词向量来获取问题与情境(即问句所处的情境)中每个词的向量表示，得到两个d维的向量序列，即两个矩阵：问题矩阵Q∈Rd×T和情境矩阵C∈Rd×j，其中d取正整数，一般自然语言处理任务取200，T与j分别表示问题中词的个数和情境中词的个数，R为实数；将表示结果Q和C输入到双向LSTM来建模词与词之间的时序交互，分别生成问题对应的隐状态向量序列H∈R2d×T和情境对应的隐状态向量序列U∈R2d×j；双向的LSTM进行拼接后，输出的隐状态向量序列H和U的维度变为输入的两倍，即2d。所述情境注意力层用于将情境信息嵌入问题，形成考虑情境的问题分布式表示，即情境到问题的注意力G，具体包括：步骤a1，通过关于问题对应的隐状态向量序列H和情境对应的隐状态向量序列U的相似度矩阵S∈Rt×j计算得到情境到问题的注意力G，相似度矩阵S的第t行第j列的元素为Stj，Stj表示问题中第t个词和情境中第j个词的相似度，Stj的计算公式为：Stj＝α(H:t,U:j)，其中，α是一个能够训练的标量函数，α的作用是对输入的两个向量衡量它们之间的相似度，H:t是H中的第t个列向量，U:j是U中的第j个列向量，采用如下公式计算两个输入的向量h和u的相似度α(h,u)：通过上式即能够得到H:t和U:j的相似度α(H:t,U:j)，其中，是一个能够训练的权重向量，*表示元素相乘，[；]表示对向量按行拼接；步骤a2，根据相似度矩阵S获取情境到问题的注意力G：通过b＝softmax(maxcol(S))∈RT来获得问题的注意力权重向量b，其中，maxcol()是在矩阵的每一列上取最大值的函数，之后，问题注意力向量为h～＝∑tbtH:t∈R2d，bt为b中第t个元素，此向量h～表示对于情境来说的问题中最重要词的加权和；对h～在列上复制T次，得到问题隐向量的加权矩阵H～∈R2d×T，对问题向量和注意力向量拼接产生矩阵G，矩阵G中每一列视为问题中每个词的感知了情境信息(即步骤1定义的情境信息)的表示，G的定义如下：其中，G:t是矩阵G中第t个列向量，对应情境中第t个词，是问题隐向量的加权矩阵H～中第t个列向量，β是一个能够训练的向量函数，β函数用于对输入的向量进行融合，dG则为β函数的输出维度，β函数定义为：β(h,h～,u)＝(h；h*h～；u)其中，β(h,h～,u)∈R6d×T，dG＝6d，h表示问题中的某个词对应的隐状态向量，h～表示问题注意力向量，U表示情境中某个词对应得隐状态向量；输出矩阵M∈R2d×T。输出层用于预测用户意图各分类的概率分布p：其中，是一个能够训练的权重向量，MLP为多层感知器(Multi-LayerPerception，即多层感知器)，将输入的T(问题中词的本文档来自技高网...

【技术保护点】
1.一种计算机问答系统中的问句分类方法，其特征在于，包括以下步骤：步骤1，构建用于对问句进行分类的用户情境模型；步骤2，基于用户情境模型，获取用户的情境信息数据；步骤3，获取待分类的问句，并基于用户的情境信息数据，构建基于注意力机制的问题意图预测网络；步骤4，训练模型，并对问句进行分类预测。

【技术特征摘要】
1.一种计算机问答系统中的问句分类方法，其特征在于，包括以下步骤：步骤1，构建用于对问句进行分类的用户情境模型；步骤2，基于用户情境模型，获取用户的情境信息数据；步骤3，获取待分类的问句，并基于用户的情境信息数据，构建基于注意力机制的问题意图预测网络；步骤4，训练模型，并对问句进行分类预测。2.如权利要求1所述的方法，其特征在于，步骤1中所述的构建用户情境模型，是指根据问答系统需要定义的情境属性构建完整的情境信息描述，一组完整的情境信息ContextInfo需要从三个维度Y、H、E进行描述，表示如下：ContextInfo＝<Y、H、E>其中，每个维度的含义如下：Y表示用户情境信息；H表示历史情境信息；E表示环境情境信息；所述用户情境信息是指用户的基本信息与行为偏好，包括性别、年龄段、职业和领域偏好；所述历史情境信息是指用户最近三轮对话中用户关注的意图领域；所述环境情境信息是指用户所在的区域、温度、时间；每个情境信息都用一个属性词表示，即最终情境信息的表示由10个词语组成。3.如权利要求2所述的方法，其特征在于，步骤3中，所述基于注意力机制的问题意图预测网络包含文本嵌入层、情境注意力层、模型层和输出层；其中，文本嵌入层用于将问题与情境中的每个词映射到高维向量空间；情境注意力层用于将情境信息嵌入问题，形成考虑情境的问题分布式表示G；模型层用于，使用G作为输入，采用双向LSTM，生成隐状态序列，获得输出矩阵M；输出层用于预测用户意图各分类的概率分布p。4.如权利要求3所述的方法，其特征在于，所述文本嵌入层用于将问题与情境中的每个词映射到高维向量空间，具体包括：获取待分类的问句，问句中包括问题，使用GloVe预训练的词向量来获取问题与情境中每个词的向量表示，得到两个d维的向量序列，即两个矩阵：问题矩阵Q∈Rd×T和情境矩阵C∈Rd×j，其中d取正整数，T与j分别表示问题中词的个数和情境中词的个数，R为实数；将表示结果Q和C输入到双向LSTM来建模词与词之间的时序交互，分别生成问题对应的隐状态向量序列H∈R2d×T和情境对应的隐状态向量序列U∈R2d×j；双向的LSTM进行拼接后，输出的隐状态向量序列H和U的维度变为输入的两倍，即2d。5.如权利要求4所述的方法，其特征在于，所述情境注意力层用于将情境信息嵌入问题，形成考虑情境的问题分布式表示，即情境到问题的注意力G，具体包括：步骤a1，通过关于问题对应的隐状态向量序列H和情境对应的隐状态向量序列U的相似度矩阵S∈Rt×j计算得到情境到问题的注意力G，相似度矩阵S的第t行第j列的元素为Stj，Stj表示问题中第t个词和情境中第j个词的相似度，Stj的计算公式为：Stj＝α(H：t，U：j)，其中，α是一个能够训练的标量函数，α的作用是对输入的两个向量衡量它们之间的相似度，H：t是H中的第t个列向量，U：j是U中的第j个列向量，采用如下公式计算两个输入的向量h和u的相似度α(h，u)：通过上式即能够得到H：t和U：j的相似度...

【专利技术属性】
技术研发人员：吴振锋，荀智德，陆辰，葛唯益，贺成龙，王振宇，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏,32