基于深度学习的单轮对话数据分类方法、装置和电子设备制造方法及图纸

本申请涉及基于深度学习的单轮对话数据分类方法、装置和电子设备。该方法包括：对获取的单轮对话数据进行词向量转化以获得所述单轮对话数据的词向量表示；通过双向长短期记忆层处理所述单轮对话数据的词向量表示以获得与所述单轮对话数据对应的隐状态序列；以注意力机制层对所述隐状态序列中的每个隐状态进行加权求和以获得与所述单轮对话数据对应的句子向量表达；以及，以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。这样，可以通过双向长短期记忆和注意力机制对单轮对话数据中的用户特征进行提取，从而改进单轮对话场景下的分类效果。

【技术实现步骤摘要】
基于深度学习的单轮对话数据分类方法、装置和电子设备
本专利技术总体地涉及数据处理领域，且更为具体地，涉及一种基于深度学习的单轮对话数据分类方法、装置和电子设备。
技术介绍
随着互联网技术的发展，越来越多的网站采用对话系统对用户进行服务。例如，在线票务预订网站或者在线购物网站通过与用户的在线对话来解决用户需求。在使用上述对话系统的过程中，为了提高服务效率，需要对用户输入进行大概分类。例如，可以通过用户意图分析确定预定场景下的用户意图，比如机票预订场景下的查询、订票、退票等意图。此外，还可能需要从用户的对话中获得其它信息，例如用户针对服务或者商品所要表达的主观情绪等。因此，如何基于对话系统中的用户数据，比如用户与系统之间的单轮对话数据挖掘出用户对于客观事物的感受，以更为全面地获取用户对于特定客观现实，比如事件或商品所要表达的主观信息，已逐渐成为当前自然语言处理领域的研究热点。因此，需要改进的用于对话系统的数据分类方案。
技术实现思路
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于深度学习的单轮对话数据分类方法、装置和电子设备，其通过双向长短期记忆和注意力机制对单轮对话数据中的用户特征进行提取，从而改进单轮对话场景下的分类效果。根据本申请的一方面，提供了一种基于深度学习的单轮对话数据分类方法，包括：对获取的单轮对话数据进行词向量转化以获得所述单轮对话数据的词向量表示；通过双向长短期记忆层处理所述单轮对话数据的词向量表示以获得与所述单轮对话数据对应的隐状态序列；以注意力机制层对所述隐状态序列中的每个隐状态进行加权求和以获得与所述单轮对话数据对应的句子向量表达；以及，以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。在上述基于深度学习的单轮对话数据分类方法中，在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后进一步包括：将与所述概率分布中最大概率对应的标签确定为所述单轮对话数据的分类结果。在上述基于深度学习的单轮对话数据分类方法中，所述标签是所述单轮对话数据所反映的用户意图，以及，对获取的单轮对话数据进行词向量转化以获得所述单轮对话数据的词向量表示包括：对所述单轮对话数据进行实体识别以获得所述单轮对话数据中每个词对应的实体标签；对所述单轮对话数据进行词性标注以获得所述单轮对话数据中每个词对应的词性标签；将所述单轮对话数据中的每个词及其实体标签和词性标签进行向量转化以获得所述每个词的词向量矩阵、所述实体标签的实体向量矩阵和所述词性标签的词性向量矩阵；以及，连接所述词向量矩阵、所述实体向量矩阵以及所述词性向量矩阵以获得所述单轮对话数据的词向量表示。在上述基于深度学习的单轮对话数据分类方法中，以注意力机制层对所述隐状态序列中的每个隐状态进行加权求和以获得与所述单轮对话数据对应的句子向量表达包括：计算所述每个隐状态的平均值以获得临时句子向量；基于每个隐状态和所述临时句子向量通过神经网络计算每个隐状态对应的权重；以及，基于所述每个隐状态对应的权重对所述隐状态序列进行加权求和以获得所述句子向量表达。在上述基于深度学习的单轮对话数据分类方法中，所述用于分类的逻辑回归模型是Softmax回归模型，以及，以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布包括：计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据；以及，将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。在上述基于深度学习的单轮对话数据分类方法中，以所述单轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可训练参数。根据本申请的另一方面，提供了一种基于深度学习的单轮对话数据分类装置，包括：词向量转化单元，用于对获取的单轮对话数据进行词向量转化以获得所述单轮对话数据的词向量表示；隐状态获得单元，用于通过双向长短期记忆层处理所述单轮对话数据的词向量表示以获得与所述单轮对话数据对应的隐状态序列；句子向量获得单元，用于以注意力机制层对所述隐状态序列中的每个隐状态进行加权求和以获得与所述单轮对话数据对应的句子向量表达；以及，分类单元，用于以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。在上述基于深度学习的单轮对话数据分类装置中，所述分类单元用于：在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后，将与所述概率分布中最大概率对应的标签确定为所述单轮对话数据的分类结果。在上述基于深度学习的单轮对话数据分类装置中，所述标签是所述单轮对话数据所反映的用户意图，以及，所述词向量转化单元用于：对所述单轮对话数据进行实体识别以获得所述单轮对话数据中每个词对应的实体标签；对所述单轮对话数据进行词性标注以获得所述单轮对话数据中每个词对应的词性标签；将所述单轮对话数据中的每个词及其实体标签和词性标签进行向量转化以获得所述每个词的词向量矩阵、所述实体标签的实体向量矩阵和所述词性标签的词性向量矩阵；以及，连接所述词向量矩阵、所述实体向量矩阵以及所述词性向量矩阵以获得所述单轮对话数据的词向量表示。在上述基于深度学习的单轮对话数据分类装置中，所述句子向量获得单元用于：计算所述每个隐状态的平均值以获得临时句子向量；基于每个隐状态和所述临时句子向量通过神经网络计算每个隐状态对应的权重；以及，基于所述每个隐状态对应的权重对所述隐状态序列进行加权求和以获得所述句子向量表达。在上述基于深度学习的单轮对话数据分类装置中，所述用于分类的逻辑回归模型是Softmax回归模型，以及，所述分类单元用于：计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据；以及，将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。在上述基于深度学习的单轮对话数据分类装置中，以所述单轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可训练参数。根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于深度学习的单轮对话数据分类方法。根据本申请的又一方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如上所述的基于深度学习的单轮对话数据分类方法。本申请提供的基于深度学习的单轮对话数据分类方法、装置和电子设备，可以通过双向长短期记忆网络和注意力机制对单轮对话数据中的用户特征进行提取，从而改进单轮对话场景下的分类效果。附图说明从下面结合附图对本专利技术实施例的详细描述中，本专利技术的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：图1图示了根据本申请实施例的基于深度本文档来自技高网...

【技术保护点】
1.一种基于深度学习的单轮对话数据分类方法，包括：对获取的单轮对话数据进行词向量转化以获得所述单轮对话数据的词向量表示；通过双向长短期记忆层处理所述单轮对话数据的词向量表示以获得与所述单轮对话数据对应的隐状态序列；以注意力机制层对所述隐状态序列中的每个隐状态进行加权求和以获得与所述单轮对话数据对应的句子向量表达；以及以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。

【技术特征摘要】
1.一种基于深度学习的单轮对话数据分类方法，包括：对获取的单轮对话数据进行词向量转化以获得所述单轮对话数据的词向量表示；通过双向长短期记忆层处理所述单轮对话数据的词向量表示以获得与所述单轮对话数据对应的隐状态序列；以注意力机制层对所述隐状态序列中的每个隐状态进行加权求和以获得与所述单轮对话数据对应的句子向量表达；以及以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。2.如权利要求1所述的基于深度学习的单轮对话数据分类方法，其中，在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后进一步包括：将与所述概率分布中最大概率对应的标签确定为所述单轮对话数据的分类结果。3.如权利要求1所述的基于深度学习的单轮对话数据分类方法，其中，所述标签是所述单轮对话数据所反映的用户意图，以及对获取的单轮对话数据进行词向量转化以获得所述单轮对话数据的词向量表示包括：对所述单轮对话数据进行实体识别以获得所述单轮对话数据中每个词对应的实体标签；对所述单轮对话数据进行词性标注以获得所述单轮对话数据中每个词对应的词性标签；将所述单轮对话数据中的每个词及其实体标签和词性标签进行向量转化以获得所述每个词的词向量矩阵、所述实体标签的实体向量矩阵和所述词性标签的词性向量矩阵；以及连接所述词向量矩阵、所述实体向量矩阵以及所述词性向量矩阵以获得所述单轮对话数据的词向量表示。4.如权利要求1所述的基于深度学习的单轮对话数据分类方法，其中，以注意力机制层对所述隐状态序列中的每个隐状态进行加权求和以获得与所述单轮对话数据对应的句子向量表达包括：计算所述每个隐状态的平均值以获得临时句子向量；基于每个隐状态和所述临时句子向量通过神经网络计算每个隐状态对应的权重；以及基于所述每个隐状态对应的权重对所述隐状态序列进行加权求和以获得所述句子向量表达。5.如权利要求1所述的基于深度学习的单轮对话数据分类方法，其中，所述用于...

【专利技术属性】
技术研发人员：杨鹏，
申请(专利权)人：北京慧闻科技发展有限公司，
类型：发明
国别省市：北京,11