基于N-GRAM和WFST模型的人工神经网络芯片及其应用方法技术

本公开提供了一种基于深度神经网络的自动聊天方法，包括以下步骤：获取用户输入信息，并经深度神经网络编码器生成固定长度向量；所述固定长度向量输入attention模型之后输出分数；根据所述分数判定经由attention模型或自然模型生成与所述输入信息对应的答复信息；其中，若所述分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经由attention模型生成与所述输入信息对应的答复信息。本公开还提供了一种基于深度神经网络的自动聊天机器人。本公开基于深度神经网络的自动聊天方法及机器人保证了聊天过程中答复信息的准确性，使得聊天内容更切合实际。

Artificial neural network chip based on N-GRAM and WFST model and its application method

The present disclosure provides an automatic chat method based on a deep neural network, including the following steps: obtaining the user input information and generating a fixed length vector through a deep neural network encoder; the fixed length vector outputs a fraction after the input of the attention model, and is determined via the attention model or self according to the fraction. The model generates response information corresponding to the input information, in which, if the fraction is less than a fraction threshold, the language model is entered and the reply information corresponding to the input information is generated by the language model; conversely, the response information corresponding to the input information is generated directly via the attention model. The present disclosure also provides an automatic chatting robot based on deep neural network. The automatic chatting method based on the deep neural network and the robot guarantee the accuracy of the reply information in the chat process, making the chat content more realistic.

【技术实现步骤摘要】
基于N-GRAM和WFST模型的人工神经网络芯片及其应用方法
本公开涉及人工智能
，尤其涉及一种基于深度神经网络的自动聊天方法及机器人。
技术介绍
近年来，随着人工智能的迅速发展，聊天机器人也受到了学术界和工业界的广泛关注。但是，传统的聊天机器人也存在着面临着很多问题，例如对话无法产生具体的含义，前后文没有承接逻辑，无法满足使用需求。特别是，目前我国正在快速进入老龄化社会。在未来社会，如何养老将会是一个巨大的社会与经济问题。现在的养老模式多采用护理人员陪伴老人聊天的方式，从而达到为老人提供陪伴聊天服务，提供老年人情感上的慰藉。而人工的去和老年人聊天将会占用大量的人力物力，如果将和老年人聊天这一服务使用聊天机器人完成，将会有巨大的经济和社会效益。然而传统的聊天机器人无法很好的满足老年人的情感需要。老年人会发现自己在和机器对话，从而不喜欢这些聊天。
技术实现思路
(一)要解决的技术问题为了解决或者至少部分缓解上述技术问题，本公开提供了一种基于深度神经网络的自动聊天方法及机器人。(二)技术方案根据本公开的一个方面，提供了一种基于深度神经网络的自动聊天方法，包括以下步骤：获取用户输入信息，并经深度神经网络编码器生成固定长度向量；所述固定长度向量输入attention模型之后输出分数；以及根据所述分数判定经由attention模型或自然模型生成与所述输入信息对应的答复信息；其中，若所述分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经由attention模型生成与所述输入信息对应的答复信息。在一些实施例中，所述attention模型为包括一或多个神经网络层的深度神经网络，所述固定长度向量输入attention模型之后输出全部可能答复信息所对应的分数，选择最高分数所对应的答复信息作为最终答复信息。在一些实施例中，所述attention模型中包括全连接层和softmax层；所述固定长度向量在attention模型中作向量/矩阵乘法和/或加法运算从而输出所述分数。在一些实施例中，所述attention模型包括多个attention子模型，分别采用不同类别预料训练而成；该多个attention子模型并联连接，固定长度向量分别输入所述多个attention子模型中的神经网络后输出多个分数，若所述多个分数中的最高分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经attention模型生成与所述输入信息对应的答复信息。在一些实施例中，所述多个attention子模型包括：第一attention子模型，其包括全连接层神经网络、softmax层神经网络及卷积层神经网络，采用日常生活类别语料进行训练；第二attention子模型，其包括卷积层、全连接层、池化层及batchnorm层神经网络，采用时事新闻类别语料进行训练；第三attention子模型，其包括全连接层神经网络、池化层神经网络、softmax层神经网络及卷积层神经网络，采用心灵情感类别语料进行训练。在一些实施例中，所述attention模型包括多个attention子模型；在经由attention模型生成与所述输入信息对应的答复信息时，对所述多个attention子模型输出的分数进行比较，选择最高分数所对应的attention子模型作为生成答复信息的最终模型。在一些实施例中，利用N-GRAM、WFST生成所述语言模型；在语言模型中，使用A*搜索、束搜索生成与所述输入信息对应的答复信息。在一些实施例中，所述自然模型以文字的形式生成答复信息，语言模型在每一次迭代中产生所有待选文字新的分数，由此迭代完成后会生成一个时间序列上的所有文字的搜索空间，在该搜索空间中根据编码器产生的固定长度向量得到最终唯一的输出结果。根据本公开的另一个方面，提供了一种基于深度神经网络的自动聊天机器人，包括：预处理模块，用于获取用户输入信息，并通过一深度神经网络编码器对所述输入信息进行预处理，生成固定长度向量；处理模块：用于接收所述固定长度向量，并利用attention模型输出分数；以及判定及生成模块，用于根据所述分数判定经由attention模型或自然模型生成与所述输入信息对应的答复信息；其中，若所述分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经由attention模型生成与所述输入信息对应的答复信息。在一些实施例中，所述attention模型为包括一或多个神经网络层的深度神经网络，所述固定长度向量输入attention模型之后输出全部可能答复信息所对应的分数，选择最高分数所对应的答复信息作为最终答复信息。(三)有益效果从上述技术方案可以看出，本公开基于深度神经网络的自动聊天方法及机器人至少具有以下有益效果其中之一：(1)由于本公开自动聊天方法及机器人为基于深度神经网络的自动聊天机器人，因而可以通过训练过程中更新权值，保证了聊天过程中答复信息的准确性，使对话更加真实。(2)本公开由于本公开自动聊天方法及机器人，根据attention模型输出的分数或判定经由attention模型或自然模型生成与所述输入信息对应的答复信息，充分考虑了聊天过程中输入信息的具体内容，并对其常用及生僻性进行区分，然后分别采用不同的模型来生成答复信息，使得聊天内容更切合实际。(3)随着人工智能技术，特别是深度神经网络技术的发展，智能聊天机器人正逐步越来越多的活跃在人们的日常生活中，本公开将传统的人工陪伴聊天通过最新的人工智能计数将之自动化，有效的解决了人工成本的同时带来极高的经济效益，将传统需要人来完成的任务通过技术手段赋予了计算机聊天的功能。(4)本公开充分考虑了聊天对象群体的聊天内容特点，例如针对老年人这一群体，可以结合老年人聊天的特点对其输入信息进行区分，引入了attention模型和语言模型共同处理LSTM神经网络处理后的固定长度向量；利用attention模型处理老年人聊天中较常出现的语料，使用语言模型处理老年人聊天中较少出现的语料，并使用分数作为使用attention模型还是语言模型的判定，使得聊天内容更切合实际；可以做到聊天过程中含有逻辑等具体含义的功能，更加满足老年人的情感需要，使他们愿意和聊天机器人对话。附图说明图1是本公开神经网络训练过程示意图。图2是本公开自动聊天方法流程图。图3是本公开自动聊天机器人方块图。具体实施方式为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开作进一步的详细说明。需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属
中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。此外，以下实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本公开。本公开提供了一种基于深度神经网络的自动聊天方法，所述基于深度神经网络的自动聊天方法包括以下步骤：S1，获取用户输入信息本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的自动聊天方法，包括以下步骤：获取用户输入信息，并经深度神经网络编码器生成固定长度向量；所述固定长度向量输入attention模型之后输出分数；以及根据所述分数判定经由attention模型或自然模型生成与所述输入信息对应的答复信息；其中，若所述分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经由attention模型生成与所述输入信息对应的答复信息。

【技术特征摘要】
2017.11.30 CN 20171124037361.一种基于深度神经网络的自动聊天方法，包括以下步骤：获取用户输入信息，并经深度神经网络编码器生成固定长度向量；所述固定长度向量输入attention模型之后输出分数；以及根据所述分数判定经由attention模型或自然模型生成与所述输入信息对应的答复信息；其中，若所述分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经由attention模型生成与所述输入信息对应的答复信息。2.根据权利要求1所述的基于深度神经网络的自动聊天方法，其中，所述attention模型为包括一或多个神经网络层的深度神经网络，所述固定长度向量输入attention模型之后输出全部可能答复信息所对应的分数，选择最高分数所对应的答复信息作为最终答复信息。3.根据权利要求2所述的基于深度神经网络的自动聊天方法，其中，所述attention模型中包括全连接层和softmax层；所述固定长度向量在attention模型中作向量/矩阵乘法和/或加法运算从而输出所述分数。4.根据权利要求1所述的基于深度神经网络的自动聊天方法，其中，所述attention模型包括多个attention子模型，分别采用不同类别预料训练而成；所述多个attention子模型并联连接，固定长度向量分别输入所述多个attention子模型中的神经网络后输出多个分数，若所述多个分数中的最高分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经attention模型生成与所述输入信息对应的答复信息。5.根据权利要求1所述的基于深度神经网络的自动聊天方法，其中，所述多个attention子模型包括：第一attention子模型，其包括全连接层神经网络、softmax层神经网络及卷积层神经网络，采用日常生活类别语料进行训练；第二attention子模型，其包括卷积层、全连接层、池...

【专利技术属性】
技术研发人员：于涌，陈云霁，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11