一种LSTM神经网络训练方法及装置制造方法及图纸

本发明专利技术公开了一种LSTM神经网络训练方法及装置，本发明专利技术的目的在于提供一种基于文本感知聚焦机制的长短时记忆网络训练方法。该发明专利技术将人类感知事物时对关键信息形成聚焦，给予更多注意力权重的机理用于神经网络模型训练；将词向量模式应用于文本中实体关系、事件等关键信息，计算实体向量和事件向量，对训练数据进行实体增强、关系增强和事件增强，在不改变网络结构的前提下，增加训练数据中关键信息的比重，从而获得更加适用于训练数据的网络参数，提升LSTM神经网络性能。

A training method and device of LSTM neural network

【技术实现步骤摘要】
一种LSTM神经网络训练方法及装置
本专利技术涉及自然语言处理和人工智能领域，特别涉及一种LSTM神经网络训练方法及装置。
技术介绍
深度学习技术作为人工智能“连接主义”学派的代表，近年来在语音、视觉、自然语言处理等领域取得了令人瞩目的成就，并已在互联网、安防、教育、医疗、工业制造等行业实现了落地。人类产生的数据中包含大量时间序列，如语音信号、音频信号、文本、金融数据、设备日志等，这些数据存在时间维度上的前后关系。卷积神经网络RNN(RecurrentNeuralNetwork)因此被专利技术，通过将每时刻的隐藏状态传递给下一时刻来“记忆”之前的信息，进而获得对时序数据进行学习的能力。目前，基于RNN神经网络已出现了语音识别、机器翻译、乐曲生成、文本生成、情感分析、DNA序列分析、视频行为识别、命名实体识别、文本分类等多个应用。然而，对于较长的时序数据，逐层的记忆传递会因为参数矩阵的谱范数以及激活函数导数的累乘而出现疾速下降，出现“梯度消失”，最终无法保留长时间的信息。在RNN网络的基础上，Hochreater和Schmidhu本文档来自技高网...

【技术保护点】
1.一种LSTM神经网络训练方法，包括由无标注文本生成的训练数据，其特征在于：将无标注文本中的关键词处理后根据关键词对训练数据进行加权，提升训练数据对特征信息的携带能力，将加权后的训练数据用于LSTM神经网络训练。/n

【技术特征摘要】
1.一种LSTM神经网络训练方法，包括由无标注文本生成的训练数据，其特征在于：将无标注文本中的关键词处理后根据关键词对训练数据进行加权，提升训练数据对特征信息的携带能力，将加权后的训练数据用于LSTM神经网络训练。


2.根据权利要求1所述的一种LSTM神经网络训练方法，其特征在于：所述由无标注文本生成的训练数据，将无标注文本中的关键词处理后根据关键词对训练数据进行加权，提升训练数据对特征信息的携带能力，将加权后的训练数据用于LSTM神经网络训练的方法包括以下步骤：
S1、将无标注文本作为训练文本，对训练文本进行预处理；
S2、对预处理后的训练文本进行识别，生成训练文本的关键词；
S3、对训练文本中的词语进行编码，得到高维空间连续词向量，对关键词进行同样的编码得到关键词向量；
S4、将关键词向量添加至对应的词向量对词向量进行加权得到最终的训练数据；
S5、将最终的训练数据输入LSTM神经网络进行训练。


3.根据权利要求2所述的一种LSTM神经网络训练方法，其特征在于：所述步骤S1中对训练文本进行预处理的方法包括清洗、分词、去停用词中的至少一种。


4.根据权利要求2所述的一种LSTM神经网络训练方法，其特征在于：所述步骤S2中的关键词包括实体关键词、关系关键词和事件关键词。...

【专利技术属性】
技术研发人员：曾理，王纯斌，蓝科，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川;51