一种能利用事件持续时间的高效LSTM设计方法技术

本发明专利技术公开了一种能利用事件持续时间的高效LSTM设计方法，提出使用基于事件持续时间的序列编码方法，将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入；通过高效LSTM隐藏层神经元记忆更新方法，使神经元能够记忆事件的持续时间，同时合理高效地进行神经元的计算。针对现有循环神经网络LSTM单元在处理长序列时，不能有效利用序列中事件的持续时间信息、导致计算冗余，训练时间开销大的问题，设计了一种能利用事件持续时间的高效LSTM结构；包括基于事件持续时间的序列编码方法和高效LSTM隐藏层神经元记忆更新方法，本发明专利技术模拟生物神经元对外界激励的应激模式，在利用事件持续时间建模的同时有效减少了LSTM隐藏层神经元的冗余计算，提高了LSTM的训练效率，从而保证在处理长序列时LSTM模型的有效性和实用性。

An efficient LSTM design method using event duration

The invention discloses an efficient LSTM design method which can utilize the event duration, and proposes a sequence coding method based on the event duration, in which the event and its duration information contained in the sequence data are used as the input of the LSTM network at various times, and the memory updating method of the LSTM hidden layer neurons is used to update the memory of the LSTM hidden layer. Neurons can memorize the duration of events and reasonably and efficiently calculate neurons. Aiming at the problem that the existing cyclic neural network LSTM units can not effectively utilize the duration information of events in a long sequence, which leads to computational redundancy and high training time overhead, an efficient LSTM structure is designed, which can utilize the duration of events, including sequence coding method based on the duration of events and high efficiency. The memory updating method of LSTM hidden layer neurons, which simulates the stress mode of biological neurons to external excitation, effectively reduces the redundant calculation of LSTM hidden layer neurons while modeling the event duration, and improves the training efficiency of LSTM, thus guaranteeing the effectiveness and practicality of LSTM model in processing long sequences. Sex.

【技术实现步骤摘要】
一种能利用事件持续时间的高效LSTM设计方法
本专利技术涉及人工智能深度学习领域,尤其涉及一种能利用事件持续时间的高效LSTM设计方法。
技术介绍
近年来，随着多媒体技术、社交网络的快速发展，多媒体数据(图像、视频)呈爆发式的增长，人工实现海量数据的分类、标注已经变得不现实，需要借助人工智能技术实现多媒体数据的智能分析、理解。深度学习技术在机器视觉、语音识别、自然语言处理等领域取得了很大的成功。其中，循环神经网络(RNN)在网络结构中加入了记忆单元，使得模型能够充分利用上下文信息，很好地处理序列化问题。但是传统的RNN存在梯度消失与梯度爆炸的问题，在较长序列的处理方面不能取得很好的效果；LSTM神经网络作为RNN的一种变体，不仅能够利用上下文的信息，并且还能通过其自身的门控机制获取更长的历史信息，解决了传统RNN面临的梯度消失的问题。通常RNN/LSTM处理序列化数据时，不考虑输入状态的持续时间，在各输入时刻以相同的方式计算隐藏层神经元的单元状态，即神经元的记忆，没有考虑到这种处理方式在网络输入状态持续不变的情况下会造成大量冗余的隐藏层计算。当需要处理的序列长度较长时，这一问题将更加突出。隐藏层状态更新会涉及到大量的矩阵运算，导致循环神经网络的训练时间过长，训练效率降低。当序列中包含多个事件时，利用事件具有时间持续的特点，可以将事件持续时间属性作为LSTM建模和隐藏层神经元计算的一个重要考虑因素，也是提高RNN/LSTM训练效率的一个关键。
技术实现思路
本专利技术的目的在于提供一种能利用事件持续时间的高效LSTM设计方法，以解决现有LSTM无法有效利用序列中事件的时间持续属性进行建模、冗余的神经元更新导致的计算量大、神经网络训练效率低的问题，提高LSTM模型的训练效率和实用性。一种能利用事件持续时间的高效LSTM设计方法，包括以下步骤：步骤1，使用基于事件持续时间的序列编码方法，将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入；步骤2，通过高效LSTM隐藏层神经元记忆更新方法，使神经元能够记忆事件的持续时间，合理高效地进行神经元的计算。进一步，所述步骤1中，获得各时刻LSTM网络的输入的方法主要包括以下步骤：步骤1.1，使用α表示序列数据的采样间隔时间，每隔时间间隔α对序列进行采样并由此构建输入高效LSTM的序列编码；步骤1.2，为了表示序列数据中包含的所有事件和事件的起止时间，使用N维向量xt表示高效LSTM在输入时刻t的输入编码，即编码向量，其中N为所有事件的种类，向量xt中的每一元素分别对应一种事件；步骤1.3，在输入时刻t，判断对应的采样时刻是否有事件j发生，若有，则向量xt中的第j位置置为1；若无，向量xt中的第j位置置为0；由此得到的编码向量xt，即为各时刻LSTM网络的输入。进一步，所述步骤2中，高效LSTM隐藏层神经元记忆更新方法主要包括以下步骤：步骤2.1，确定LSTM单元中的掩门maskgate和时长duration，maskgate的开、关由网络各时刻输入的变化情况决定，若某一时刻的编码向量xt与上一时刻xt-1不同，则说明序列在t时刻事件状态发生了改变，此时隐藏层神经元及时更新记忆，maskgate打开；若编码向量xt与xt-1相同，则说明序列在t和t-1时刻的事件状态一致，此时神经元记忆无需更新，maskgate关闭，进入保持阶段；每当记忆保持的持续时间增加一个时刻，duration的值增1；步骤2.2根据各时刻的maskgate和duration，使用门控选择更新方法计算隐藏层神经元记忆和输出。进一步，所述maskgate和duration的计算方法分别如下：其中，mt表示t时刻的maskgate，xt和xt-1分别表示t和t-1时刻的编码向量，dt表示t时刻的duration，在每个记忆保持时刻，duration的值持续累积。进一步，所述步骤2.2中门控选择更新方法主要包括以下步骤：步骤2.2.1根据输入编码xt和上一时刻隐藏层输出ht-1，计算LSTM单元的遗忘门ft、输入门it、输出门ot和当前隐藏层的输入c_int，计算方法分别如下：it＝σ(Wxixt+Whiht-1+bi)ft＝σ(Wxfxt+Whfht-1+bf)ot＝σ(Wxoxt+Whoht-1+bo)其中，Wxi和Whi是输入门权重矩阵，Wxf和Whf是遗忘门权重矩阵，Wxo和Who是输出门权重矩阵，Wxc和Whc为当前隐藏层权重矩阵，bi、bf、bo、分别是输入门，遗忘门，输出门和输入的偏置，σ是sigmoid函数，tanh函数为输入的激活函数。步骤2.2.2根据maskgate、duration、遗忘门ft、输入门it、输出门ot和上一时刻神经元的记忆，高效计算隐藏层新的记忆和输出，计算方法分别如下：其中，☉为Hadamard积，ct,ht分别表示t时刻隐藏层神经元的记忆和输出，为t-dt+1时刻记忆，为t时刻神经元记忆参考值，c_int为t时刻隐藏层神经元的输入，为t时刻神经元输出参考值，为t-dt+1时刻神经元输出，1为1向量；由于受mt的控制，只在mt＝1时，ct和ht被更新为和mt＝0时，无需计算和和将利用之前最近一次更新的状态和duration进行计算。本专利技术的有益效果：1、本专利技术利用序列数据中事件的持续时间这一属性，构建了具有maskgate和duration的新型LSTM单元，与现有LSTM模型在每个输入时刻都更新隐藏层神经元记忆的方法不同；2、利用事件持续时间的高效LSTM设计方法，根据网络输入状态的变化有选择地进行神经元记忆更新，使得隐藏层神经元记忆事件持续时间的同时避免了在输入状态不变时不必要的隐藏层计算，减少了大规模的矩阵计算量，提高了LSTM模型的训练效率；尤其在处理长序列时，效率的提高也保证了LSTM方法的有效性和可用性。附图说明图1为高效LSTM的工作流程图；图2为高效LSTM单元结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。实施例1：如图1所示，一种能利用事件持续时间的高效LSTM设计方法，包括参数初始化模块、基于事件持续时间的序列编码模块和高效LSTM隐藏层神经元记忆更新模块；其中，参数初始化模块作用是对高效LSTM模型中的所有参数进行初始化；基于事件持续时间的序列编码模块作用是将序列在各采样时间点的事件及其持续时间信息进行编码作为LSTM网络每一时刻的输入；高效LSTM隐藏层神经元记忆更新模块作用是根据各时刻输入编码xt，将神经元记忆的更新与LSTM输入状态的变化相关联，计算mt，dt，ct和ht，有选择地更新it，ft，ot，c_int，和从而能够根据网络输入状态的变化有选择地进行神经元记忆更新，避免了在输入状态不变时不必要的隐藏层计算，减少了大规模的矩阵计算量，提高了LSTM模型的训练效率。实施例2：以一个视频为例，它由多个时序关联的事件组成，每个视频事件都有各自的起止时间，会持续一段时间，有些事件还可能在时间上重叠。当前视频中共有AC1、AC2和AC3三个事件，故所有事件的种类N＝3。AC1的持本文档来自技高网...

【技术保护点】
1.一种能利用事件持续时间的高效LSTM设计方法，其特征在于，包括以下步骤：步骤1，使用基于事件持续时间的序列编码方法，将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入；步骤2，通过高效LSTM隐藏层神经元记忆更新方法，使神经元能够记忆事件的持续时间，合理高效地进行神经元的计算。

【技术特征摘要】
1.一种能利用事件持续时间的高效LSTM设计方法，其特征在于，包括以下步骤：步骤1，使用基于事件持续时间的序列编码方法，将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入；步骤2，通过高效LSTM隐藏层神经元记忆更新方法，使神经元能够记忆事件的持续时间，合理高效地进行神经元的计算。2.根据权利要求1所述的一种能利用事件持续时间的高效LSTM设计方法，其特征在于，所述步骤1中，获得各时刻LSTM网络的输入的方法包括以下步骤：步骤1.1，每隔时间间隔α对序列进行采样并由此构建输入高效LSTM的序列编码；步骤1.2，使用N维向量xt表示高效LSTM在输入时刻t的输入编码，即编码向量，其中N为所有事件的种类，向量xt中的每一元素分别对应一种事件；步骤1.3，在输入时刻t，判断对应的采样时刻是否有事件j发生，若有，则向量xt中的第j位置置为1；若无，向量xt中的第j位置置为0；由此得到的编码向量xt，即为各时刻LSTM网络的输入。3.根据权利要求1所述的一种能利用事件持续时间的高效LSTM设计方法，其特征在于：所述步骤2中，高效LSTM隐藏层神经元记忆更新方法包括以下步骤：步骤2.1，确定LSTM单元中的掩门maskgate和时长duration，maskgate的开、关由网络各时刻输入的变化情况决定，若某一时刻的编码向量xt与上一时刻xt-1不同，此时隐藏层神经元及时更新记忆，maskgate打开；若编码向量xt与xt-1相同，此时神经元记忆无需更新，maskgate关闭，进入保持阶段；每当记忆保持的持续时间增加一个时刻，duration的值增1；步骤2.2，根据各时刻的maskgate和duration，使用门控选择更新方法计算隐藏层神经元记忆和输出。4.根据权...

【专利技术属性】
技术研发人员：牛德姣，刘亚文，蔡涛，夏政，刘天泉，詹毕晟，詹永照，梁军，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32