信息提取方法及装置、处理核、电子设备、可读介质制造方法及图纸

本公开提供了一种信息提取方法，该方法包括：从序列数据集获取序列数据，对当前序列数据进行短时记忆信息提取，得到当前容易遗忘的短时记忆信息和当前容易记忆的短时记忆信息；基于当前容易遗忘的短时记忆信息、当前容易记忆的短时记忆信息和当前序列数据进行长时记忆信息提取，得到当前的长时记忆信息；获取选择性遗忘信息，结合当前的长时记忆信息和选择性遗忘信息，得到当前序列数据的信息提取结果；从序列数据集获取下一序列数据，直到获取次数等于序列数据集的序列数据总数，并将获取的最后一个序列数据的信息提取结果，作为序列数据集的信息提取结果。本公开还提供了一种信息提取装置、处理核、电子设备、可读介质。可读介质。可读介质。

【技术实现步骤摘要】
信息提取方法及装置、处理核、电子设备、可读介质


[0001]本公开涉及处理器
，特别涉及一种信息提取方法及装置、处理核、电子设备、可读介质。

技术介绍

[0002]循环神经网络(Recurrent Neural Network，RNN)是用于处理序列数据的神经网络。当前，循环神经网络被广泛应用于自然语言处理、视频数据处理和音频数据处理等领域。
[0003]循环神经网络在进行数据处理时，需要从输入的序列数据中提取长短时序列信息的提取，从而获取所输入序列数据的上下文语义。由于在使用循环神经网络时，循环神经网络中多层隐含层的叠加会导致梯度爆炸或梯度消失，影响网络学习性能。

技术实现思路

[0004]本公开提供一种信息提取方法及装置、处理核、电子设备、可读介质。
[0005]第一方面，本公开提供了一种信息提取方法，该信息提取方法包括：从序列数据集获取序列数据，对获取的当前序列数据进行短时记忆信息提取，得到当前容易遗忘的短时记忆信息和当前容易记忆的短时记忆信息；基于当前容易遗忘的短时记忆信息、当前容易记忆的短时记忆信息和当前序列数据进行长时记忆信息提取，得到当前的长时记忆信息；获取与当前容易记忆的短时记忆信息对应的选择性遗忘信息，并结合当前的长时记忆信息和选择性遗忘信息，得到当前序列数据的信息提取结果；从序列数据集获取下一序列数据，直到获取次数等于序列数据集的序列数据总数，并将获取的最后一个序列数据的信息提取结果，作为序列数据集的信息提取结果。
[0006]第二方面，本公开提供了一种信息提取装置，该信息提取装置包括：短时信息提取模块，用于从序列数据集获取序列数据，对获取的当前序列数据进行短时记忆信息提取，得到当前容易遗忘的短时记忆信息和当前容易记忆的短时记忆信息；长时信息提取模块，用于基于当前容易遗忘的短时记忆信息、当前容易记忆的短时记忆信息和当前序列数据进行长时记忆信息提取，得到当前的长时记忆信息；信息结合模块，用于获取与当前容易记忆的短时记忆信息对应的选择性遗忘信息，并结合当前的长时记忆信息和选择性遗忘信息，得到当前序列数据的信息提取结果；结果确定模块，用于从序列数据集获取下一序列数据，直到获取次数等于序列数据集的序列数据总数，并将获取的最后一个序列数据的信息提取结果，作为序列数据集的信息提取结果。。
[0007]第三方面，本公开提供了一种处理核，该处理核包括上述的信息提取装置。
[0008]第四方面，本公开提供了一种电子设备，该电子设备包括：多个处理核；以及，片上网络，被配置为交互多个处理核间的数据和外部数据；其中，一个或多个处理核中存储有一个或多个指令，一个或多个指令被一个或多个处理核执行，以使一个或多个处理核能够执行上述的信息提取方法。
[0009]第五方面，本公开提供了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序在被处理核执行时实现上述的信息提取方法。
[0010]本公开所提供的信息提取方法及装置、处理核、电子设备、可读介质，对每个当前序列数据可以进行一次短时记忆信息提取，即每个时间步，都会补充一个短时的记忆激励，然后再根据短时记忆信息提取结果和当前序列数据进行长时记忆信息提取，并将当前的短时记忆信息和长时记忆信息融合，得到当前序列数据的信息提取结果，从而可以让整个记忆留存的比例更高，提升长短时记忆信息提取能力；并且，本公开实施例中的短时记忆信息的提取相对独立，即短时记忆信息的提取并不依赖前一序列数据的记忆信息，因此可以进行并行计算，从而解决具有门控单元的循环神经网络计算效率不高的问题，提高计算效率。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0013]图1为本公开实施例提供的一种信息提取方法的流程图；
[0014]图2示出本公开实施例提供的短时记忆信息提取的具体流程图；
[0015]图3示出本公开实施例提供的长时记忆信息提取的具体流程图；
[0016]图4示出本公开实施例提供的更新记忆状态的具体流程图；
[0017]图5示出本公开实施例提供的脉冲记忆循环单元的网络结构示意图；
[0018]图6示出本公开实施例提供的多层脉冲记忆循环网络示意图；
[0019]图7示出本公开实施例提供的双向脉冲记忆循环网络示意图；
[0020]图8示出本公开实施例中脉冲记忆循环单元的长短时记忆融合曲线；
[0021]图9为本公开实施例提供的一种信息提取装置的组成框图；
[0022]图10为本公开实施例提供的一种电子设备的组成框图。
具体实施方式
[0023]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0024]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0025]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0026]本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件
和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0027]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0028]在本公开实施例中，循环神经网络可以用于处理时序数据。时序数据可以理解为是具有时间序列特性的数据，例如按照时间顺序记录、具有逻辑顺序、或者上下文信息具有关联性的数据。
[0029]在自然语言处理(Natural Language Processing，NLP)领域、音频处理领域和视频处理领域，可以通过循环神经网络对文本数据、视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息提取方法，包括：从序列数据集获取序列数据，对获取的当前序列数据进行短时记忆信息提取，得到当前容易遗忘的短时记忆信息和当前容易记忆的短时记忆信息；基于当前容易遗忘的短时记忆信息、当前容易记忆的短时记忆信息和当前序列数据进行长时记忆信息提取，得到当前的长时记忆信息；获取与当前容易记忆的短时记忆信息对应的选择性遗忘信息，并结合当前的长时记忆信息和所述选择性遗忘信息，得到当前序列数据的信息提取结果；从所述序列数据集获取下一序列数据，直到获取次数等于所述序列数据集的序列数据总数，并将获取的最后一个序列数据的信息提取结果，作为所述序列数据集的信息提取结果。2.根据权利要求1所述的方法，其特征在于，所述对获取的当前序列数据进行短时记忆信息提取，得到当前容易遗忘的短时记忆信息和当前容易记忆的短时记忆信息，包括：根据预设的第一短时记忆激励组件处理当前序列数据，得到当前容易遗忘的短时记忆信息；其中，所述第一短时记忆激励组件的参数包括针对容易遗忘信息的训练权重和对应的偏置项；根据预设的第二短时记忆激励组件处理当前序列数据，得到当前容易记忆的短时记忆信息；其中，所述第二短时记忆激励组件的参数包括针对容易记忆信息的训练权重和对应的偏置项。3.根据权利要求1所述的方法，其特征在于，所述基于当前容易遗忘的短时记忆信息、当前容易记忆的短时记忆信息和当前序列数据进行长时记忆信息提取，得到当前的长时记忆信息，包括：根据当前容易遗忘的短时记忆信息和所述当前序列数据，对前一序列数据对应的长时记忆状态进行更新，得到当前长时记忆状态；根据预设的长时记忆激励组件，从当前长时记忆状态中提取长时记忆信息；将提取的长时记忆信息与当前容易记忆的短时记忆信息进行融合，得到当前的长时记忆信息。4.根据权利要求3所述的方法，其中，所述根据当前容易遗忘的短时记忆信息和所述当前序列数据，对前一序列数据对应的长时记忆状态进行更新，得到当前长时记忆状态，包括：根据长期记忆遗忘系数对前一所述长时记忆状态信息进行衰减处理，得到对应的长时记忆衰减信息；将当前容易遗忘的短时记忆信息与所述长时记忆衰减信息进行信息融合，...

【专利技术属性】
技术研发人员：张启坤，吴臻志，赵荣臻，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：