神经网络系统及对该神经网络系统进行训练的方法技术方案

公开了一种神经网络系统及对该神经网络系统进行训练的方法。该神经网络系统包括：两列或更多列的串联连接的神经网络模块，其中，所述两列或更多列中的至少一列中的至少一个神经网络模块不但连接到其所属的列的上层神经网络模块而且连接到至少一个其他列的上层神经网络模块。根据本公开的实施例，该神经网络系统不仅通过列集成方法串联连接不同神经网络模块，而且可以进一步连接不同列的神经网络模块，使得不同神经网络模块优势互补，从而实现更高的性能。

【技术实现步骤摘要】

本公开涉及人工神经网络领域，具体地，涉及一种能够融合不同的神经网络模块的神经网络系统及对该神经网络系统进行训练的方法。
技术介绍
人工神经网络是近些年来比较热门的研究方向之一。最近几年，神经网络技术如卷积神经网络(CNN)、长短时记忆网络(LSTM)和深层神经网络(DNN)纷纷涌现。不同的神经网络模块具有各自的优势以及各自的局限性，如何融合这些不同的神经网络模块，使得不同神经网络模块的优势互补，实现更高的性能，成为亟待解决的问题。具体地，以语音识别技术为例，语音识别技术已在许多领域广泛应用，包括语音用户接口诸如语音拨号、呼叫路由、远程家电控制、搜索、简单的数据输入、结构化的文档制作、语音到文本处理、以及民航应用等。从基于CNN、LSTM、或DNN的深度学习和大数据的先进技术得益，语音识别的精确度得到了大幅的提升。如何融合不同的深度学习结构，使得不同深度学习结构的优势互补从而实现更高的识别准确度，成为目前关注的热点问题之一。
技术实现思路
在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。鉴于以上问题，本公开的目的是提供一种能够融合不同的神经网络模块的神经网络系统及对该神经网络系统进行训练的方法。根据本公开的一方面，提供了一种神经网络系统，包括：两列或更多列的串联连接的神经网络模块，其中，所述两列或更多列中的至少一列中的至少一个神经网络模块不但连接到其所属的列的上层神经网络模块而且连接到至少一个其他列的上层神经网络模块。根据本公开的另一方面，还提供了一种对上述神经网络系统进行训练的方法，包括：针对所述两列或更多列中的每列，利用训练数据对每列中的所有神经网络模块进行训练；以及基于对每列中的所有神经网络模块进行训练所获得的结果，利用所述训练数据对所述两列或更多列中的所有列联合进行训练。根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品以及其上记录有该用于实现上述根据本公开的方法的计算机程序代码的计算机可读存储介质。在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。附图说明本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：图1是示出根据本公开的实施例的神经网络系统的结构示意图；图2是示出根据本公开的实施例的列集成深度学习模型的图；图3是示出根据本公开的实施例的网格深度学习模型的图；图4是示出用于语音识别的DNN-HMM结构的图；图5是示出根据本公开的实施例的用于对神经网络系统进行训练的方法的流程图；以及图6是示出作为本公开的实施例中可采用的信息处理设备的个人计算机的示例结构的框图。具体实施方式在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的系统结构和/或处理步骤，而省略了与本公开关系不大的其它细节。下面结合附图详细说明根据本公开的实施例。首先，将参照图1描述根据本公开的实施例的神经网络系统。图1是示出根据本公开的实施例的神经网络系统100的结构示意图。根据本公开的实施例的神经网络系统100包括两列或更多列的串联连接的神经网络模块，其中，所述两列或更多列中的至少一列中的至少一个神经网络模块不但连接到其所属的列的上层神经网络模块而且连接到至少一个其他列的上层神经网络模块。如图1所示，神经网络系统100包括三列串联连接的神经网络模块，其中每列包括三层神经网络模块；在每列中，用C模块作为第一层神经网络模块、用L模块作为第二层神经网络模块、以及用D模块作为第三层神经网络模块。以第一列中的第一层神经网络模块C为例，其不但连接到第一列中的第二层神经网络模块L，而且连接到第二列中的第二层神经网络模块L。另外，以第二列中的第一层神经网络模块C为例，其不但连接到第二列中的第二层神经网络模块L，而且连接到第一列中的第二层神经网络模块L和第三列中的第二层神经网络模块L。但上述仅是示例而非限制，神经网络系统100可以包括两列串联连接的神经网络模块、或者四列串联连接的神经网络模块、或者多于四列的串联连接的神经网络模块；每列可以包括两层神经网络模块、四层神经网络模块、或者多于四层的神经网络模块；各列中的同一层神经网络模块可以部分不同或相互不同，例如，第一列中的第一层神经网络模块可以是C模块、第二列中的第一层神经网络模块可以是C模块、以及第三列中的第一层神经网络模块可以是L模块，另外，第一列中的第一层神经网络模块可以是C模块、第二列中的第一层神经网络模块可以是L模块、以及第三列中的第一层神经网络模块可以是D模块，这对各列中的其他层同样成立。优选地，可以根据经验确定每列中各层神经网络模块的布置。另外，尽管图1示出了在神经网络系统100中，存在不但连接到其所属的列的上层神经网络模块而且连接到至少一个其他列的上层神经网络模块的不止一个神经网络模块，但是只要存在一个这样的神经网络模块即可。优选地，可以通过测试来确定不同列中的神经网络模块的连接关系。优选地，每个神经网络模块是可插拔的。神经网络模块的可插拔性使得神经网络系统的构成更灵活。例如，尽管图1中示出每层神经网络模块都连接到其上一层的神经网络模块，但是，可以利用神经网络模块的可插拔特性，将神经网络模块连接到其上两层的神经网络模块。例如，可以去掉图1中的第二列中的第二层神经网络模块L，而使得第一列中的第一层神经网络模块C和第二列中的第一层神经网络模块C都直接连接到第二列中的第三层神经网络模块D。此外，例如，可以通过测试找到列与列之间的最优连接，从而利用神经网络模块的可插拔性实现神经网络系统中的各列的神经网络模块的最优组合。最近几年，各种神经网络技术如DNN、CNN和LSTM纷纷涌现。这些不同的神经网络模块具有各自的优势。例如，CNN模块可以通过降低频谱方差提供较好的特征，LSTM模块可以通过被提供更好的特征而提升性能，而DNN模块可以提供更深的网络。优选地，在根据本公开的实施例的神经网络系统100中，每个神经网络模块可以是CNN模块、LSTM模块以及DNN模块中的一个。在神经网络系统100本文档来自技高网...

【技术保护点】
一种神经网络系统，包括：两列或更多列的串联连接的神经网络模块，其中，所述两列或更多列中的至少一列中的至少一个神经网络模块不但连接到其所属的列的上层神经网络模块而且连接到至少一个其他列的上层神经网络模块。

【技术特征摘要】
1.一种神经网络系统，包括：两列或更多列的串联连接的神经网络模块，其中，所述两列或更多列中的至少一列中的至少一个神经网络模块不但连接到其所属的列的上层神经网络模块而且连接到至少一个其他列的上层神经网络模块。2.根据权利要求1所述的神经网络系统，其中，每个神经网络模块是可插拔的。3.根据权利要求1所述的神经网络系统，其中，每个神经网络模块是卷积神经网络CNN模块、长短时记忆LSTM模块以及深层神经网络DNN模块中的一个。4.根据权利要求3所述的神经网络系统，其中，在所述两列或更多列中的至少一列中，从输入到输出的方向上依次包括所述CNN模块、所述LSTM模块以及所述DNN模块。5.根据权利要求1所述...

【专利技术属性】
技术研发人员：石自强，刘汝杰，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP