面向多特征图的异构深度神经网络结构组合方法及系统技术方案

本发明专利技术提供一种面向多特征图的异构深度神经网络结构组合方法及系统，该面向多特征图的异构深度神经网络结构组合方法包括：获取前置神经网络的输出模块输出的特征子图；对特征子图进行拼接操作，得到拼接特征图；将拼接特征图输出至后置神经网络的输入模块。本发明专利技术通过拼接多个特征子图连接异构神经网络的前置神经网络的输出模块与后置神经网络的输入模块，保留了前置神经网络的输出模块中特征子图的内在空间特征，提高了异构神经网络模型的组合效率，无需进行复杂的计算，提高了异构深度神经网络模型的准确度。

Structure combination method and system of heterogeneous deep neural network for multi feature graph

【技术实现步骤摘要】
面向多特征图的异构深度神经网络结构组合方法及系统
本专利技术涉及异构神经网络
，特别是指一种面向多特征图的异构深度神经网络结构组合方法及系统。
技术介绍
随着人工智能技术的发展，深度学习在各个领域均有广泛的应用。其中，卷积神经网络(ConvolutionalNeuralNetworks,CNN)由于其较好的空间特征识别能力，被广泛使用于图像领域；循环神经网络(RecurrentNeuralNetworks,RNN)由于其较好的时间特征识别能力，被广泛应用于自然语言处理领域。然而单一的深度神经网络结构无法同时提取时间与空间两个维度特征，因此为实现更复杂任务处理，异构神经网络及融合方法随之产生。CNN用于提取输入数据的空间维度特征，RNN用于提取输入数据的时间维度特征，二者融合的结构可同时获取数据的时空特征，大大扩展了深度学习的应用场景。现有异构深度神经网络结构组合的方法单一，且两个网络结构组合时，未能考虑前置神经网络的输出中特征映射子图中原有的空间特征，都是直接将其映射到一维向量并传到后置神经网络的输入中。该种方式不但会破坏特征子图的内在空间特征，而且计算复杂度高，还会影响深度神经网络模型的准确度。
技术实现思路
本专利技术要解决的技术问题是提供一种面向多特征图的异构深度神经网络结构组合方法及系统，保留前置深度神经网络输出模块中特征子图的内在空间特征，解决现有异构深度神经网络结构组合方法不但会破坏特征子图的内在空间特征，而且计算复杂度高，还会影响深度神经网络模型的准确度的问题。为解决上述技术问题，本专利技术提供如下技术方案：一种面向多特征图的异构深度神经网络结构组合方法，所述面向多特征图的异构深度神经网络结构组合方法包括：获取前置神经网络的输出模块输出的特征子图；对所述特征子图进行拼接操作，得到拼接特征图；将所述拼接特征图输出至后置神经网络的输入模块。其中，所述前置神经网络为循环神经网络或卷积神经网络。其中，所述后置神经网络为循环神经网络或卷积神经网络。其中，当所述后置神经网络为卷积神经网络时，所述对所述特征子图进行拼接操作，得到拼接特征图的过程，包括：设横向拼接参数为x，则纵向拼接参数y＝c/x；其中，x为[1,c]之间的整数，且满足c可整除x，c为所述特征子图的个数；将[1，x]，[x+1，2x]，…，[c-x+1，c]各区间的特征子图进行横向拼接，得到y个宽度为w*x，高度为h的横向拼接特征子图；其中，w为所述特征子图的宽度，h为所述特征子图的高度；将y个横向拼接特征子图按顺序进行纵向拼接，得到一个宽度为w*x，高度为h*y的拼接特征图。其中，当所述后置神经网络为循环神经网络时，所述对所述特征子图进行拼接操作，得到拼接特征图的过程，包括：判断所述后置神经网络的输入模块的输入层神经元个数W是否为所述特征子图的宽度w的整数倍；若W是w的整数倍，则计算横向拼接参数x＝W/w，纵向拼接参数y＝c/x；其中，c为所述特征子图的个数；将[1,x],[x+1,2x],…,[c-x+1,c]各区间特征子图进行横向拼接，得到y个宽度为w*x，高度为h的横向拼接特征子图；其中，h为所述特征子图的高度；将y个横向拼接特征子图按顺序进行纵向拼接，得到一个宽度为w*x，高度为h*y的拼接特征图。相应地，为解决上述技术问题，本专利技术还提供如下技术方案：一种面向多特征图的异构深度神经网络结构组合系统，所述面向多特征图的异构深度神经网络结构组合系统包括：特征子图获取模块，用于获取前置神经网络的输出模块输出的特征子图；特征子图拼接模块，用于对所述特征子图进行拼接操作，得到拼接特征图；拼接特征图输出模块，用于将拼接特征图输至后置神经网络的输入模块。其中，所述前置神经网络为循环神经网络或卷积神经网络。其中，所述后置神经网络为循环神经网络或卷积神经网络。其中，若后置神经网络为卷积神经网络，所述特征子图拼接模块用于：设横向拼接参数为x，则纵向拼接参数y＝c/x；其中，x为[1,c]之间的整数，且满足c可整除x，c为所述特征子图的个数；将[1，x]，[x+1，2x]，…，[c-x+1，c]各区间的特征子图进行横向拼接，得到y个宽度为w*x，高度为h的横向拼接特征子图；其中，w为所述特征子图的宽度，h为所述特征子图的高度；将y个横向拼接特征子图按顺序进行纵向拼接，得到一个宽度为w*x，高度为h*y的拼接特征图。其中，若后置神经网络为循环神经网络，特征子图拼接模块用于：判断所述后置神经网络的输入模块的输入层神经元个数W是否为所述特征子图的宽度w的整数倍；若W是w的整数倍，则计算横向拼接参数x＝W/w，纵向拼接参数y＝c/x；其中，c为所述特征子图的个数；将[1,x],[x+1,2x],…,[c-x+1,c]各区间特征子图进行横向拼接，得到y个宽度为w*x，高度为h的横向拼接特征子图；其中，h为所述特征子图的高度；将y个横向拼接特征子图按顺序进行纵向拼接，得到一个宽度为w*x，高度为h*y的拼接特征图。本专利技术的上述技术方案的有益效果如下：本专利技术的面向多特征图的异构深度神经网络结构组合方法通过拼接多个特征子图连接异构神经网络的输出模块与输入模块，通过一个拼接操作替代现有的扁平化操作与重构操作，保留了前置深度神经网络输出模块中特征子图的内在空间特征，保持原有特征图的时空特征相关性，不破坏原有特征子图的空间结构；提高了异构神经网络模型的组合效率，无需进行复杂的计算，提高了异构神经网络模型的构建效率，并且提高了异构深度神经网络模型的准确度。附图说明图1为本专利技术实施例提供的异构深度神经网络模型总体架构示意图；图2为本专利技术实施例提供的卷积神经网络模块结构与参数示意图；图3为本专利技术实施例提供的循环神经网络模块结构与参数示意图；图4为本专利技术实施例提供的异构深度神经网络模型连接处理流程示意图；图5为本专利技术实施例提供的异构深度神经网络连接结构示意图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。第一实施例本实施例提供一种面向多特征图的异构深度神经网络结构组合方法，所述面向多特征图的异构深度神经网络结构组合方法包括：S101，获取前置神经网络的输出模块输出的特征子图；S102，对特征子图进行拼接操作，得到拼接特征图；S103，将拼接特征图输出至后置神经网络的输入模块。其中，上述前置神经网络可以是循环神经网络RNN，也可以是卷积神经网络CNN。上述后置神经网络可以是循环神经网络RNN，也可以是卷积神经网络CNN；也即本实施例所组合的异构深度神经网络结构可以是前置RNN+后置CNN，也可以是前置CNN+后置RNN。若后置神经网络为CN本文档来自技高网...

【技术保护点】
1.一种面向多特征图的异构深度神经网络结构组合方法，其特征在于，所述面向多特征图的异构深度神经网络结构组合方法包括：/n获取前置神经网络的输出模块输出的特征子图；/n对所述特征子图进行拼接操作，得到拼接特征图；/n将所述拼接特征图输出至后置神经网络的输入模块。/n

【技术特征摘要】
1.一种面向多特征图的异构深度神经网络结构组合方法，其特征在于，所述面向多特征图的异构深度神经网络结构组合方法包括：
获取前置神经网络的输出模块输出的特征子图；
对所述特征子图进行拼接操作，得到拼接特征图；
将所述拼接特征图输出至后置神经网络的输入模块。


2.如权利要求1所述的面向多特征图的异构深度神经网络结构组合方法，其特征在于，所述前置神经网络为循环神经网络或卷积神经网络。


3.如权利要求1所述的面向多特征图的异构深度神经网络结构组合方法，其特征在于，所述后置神经网络为循环神经网络或卷积神经网络。


4.如权利要求3所述的面向多特征图的异构深度神经网络结构组合方法，其特征在于，当所述后置神经网络为卷积神经网络时，所述对所述特征子图进行拼接操作，得到拼接特征图的过程，包括：
设横向拼接参数为x，则纵向拼接参数y＝c/x；其中，x为[1,c]之间的整数，且满足c可整除x，c为所述特征子图的个数；
将[1，x]，[x+1，2x]，…，[c-x+1，c]各区间的特征子图进行横向拼接，得到y个宽度为w*x，高度为h的横向拼接特征子图；其中，w为所述特征子图的宽度，h为所述特征子图的高度；
将y个横向拼接特征子图按顺序进行纵向拼接，得到一个宽度为w*x，高度为h*y的拼接特征图。


5.如权利要求3所述的面向多特征图的异构深度神经网络结构组合方法，其特征在于，当所述后置神经网络为循环神经网络时，所述对所述特征子图进行拼接操作，得到拼接特征图的过程，包括：
判断所述后置神经网络的输入模块的输入层神经元个数W是否为所述特征子图的宽度w的整数倍；
若W是w的整数倍，则计算横向拼接参数x＝W/w，纵向拼接参数y＝c/x；其中，c为所述特征子图的个数；
将[1,x],[x+1,2x],…,[c-x+1,c]各区间特征子图进行横向拼接，得到y个宽度为w*x，高度为h的横向拼接特征子图；其中，h为所述特征子图的高度；
将y个横向拼接特征子图按顺序进行纵向拼接，得到一个宽度为w*x，高度为h*y的拼接特征图。<...

【专利技术属性】
技术研发人员：陈红松，陈京九，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京;11