3D卷积神经网络在神经网络处理器上的处理方法和装置制造方法及图纸

本申请提供一种3D卷积神经网络在神经网络处理器上的处理方法和装置。本申请中，将图序列在时间维度上的数据拼接到通道维度上，得到多个2D拼接图，同时，将C3D卷积层的3D卷积核在时间维度上的数据也拼接到通道维度上，得到2D拼接卷积核。由此，神经网络处理器可以基于该2D拼接图和2D拼接卷积核进行卷积运算，实现了神经网络处理器支持神经网络的卷积处理。同时，本申请还将C3D池化层进行池化操作步骤的转换，将输入到池化层的数据降低时间维度增加数量维度，进行多次第一池化操作，然后沿高度或宽度对数据进行拼接后进行二次池化操作，实现了神经网络处理器支持卷积神经网络的池化处理。

【技术实现步骤摘要】
3D卷积神经网络在神经网络处理器上的处理方法和装置
本申请涉及图像处理领域，尤其涉及3D卷积神经网络在神经网络处理器上的处理方法和装置。
技术介绍
卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeuralNetworks)，被广泛地应用于图像识别、语音识别、自然语言识别等各个领域。在卷积神经网络应用中，神经网络处理器由于具有更快的处理速度，因此成为应用中的首选，特别是在一些对实时性要求较高的应用场景中，更倾向于采用神经网络处理器来实现卷积神经网络。然而，由于神经网络处理器的硬件结构是固定的，一般只支持卷积核为二维的卷积神经网络(简称二维卷积神经网络，也称2D卷积)。在设计神经网络处理器时未考虑扩展，神经网络处理器往往仅支持二维卷积神经网络(也称2D卷积)，不支持卷积核为三维的卷积神经网络(简称三维卷积神经网络，也称3D卷积)，这导致三维卷积神经网络不能被应用在神经网络处理器，限制了三维卷积神经网络的应用。<br>专利技本文档来自技高网...

【技术保护点】
1.一种3D卷积神经网络在神经网络处理器上的处理方法，所述神经网络处理器支持2D卷积神经网络的运行，不支持所述3D卷积神经网络的运行，所述3D卷积神经网络为C3D网络，所述C3D网络包括C3D卷积层和C3D池化层，其特征在于，所述方法包括：/n步骤1：接收时间维度参数为L1的图序列，将所述图序列按照C3D卷积核时间维度参数L2拆分成时间维度参数值降低的L个子序列，每个子序列包括按照时间顺序排列的L2个图；并针对所述L个子序列中每一个，将所述L2个图沿通道维度方向上按顺序进行图拼接，将其转换成时间维度参数为1但通道维度方向上存在拼接的一个2D拼接图，最终得到L个2D拼接图；其中，所述L＝(L1-...

【技术特征摘要】
1.一种3D卷积神经网络在神经网络处理器上的处理方法，所述神经网络处理器支持2D卷积神经网络的运行，不支持所述3D卷积神经网络的运行，所述3D卷积神经网络为C3D网络，所述C3D网络包括C3D卷积层和C3D池化层，其特征在于，所述方法包括：
步骤1：接收时间维度参数为L1的图序列，将所述图序列按照C3D卷积核时间维度参数L2拆分成时间维度参数值降低的L个子序列，每个子序列包括按照时间顺序排列的L2个图；并针对所述L个子序列中每一个，将所述L2个图沿通道维度方向上按顺序进行图拼接，将其转换成时间维度参数为1但通道维度方向上存在拼接的一个2D拼接图，最终得到L个2D拼接图；其中，所述L＝(L1-L2+2*Pad_L2)/Stride_L2+1，其中，L2为C3D卷积层时间维度参数，Pad_L2为用于卷积计算的加窗参数，Stride_L2为用于卷积计算的步长参数；
步骤2：将所述步骤1得到的L个2D拼接图输入到C3D卷积层，先将时间维度参数为L2的C3D卷积核转换成时间维度参数为1但通道维度方向存在L2个卷积核拼接的一个2D拼接卷积核；然后执行所述L个2D拼接图与所述2D拼接卷积核分别进行卷积运算，输出L个2D特征图，所述C3D卷积层输出的所述L个2D特征图输入到所述C3D池化层；
步骤3：先将所述C3D池化层进行池化操作的维度转换，其中，所述C3D池化层进行池化操作的时间维度参数由L3转换成1，所述C3D池化层执行池化操作的数量维度参数由1转换为L3；然后将输入到所述C3D池化层的所述L个2D特征图先执行L次时间维度参数为1的第一池化操作，得到L个初步压缩的第一池化特征图，再将所述L个第一池化特征图进行二次池化操作，得到再次压缩的K个特征图，其中，K小于L，所述第一池化操作是将输入的每个所述2D特征图滑窗并按设定取值方式进行取值的操作；所述设定取值方式为取平均值或取最大值。


2.根据权利要求1所述的方法，其特征在于，所述再将所述L个第一池化特征图进行二次池化操作，得到再次压缩的K个特征图，包括：
将所述L个第一池化特征图沿数量维度方向进行第二池化操作，得到再次压缩的所述K个特征图，其中，所述第二池化操作是在所述L个第一池化特征图之间滑窗并按所述设定取值方式进行取值。


3.根据权利要求1所述的方法，其特征在于，所述再将所述L个第一池化特征图进行二次池化操作，得到再次压缩的K个特征图，包括：
将所述L个第一池化特征图先沿W方向进行拼接，得到沿W方向拼接后的池化拼接特征图，然后对所述沿W方向拼接后的池化拼接特征图进行第三池化操作，得到再次压缩的K个特征图；所述第三池化操作是将所述沿W方向拼接后的池化拼接特征图滑窗并按所述设定取值方式进行取值，所述W方向为宽度维度方向。


4.根据权利要求1所述的方法，其特征在于，所述再将所述L个第一池化特征图进行二次池化操作，得到再次压缩的K个特征图，包括：
将所述L个第一池化特征图沿H方向进行拼接，得到沿H方向拼接后的池化拼接特征图，然后对所述沿H方向拼接后的池化拼接特征图进行第四池化操作，得到再次压缩的K个特征图，所述第四池化操作是将所述沿H方向拼接后的池化拼接特征图滑窗并按所述设定取值方式进行取值，所述H方向为高度维度方向。


5.根据权利要求2-4中任一项所述的方法，其特征在于，通过如下公式确定特征图数量K：
K＝(L-L3+2*Pad_L3)/STRIDE_L3+1；
其中，L3为C3D池化层时间维度参数，Pad_L3为C3D池化层步长参数，STRIDE_L3为C3D池化层加窗参数。


6.一种3D卷积神经网络在神经网络处理器上的处理装置，所述神经网络处理器支持2D卷积神经网络的运行，不支持所述3D卷积神经网络的运行，所述3D卷积神经网络为C3D网络，所述C3D网络包括C3D卷积层和C3D池化层，其特征在于，所述装置包括：
图序列处...

【专利技术属性】
技术研发人员：黄斌，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33