视频检测、3D卷积与映射方法、设备及存储介质技术

本申请实施例提供一种视频检测、3D卷积与映射方法、设备及存储介质。在本申请实施例中，将3D卷积或池化映射为2D卷积或池化，利用基于硬件实现的2D卷积器或池化器实现3D卷积或池化，提供一种软硬结合的卷积或池化架构，软硬结合的卷积或池化架构更加灵活，利用2D卷积或池化的计算优势，既可以解决硬件资源受限的问题，又能够快速高效地实现3D卷积或池化，降低硬件开发和实现难度。

【技术实现步骤摘要】
视频检测、3D卷积与映射方法、设备及存储介质
本申请涉及数据处理
，尤其涉及一种视频检测、3D卷积与映射方法、设备及存储介质。
技术介绍
卷积神经网络(ConvolutionalNeuralNetworks，CNN)被广泛应用于计算机视觉中，进行分类、检测或分割等任务。这些任务一般都是针对图像进行的，使用的是二维(2D)卷积。对于基于视频分析的问题，2D卷积不能很好地捕获图像之间在时间上的物体运动信息，于是出现了3D卷积。现有3D卷积可基于FPGA等硬件实现，但是3D卷积的运算量和中间缓存数据量比较大，硬件资源受限，开发和实现难度比较大。
技术实现思路
本申请的多个方面提供一种视频检测、3D卷积与映射方法、设备及存储介质，用以提供一种软硬结合的3D卷积架构，快速高效地实现3D卷积，同时降低硬件开发和实现难度。本申请实施例提供一种3D卷积方法，包括：获取待卷积的视频片段，所述视频片段包括多帧图像；基于预先得到的3D卷积模型到2D卷积的映射参数，将所述视频片段包含的图像切分为多个图像组；调用基于硬件实现的2本文档来自技高网...

【技术保护点】
1.一种三维3D卷积方法，其特征在于，包括：/n获取待卷积的视频片段，所述视频片段包括多帧图像；/n基于预先得到的3D卷积模型到2D卷积的映射参数，将所述视频片段包含的图像切分为多个图像组；/n调用基于硬件实现的2D卷积器，利用所述3D卷积模型中的3D卷积核对每个图像组进行2D卷积，得到多组2D卷积结果；/n将所述多组2D卷积结果在帧方向上进行拼接，得到所述视频片段的3D卷积结果。/n

【技术特征摘要】
1.一种三维3D卷积方法，其特征在于，包括：
获取待卷积的视频片段，所述视频片段包括多帧图像；
基于预先得到的3D卷积模型到2D卷积的映射参数，将所述视频片段包含的图像切分为多个图像组；
调用基于硬件实现的2D卷积器，利用所述3D卷积模型中的3D卷积核对每个图像组进行2D卷积，得到多组2D卷积结果；
将所述多组2D卷积结果在帧方向上进行拼接，得到所述视频片段的3D卷积结果。


2.根据权利要求1所述的方法，其特征在于，基于预先得到的3D卷积模型到2D卷积的映射参数，将所述视频片段切分为多个图像组，包括：
根据预先得到的所述3D卷积模型的填充模式下的填充参数，对所述视频片段包含的多帧图像进行填充处理得到目标图像序列；
根据所述视频片段的视频深度，从预先得到的所述3D卷积模型在其支持的各种视频深度下可映射成的2D卷积的组数中，确定所述目标图像序列对应的2D卷积的组数；
根据所述目标图像序列对应的2D卷积的组数，将所述目标图像序列切分为多个图像组。


3.根据权利要求2所述的方法，其特征在于，在基于预先得到的3D卷积模型到2D卷积的映射参数，将所述视频片段切分为多个图像组之前，还包括：
获取所述3D卷积模型的填充模式、输入的变形参数、卷积核的变形参数以及滑动步长参数；
根据所述输入的变形参数、卷积核的变形参数以及滑动步长参数中与所述填充模式适配的计算参数，计算所述3D卷积模型的输出的变形参数；
根据所述输入的变形参数、卷积核的变形参数以及滑动步长参数，结合所述输出的变形参数，计算所述填充模式下的填充参数；
其中，所述输出的变形参数中的视频深度是所述3D卷积模型在所述输入的变形参数中的视频深度下可映射成的2D卷积的组数。


4.根据权利要求3所述的方法，其特征在于，根据所述输入的变形参数、卷积核的变形参数以及滑动步长参数中与所述填充模式适配的计算参数，计算所述3D卷积模型的输出的变形参数，包括：
在所述填充模式是SAME模式的情况下，根据所述输入的变形参数和滑动步长参数，计算所述3D卷积模型的输出的变形参数；或者
在所述填充模式是VALID模式的情况下，根据所述输入的变形参数、卷积核的变形参数和滑动步长参数，计算所述3D卷积模型的输出的变形参数。


5.根据权利要求4所述的方法，其特征在于，根据所述输入的变形参数和滑动步长参数，计算所述3D卷积模型的输出的变形参数，包括：
根据所述输入的变形参数中的图像高度与所述滑动步长参数中在图像高度方向上的滑动步长，计算所述输出的变形参数中的图像高度；
根据所述输入的变形参数中的图像宽度与所述滑动步长参数中在图像宽度方向上的滑动步长，计算所述输出的变形参数中的图像宽度；
根据所述输入的变形参数中的视频深度与所述滑动步长参数中在视频深度方向上的滑动步长，计算所述输出的变形参数中的视频深度。


6.根据权利要求4所述的方法，其特征在于，根据所述输入的变形参数、卷积核的变形参数和滑动步长参数，计算所述3D卷积模型的输出的变形参数，包括：
根据所述输入的变形参数中的图像高度与所述卷积核的变形参数中的图像高度之差，与所述滑动步长参数中在图像高度方向上的滑动步长，计算所述输出的变形参数中的图像高度；
根据所述输入的变形参数中的图像宽度与所述卷积核的变形参数中的图像宽度之差，与所述滑动步长参数中在图像宽度方向上的滑动步长，计算所述输出的变形参数中的图像宽度；
根据所述输入的变形参数中的视频深度与所述卷积核的变形参数中的视频深度之差，与所述滑动步长参数中在视频深度方向上的滑动步长，计算所述输出的变形参数中的视频深度。


7.根据权利要求3所述的方法，其特征在于，根据所述输入的变形参数、卷积核的变形参数以及滑动步长参数，结合所述输出的变形参数，计算所述填充模式下的填充参数，包括：
以对称填充为条件，根据所述输入的变形参数中的图像高度、所述滑动步长参数中在图像高度方向上的滑动步长、所述卷积核的变形参数中的图像高度以及所述输出的变形参数中的图像高度，计算所述填充参数中在图像高度方向向上或向下补边的单位长度个数；
以对称填充为条件，根据所述输入的变形参数中的图像宽度、所述滑动步长参数中在图像宽度方向上的滑动步长、所述卷积核的变形参数中的图像宽度以及所述输出的变形参数中的图像宽度，计算所述填充参数中在图像宽度方向向左或向右补边的单位长度个数；
以对称填充为条件，根据所述输入的变形参数中的视频深度、所述滑动步长参数中在视频深度方向上的滑动步长、所述卷积核的变形参数中的视频深度以及所述输出的变形参数中的视频深度，计算所述填充参数中在视频深度方向向前或向后补边的单位长度个数。


8.根据权利要求3所述的方法，其特征在于，在获取所述3D卷积模型使用的填充模式、输入的变形参数、卷积核的变形参数以及滑动步长参数之前，还包括：
设计3D卷积神经网络的计算图，所述3D卷积神经网络包括3D卷积模型；
对所述计算图进行优化处理，得到优化后的计算图；
其中，所述优化后的计算图中包含所述3D卷积模型的填充模式、输入的变形参数、卷积核的变形参数以及滑动步长参数。


9.根据权利要求1-8任一项所述的方法，其特征在于，在调用基于硬件实现的2D卷积器，利用所述3D卷积核对每个图像组进行2D卷积，得到多组2D卷积结果之前，还包括：
获取预先得到的目标访存模式，所述目标访存模式是第一访存模式或第二访存模式；
根据所述目标访问模式指示的存储方式，向所述2D卷积器提供所述3D卷积核和每个图像组中的图像；
其中，第一访存模式是指将所述3D卷积核存片内，将图像数据存片外的模式；所述第二访存模式是指将图像数据存片内，将所述3D卷积核存片外的模式。


10.根据权利要求9所述的方法，其特征在于，还包括：
根据所述3D卷积模型的输入的变形参数，计算第一访存模式和第二访存模式的代价；
从所述第一访存模式和所述第二访存模式中，选择代价小的作为所述目标访存模式。


11.根据权利要求10所述的方法，其特征在于，根据所述3D卷积模型的输入的变形参数，计算第一访存模式和第二访存模式的代价，包括：
根据所述输入的变形参数中的图像通道数和所述2D卷积器的硬件并行度，计算权重加载次数；
根据所述输入的变形参数中的图像通道数、图像高度、图像宽度以及所述加载权重次数，计算权重大小；
根据所述输入的变形参数中的图像高度作为数据加载次数，并根据所述输入的变形参数中的图像通道数、图像高度和图像宽度，计算数据大小；
根据所述权重大小、权重加载次数和数据加载次数，计算所述第一访存模式的代价；
根据所述数据加载次数、数据大小、权重大小和权重加载次数，计算所述第二访存模式的代价。


12.一种三维3D卷积映射方法，其特征在于，包括：
获取3D卷积模型的填充模式、输入的变形参数、卷积核的变形参数以及滑动步长参数；
根据所述输入的变形参数、卷积核的变形参数以及滑动步长参数中与所述填充模式适配的计算参数，计算所述3D卷积模型的输出的变形参数；
根据所述输入的变形参数、卷积核的变形参数以及滑动步长参数，结合所述输出的变形参数，计算所述填充模式下的填充参数；
其中，所述输出的变形参数中的视频深度是所述3D卷积模型在所述输入的变形参数中的视频深度下可映射成的2D卷积的组数。


13.一种视频检测方法，其特征...

【专利技术属性】
技术研发人员：叶友本，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY