【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种替代3d卷积核的特征提取方法、装置、设备及计算机可读存储介质。
技术介绍
1、如今捕捉视频流中的信息特征常用3d卷积核的卷积方法实现，常用的3d卷积方法为根据大小为h*w的2d卷积核在时间域上重复c次，生成一个h*w*c大小的卷积核。
2、在一个常见的rgb视频流的识别过程中，若输出类别为l，视频流维度为t*h*w*c，其中，t为时间帧数，h*w为视频流中各帧图像的尺寸，c为色彩的通道数，其所需的3d卷积核参数量则为t*h*w*c*l，可以看出参数量的量级随着某一维度数值的增加，呈现乘性增长，庞大的计算量不利于模型的运行效率。
技术实现思路
1、本专利技术提供一种替代3d卷积核的特征提取方法、装置、设备及存储介质，其主要目的在于降低卷积核参数量，提高神经网络的运行效率。
2、为实现上述目的，本专利技术提供的一种替代3d卷积核的特征提取方法，包括：
3、获取预构建的待识别图片，利用预构建的第一卷积核，根据预配置的第一卷积策略，对所述待识别图片进行基于时间域的卷积操作，输出得到第一矩阵向量；
4、利用预构建的第二卷积核，根据预设的第二卷积策略，对所述第一矩阵向量进行基于空间域的卷积操作，得到第二矩阵向量；
5、利用预构建的第三卷积核集合，根据预设的第三卷积策略，对所述第二矩阵向量进行基于通道数的卷积操作，得到所述待识别图片对应的图像特征向量。
6、可选的，所述利用预构建的第一卷积
7、根据所述待识别图片的时间帧数t，配置t个1*1*1的权重矩阵，构建得到第一卷积核，其中，所述t为所述第一卷积核的深度，小于或等于所述t的数值；
8、利用所述第一卷积核，根据预配置的第一卷积策略中的步长s1及填充p1，对所述待识别图片进行深度降维卷积，得到第一矩阵向量，所述第一矩阵向量为t′*h*w*c，其中，所述t′＝(t+2p1-t)/s1+1，所述h*w为所述待识别图片的图片大小，所述c为所述待识别图片中每张图片的通道数。
9、可选的，所述利用预构建的第二卷积核，根据预设的第二卷积策略，对所述第一矩阵向量进行基于空间域的卷积操作，得到第二矩阵向量，包括：
10、根据所述第一矩阵向量的深度t′及所述待识别图片的图片大小h*w，配置t′个h*w*1的权重矩阵，构建得到第二卷积核，其中，所述h为所述第二卷积核的长，与所述h在数值上相同，所述w为所述第二卷积核的宽，与所述w在数值上相同；
11、利用所述第二卷积核，根据所述第二卷积策略中的步长s2及填充p2，对所述第一矩阵向量进行卷积，得到第二矩阵向量，所述第二矩阵向量为t′*h′*w′*c，所述h′＝(h+2p2-h)/s2+1，所述w′＝(w+2p2-w)/s2+1。
12、可选的，所述利用预构建的第三卷积核集合，根据预设的第三卷积策略，对所述第二矩阵向量进行基于通道数的卷积操作，得到所述待识别图片对应的图像特征向量，包括：
13、根据所述第二矩阵向量的深度t′及所述待识别图片中每张图片的通道数c，配置t′个1*1*c的权重矩阵，构建得到第三卷积核，其中，所述c为所述第三卷积核的深度，与所述c在数值上相同；
14、根据预设的图片识别任务中的输出类别l，构建l个所述第三卷积核，得到第三卷积核集合；
15、利用所述第三卷积核集合，根据所述第三卷积策略中的步长s3及填充p3，对所述第二矩阵向量进行卷积，得到所述待识别图片对应的图像特征向量，所述图像特征向量为t′*h′*w′*c′*l，其中，所述c′＝(c+2p3-c)/s3+1。
16、可选的，所述第一卷积核、所述第二卷积核及所述第三卷积核集合相互独立，以及所述第一卷积策略、所述第二卷积策略及所述第三卷积策略相互独立。
17、可选的，所述得到所述待识别图片对应的图像特征向量之后，所述方法还包括：
18、识别所述图像特征向量中预配置任务的输出类别，查询所述输出类别对应的下游任务分类器；
19、利用所述下游任务分类器，对所述图像特征向量进行网络正向传播，得到下游任务对所述待识别图片的识别结果。
20、为了解决上述问题，本专利技术还提供一种替代3d卷积核的特征提取装置，所述装置包括：
21、时间域卷积操作，用于获取预构建的待识别图片，利用预构建的第一卷积核，根据预配置的第一卷积策略，对所述待识别图片进行基于时间域的卷积操作，输出得到第一矩阵向量；
22、空间域卷积操作，用于利用预构建的第二卷积核，根据预设的第二卷积策略，对所述第一矩阵向量进行基于空间域的卷积操作，得到第二矩阵向量；
23、通道数卷积操作，用于利用预构建的第三卷积核集合，根据预设的第三卷积策略，对所述第二矩阵向量进行基于通道数的卷积操作，得到所述待识别图片对应的图像特征向量，
24、可选的，所述利用预构建的第一卷积核，根据预配置的第一卷积策略，对所述待识别图片进行基于时间域的卷积操作，输出得到第一矩阵向量，包括：
25、根据所述待识别图片的时间帧数t，配置t个1*1*1的权重矩阵，构建得到第一卷积核，其中，所述t为所述第一卷积核的深度，小于或等于所述t的数值；
26、利用所述第一卷积核，根据预配置的第一卷积策略中的步长s1及填充p1，对所述待识别图片进行深度降维卷积，得到第一矩阵向量，所述第一矩阵向量为t′*h*w*c，其中，所述t′＝(t+2p1-t)/s1+1，所述h*w为所述待识别图片的图片大小，所述c为所述待识别图片中每张图片的通道数。
27、为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
28、至少一个处理器；以及，
29、与所述至少一个处理器通信连接的存储器；其中，
30、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的替代3d卷积核的特征提取方法。
31、为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的替代3d卷积核的特征提取方法。
32、本专利技术实施例通过三次卷积操作，对待识别图片的时间域、空间域及通道上分步进行卷积，得到图像特征向量，其中，传统3d卷积核参数量为t*h*w*c+1)*l，而本专利技术实施例中的分三部卷积核的参数量为t*1*1*1+t′*h*w*1+t′*l*1*1*c，通过对比可知卷积核的参数量的量级减小，能够大大提高卷积操作的运行速度。因此，本专利技术实施例提供的一种替代3d卷积核的特征提取方法、装置、设备及存储介质，能够在于通过降低卷积核参本文档来自技高网...
【技术保护点】
1.一种替代3D卷积核的特征提取方法，其特征在于，所述方法包括：
2.如权利要求1所述的替代3D卷积核的特征提取方法，其特征在于，所述利用预构建的第一卷积核，根据预配置的第一卷积策略，对所述待识别图片进行基于时间域的卷积操作，输出得到第一矩阵向量，包括：
3.如权利要求1所述的替代3D卷积核的特征提取方法，其特征在于，所述利用预构建的第二卷积核，根据预设的第二卷积策略，对所述第一矩阵向量进行基于空间域的卷积操作，得到第二矩阵向量，包括：
4.如权利要求1所述的替代3D卷积核的特征提取方法，其特征在于，所述利用预构建的第三卷积核集合，根据预设的第三卷积策略，对所述第二矩阵向量进行基于通道数的卷积操作，得到所述待识别图片对应的图像特征向量，包括：
5.如权利要求1所述的替代3D卷积核的特征提取方法，其特征在于，所述第一卷积核、所述第二卷积核及所述第三卷积核集合相互独立，以及所述第一卷积策略、所述第二卷积策略及所述第三卷积策略相互独立。
6.如权利要求1所述的替代3D卷积核的特征提取方法，其特征在于，所述得到所述待识别图片对应
7.一种替代3D卷积核的特征提取装置，其特征在于，所述装置包括：
8.如权利要求7所述的替代3D卷积核的特征提取装置，其特征在于，所述利用预构建的第一卷积核，根据预配置的第一卷积策略，对所述待识别图片进行基于时间域的卷积操作，输出得到第一矩阵向量，包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的替代3D卷积核的特征提取方法。
...【技术特征摘要】
1.一种替代3d卷积核的特征提取方法，其特征在于，所述方法包括：
2.如权利要求1所述的替代3d卷积核的特征提取方法，其特征在于，所述利用预构建的第一卷积核，根据预配置的第一卷积策略，对所述待识别图片进行基于时间域的卷积操作，输出得到第一矩阵向量，包括：
3.如权利要求1所述的替代3d卷积核的特征提取方法，其特征在于，所述利用预构建的第二卷积核，根据预设的第二卷积策略，对所述第一矩阵向量进行基于空间域的卷积操作，得到第二矩阵向量，包括：
4.如权利要求1所述的替代3d卷积核的特征提取方法，其特征在于，所述利用预构建的第三卷积核集合，根据预设的第三卷积策略，对所述第二矩阵向量进行基于通道数的卷积操作，得到所述待识别图片对应的图像特征向量，包括：
5.如权利要求1所述的替代3d卷积核的特征提取方法，其特征在于，所述第...
【专利技术属性】
技术研发人员：喻霜，张一帆，刘屹，刘源，
申请(专利权)人：招商局金融科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。