三维卷积网络模型的处理方法及装置、非易失性存储介质制造方法及图纸

本申请公开了一种三维卷积网络模型的处理方法及装置、非易失性存储介质。其中，该方法包括：获取原始三维卷积网络模型；对上述原始三维卷积网络模型进行解耦处理，得到解耦结果，其中，上述解耦结果包括：时间卷积、空间卷积和特征重用卷积，上述时间卷积和上述空间卷积分别对应不同的冗余度；依据上述时间卷积和上述空间卷积分别所对应的冗余度，对上述时间卷积和上述空间卷积进行压缩处理；输出压缩结果。本申请解决了现有技术中3D卷积网络模型在执行3D卷积操作时导致操作性能和计算速度降低的技术问题。低的技术问题。低的技术问题。

【技术实现步骤摘要】
三维卷积网络模型的处理方法及装置、非易失性存储介质


[0001]本申请涉及计算机
，具体而言，涉及一种三维卷积网络模型的处理方法及装置、非易失性存储介质。

技术介绍

[0002]相关技术中，3D卷积网络模型被广泛使用于在视频分析和理解任务中，其中，3D卷积操作是3D卷积网络模型的重要组成部分，由于3D卷积操作存在计算参数量大、计算复杂度高等原因，现有技术中3D卷积网络模型在执行3D卷积操作时导致性能和速度降低，严重影响视频训练任务的学习周期。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种三维卷积网络模型的处理方法及装置、非易失性存储介质，以至少解决现有技术中3D卷积网络模型在执行3D卷积操作时导致操作性能和计算速度降低的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种三维卷积网络模型的处理方法，包括：获取原始三维卷积网络模型；对上述原始三维卷积网络模型进行解耦处理，得到解耦结果，其中，上述解耦结果包括：时间卷积、空间卷积和特征重用卷积，上述时间卷积和上述空间卷积分别对应不同的冗余度；依据上述时间卷积和上述空间卷积分别所对应的冗余度，对上述时间卷积和上述空间卷积进行压缩处理；输出压缩结果。
[0006]根据本申请实施例的另一方面，还提供了一种三维卷积网络模型的处理装置，包括：获取模块，用于获取原始三维卷积网络模型；解耦模块，用于对上述原始三维卷积网络模型进行解耦处理，得到解耦结果，其中，上述解耦结果包括：时间卷积、空间卷积和特征重用卷积，上述时间卷积和上述空间卷积分别对应不同的冗余度；处理模块，用于依据上述时间卷积和上述空间卷积分别所对应的冗余度，对上述时间卷积和上述空间卷积进行压缩处理；输出模块，用于输出压缩结果。
[0007]根据本申请实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行任意一项上述的三维卷积网络模型的处理方法。
[0008]根据本申请实施例的另一方面，还提供了一种三维卷积网络模型的处理设备，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取原始三维卷积网络模型；对上述原始三维卷积网络模型进行解耦处理，得到解耦结果，其中，上述解耦结果包括：时间卷积、空间卷积和特征重用卷积，上述时间卷积和上述空间卷积分别对应不同的冗余度；依据上述时间卷积和上述空间卷积分别所对应的冗余度，对上述时间卷积和上述空间卷积进行压缩处理；输出压缩结果。
[0009]根据本申请实施例的另一方面，还提供了一种三维卷积网络模型的处理方法，包
括：客户端接收到训练指令，并获取样本视频集合，其中，上述样本视频集合为历史时间段内收集到的直播视频，上述样本视频集合中的样本视频通过播放视频画面来输出目标对象；上述客户端基于上述训练指令来执行使用三维卷积网络模型训练上述样本视频集合，得到目标模型，其中，上述三维卷积网络模型为对原始三维卷积网络模型执行了压缩处理后的压缩结果；其中，对上述原始三维卷积网络模型执行上述压缩处理，包括：对上述原始三维卷积网络模型进行解耦处理，得到解耦结果，并依据上述解耦结果对应的冗余度对上述解耦结果进行压缩处理，输出上述压缩结果。
[0010]根据本申请实施例的另一方面，还提供了一种三维卷积网络模型的处理方法，包括：获取直播过程中播放的视频，上述视频包括：多帧视频画面；采用目标网络模型分析每帧视频画面，识别出上述视频画面中的目标对象，其中，通过对原始三维卷积网络模型进行压缩处理，生成上述目标网络模型；其中，对上述原始三维卷积网络模型执行上述压缩处理，包括：对上述原始三维卷积网络模型进行解耦处理，得到解耦结果，并依据上述解耦结果对应的冗余度对上述解耦结果进行压缩处理，输出上述压缩结果。
[0011]根据本申请实施例的另一方面，还提供了一种三维卷积网络模型的处理方法，包括：云服务器接收到模型压缩请求，其中，上述模型压缩请求包括：需要执行压缩处理的卷积模型的标识信息；上述云服务器基于上述压缩请求调取到需要执行上述压缩处理的原始三维卷积网络模型；上述云服务器对上述原始三维卷积网络模型进行解耦处理，得到解耦结果，其中，上述解耦结果包括：时间卷积、空间卷积和特征重用卷积，上述时间卷积和上述空间卷积分别对应不同的冗余度；上述云服务器依据上述时间卷积和上述空间卷积分别所对应的冗余度，对上述时间卷积和上述空间卷积进行压缩处理，生成压缩结果；上述云服务器将上述压缩结果反馈至前端设备。
[0012]在本申请实施例中，采用基于时空解耦的快速三维卷积操作的方式，通过获取原始三维卷积网络模型；对上述原始三维卷积网络模型进行解耦处理，得到解耦结果，其中，上述解耦结果包括：时间卷积、空间卷积和特征重用卷积，上述时间卷积和上述空间卷积分别对应不同的冗余度；依据上述时间卷积和上述空间卷积分别所对应的冗余度，对上述时间卷积和上述空间卷积进行压缩处理；输出压缩结果。
[0013]容易注意到的是，本申请实施例通过对上述原始三维卷积网络模型进行解耦处理，得到时间卷积、空间卷积和特征重用卷积，并且由于时间卷积和空间卷积分别对应不同的冗余度；针对时间卷积和空间卷积的冗余度不同，对空间卷积和时间卷积给予不同程度的压缩，使得计算速度得到明显提升。
[0014]由此，通过本申请实施例，达到了提升三维卷积网络模型执行三维卷积操作的计算速度和操作性能的目的，从而实现了从整体上提升三维卷积网络模型的模型性能的技术效果，进而解决了现有技术中3D卷积网络模型在执行3D卷积操作时导致操作性能和计算速度降低的技术问题。
附图说明
[0015]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0016]图1示出了一种用于实现三维卷积网络模型的处理方法的计算机终端(或移动设
备)的硬件结构框图；
[0017]图2是根据本申请实施例的一种三维卷积网络模型的处理方法的流程图；
[0018]图3是根据本申请实施例的一种可选的三维卷积网络模型的处理流程图；
[0019]图4是根据本申请实施例的一种三维卷积网络模型的处理方法的流程图；
[0020]图5是根据本申请实施例的一种三维卷积网络模型的处理方法的流程图；
[0021]图6是根据本申请实施例的一种三维卷积网络模型的处理方法的流程图；
[0022]图7是根据本申请实施例的一种三维卷积网络模型的处理装置的结构示意图；
[0023]图8是根据本申请实施例的一种三维卷积网络模型的处理设备的结构示意图；
[0024]图9是根据本申请实施例的另一种计算机终端的结构框图。
具体实施方式
[0025]为了使本
的人员更好地理解本申请方案，下面将结合本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维卷积网络模型的处理方法，其特征在于，包括：获取原始三维卷积网络模型；对所述原始三维卷积网络模型进行解耦处理，得到解耦结果，其中，所述解耦结果包括：时间卷积、空间卷积和特征重用卷积，所述时间卷积和所述空间卷积分别对应不同的冗余度；依据所述时间卷积和所述空间卷积分别所对应的冗余度，对所述时间卷积和所述空间卷积进行压缩处理；输出压缩结果。2.根据权利要求1所述的方法，其特征在于，对所述原始三维卷积网络模型进行解耦处理，得到解耦结果，包括：获取所述原始三维卷积网络模型的时间特征数据和空间特征数据；确定所述原始三维卷积网络模型的特征重用数据；基于所述时间特征数据、所述空间特征数据和特征重用数据在所述原始三维卷积网络模型中所占的比例，将所述原始三维卷积网络模型解耦为所述时间卷积、所述空间卷积和所述特征重用卷积，其中，所述特征重用数据在所述原始三维卷积网络模型中所占的比例固定。3.根据权利要求2所述的方法，其特征在于，确定所述原始三维卷积网络模型的特征重用数据，包括：从所述原始三维卷积网络模型中随机选取所述特征重用数据；或者将所述原始三维卷积网络模型的头部数据和/或尾部数据，作为所述特征重用数据。4.根据权利要求1所述的方法，其特征在于，在得到解耦结果之后，所述方法还包括：获取所述原始三维卷积网络模型的原始卷积通道；依据所述解耦结果对所述原始卷积通道进行拆分处理，得到时间卷积通道、空间卷积通道和特征重用通道。5.根据权利要求4所述的方法，其特征在于，在得到时间卷积通道、空间卷积通道和特征重用通道之后，所述方法还包括：采用所述时间卷积通道传输所述时间卷积；采用所述空间卷积通道传输所述空间卷积；采用所述特征重用通道传输所述特征重用卷积。6.根据权利要求1所述的方法，其特征在于，依据所述时间卷积和所述空间卷积分别所对应的冗余度，对所述时间卷积和所述空间卷积进行压缩处理，包括：确定与所述时间卷积对应的第一冗余度，以及与所述空间卷积对应的第二冗余度，其中，所述第二冗余度大于所述第一冗余度；基于所述第一冗余度和所述第二冗余度的大小，确定与所述时间卷积对应的第一压缩级别和与所述空间卷积对应的第二压缩级别；依据所述第一压缩级别对所述时间卷积进行第一压缩处理，以及依据所述第二压缩级别对所述空间卷积进行第二压缩处理。7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述压缩结果包括：所述时间卷积的第一压缩结果、所述空间卷积的第二压缩结果；在输出所述压缩结果之后，所述方
法还包括：按照预定规则对所述第一压缩结果、所述第二压缩结果和所述特征重用卷积进行随机排序，得到随机排序结果；基于所述随机排序结果，输出所述第一压缩结果、所述第二压缩结果和所述特征重用卷积；对所述第一压缩结果、所述第二压缩结果和所述特征重用卷积进行拼接，得到处理后三维网络模型。8.一种三维卷积网络模型的处理装置，其特征在于，包括：获取模块，用于获取原始三维卷积网络模型；解耦模块，用于对...

【专利技术属性】
技术研发人员：周祥增，尤安升，潘攀，张迎亚，徐盈辉，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：