视频识别模型训练方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种视频识别模型训练方法、装置、设备、存储介质以及程序产品，涉及人工智能领域，具体为计算机视觉和深度学习技术，可应用于视频分析场景下。该方法的一具体实施方式包括：将样本视频划分成多个样本视频片段；从样本视频片段中采样部分样本视频帧，并输入至特征提取网络，得到样本视频片段的特征信息；利用动态片段融合模块对特征信息进行卷积融合，得到融合特征信息，其中，动态片段融合模块的卷积核随视频输入的不同而变化；将融合特征信息输入至全连接层，得到样本视频的预测类别；基于真实类别标签与预测类别的差异进行参数调整，得到视频识别模型。该实施方式提高了视频识别模型的识别精度。

【技术实现步骤摘要】
视频识别模型训练方法、装置、设备以及存储介质
本公开涉及人工智能领域，具体为计算机视觉和深度学习技术，可应用于视频分析场景下。
技术介绍
视频识别，即输入一段视频根据视频内容对其进行分类。视频识别是计算机视觉社区中最活跃的研究主题之一。评估视频识别方法的两个最重要方面是分类准确性和推理成本。最近视频识别已经在识别精度上取得了巨大的成功，但是由于庞大的计算成本，它仍然是一项具有挑战性的任务。目前针对深度学习相关的方法，提高视频识别精度的工作主要集中在设计捕获更高阶动作语意的网络结构上，而输入网络的帧通过均匀或随机间隔采样获得。在推理过程中，对得到的片段结果进行平均。该方法在短视频上效果尚可，但是在拥有更长更丰富信息的长视频上精度则大打折扣。
技术实现思路
本公开实施例提出了一种视频识别模型训练方法、装置、设备、存储介质以及程序产品。第一方面，本公开实施例提出了一种视频识别模型训练方法，包括：将样本视频划分成多个样本视频片段，其中，样本视频标注有真实类别标签；从样本视频片段中采样部分样本视频帧，并输入至特征提取网络，得到样本视频片段的特征信息；利用动态片段融合模块对特征信息进行卷积融合，得到融合特征信息，其中，动态片段融合模块的卷积核随视频输入的不同而变化；将融合特征信息输入至全连接层，得到样本视频的预测类别；基于真实类别标签与预测类别的差异进行参数调整，得到视频识别模型。第二方面，本公开实施例提出了一种视频识别方法，包括：获取待识别视频；将待识别视频划分成多个待识别视频片段；从待识别视频片段中采样部分待识别视频帧，并输入至视频识别模型，得到待识别视频的类别，其中，视频识别模型根据第一方面中任一实现方式描述的训练方法训练获得。第三方面，本公开实施例提出了一种视频识别模型训练装置，包括：划分模块，被配置成将样本视频划分成多个样本视频片段，其中，样本视频标注有真实类别标签；提取模块，被配置成从样本视频片段中采样部分样本视频帧，并输入至特征提取网络，得到样本视频片段的特征信息；融合模块，被配置成利用动态片段融合模块对特征信息进行卷积融合，得到融合特征信息，其中，动态片段融合模块的卷积核随视频输入的不同而变化；预测模块，被配置成将融合特征信息输入至全连接层，得到样本视频的预测类别；调整模块，被配置成基于真实类别标签与预测类别的差异进行参数调整，得到视频识别模型。第四方面，本公开实施例提出了一种视频识别装置，包括：获取模块，被配置成获取待识别视频；划分模块，被配置成将待识别视频划分成多个待识别视频片段；识别模块，被配置成从待识别视频片段中采样部分待识别视频帧，并输入至视频识别模型，得到待识别视频的类别，其中，视频识别模型根据第一方面中任一实现方式描述的训练方法训练获得。第五方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法，或者执行如第二方面中任一实现方式描述的方法。第六方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法，或者执行如第二方面中任一实现方式描述的方法。第七方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法，或者实现如第二方面中任一实现方式描述的方法。本公开实施例提供的视频识别模型训练方法、装置、设备、存储介质以及程序产品，通过设计动态片段融合模块，使视频识别模型的卷积核能够在训练和推理中随着视频输入的不同而变化，从而提高了识别精度。视频识别模型采用动态卷积融合的识别方式，融合片段的卷积核参数能够随着输入的视频而变化，实现比单纯使用一种卷积核更为精准的时域感知，在提升识别精度的同时不会增加计算复杂度。尤其能够提升拥有更长更丰富的信息的长视频的识别精度。可用于中长视频分类、影视剧内容分类等。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开的视频识别模型训练方法的一个实施例的流程图；图2是根据本公开的视频识别模型训练方法的又一个实施例的流程图；图3是可以实现本公开实施例的视频识别模型训练方法的场景图；图4是视频识别模型的结构示意图；图5是DSABlock的结构示意图；图6是根据本公开的视频识别方法的一个实施例的流程图；图7是根据本公开的视频识别模型训练装置的一个实施例的结构示意图；图8是根据本公开的视频识别装置的一个实施例的结构示意图；图9是用来实现本公开实施例的视频识别模型训练方法或视频识别方法的电子设备的框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。图1示出了根据本公开的视频识别模型训练方法的一个实施例的流程100。该视频识别模型训练方法包括以下步骤：步骤101，将样本视频划分成多个样本视频片段。在本实施例中，视频识别模型训练方法的执行主体可以获取样本视频集。对于样本视频集中的样本视频，上述执行主体可以将样本视频划分成多个样本视频片段。其中，样本视频集可以包括大量标注有真实类别标签的样本视频。样本视频标注的真实类别标签可以利用其他视频识别模型分类得到，也可以人工分类得到，这里不进行限定。这里，样本视频可以通过多种方式来划分样本视频片段。例如，根据视频长度对样本视频进行均匀划分，得到多个相同长度的样本视频片段。又例如，按照固定长度对样本视频进行划分，得到多个固定长度的样本视频片段。再例如，对样本视频进行随机划分，得到多个随机长度的样本视频片段。步骤102，从样本视频片段中采样部分样本视频帧，并输入至特征提取网络，得到样本视频片段的特征信息。在本实施例中，对于多个样本视频片段中的样本视频片段，上述执行主体可以从样本视频片段中采样部分样本视频帧，并输入至特征提取网络，得到样本视频片段的特征信息。仅采样部分样本视频帧，输入特征提取网络进行特征提取，可以降低训练工作量，缩短训练时间。其中，特征本文档来自技高网...

【技术保护点】
1.一种视频识别模型训练方法，包括：/n将样本视频划分成多个样本视频片段，其中，所述样本视频标注有真实类别标签；/n从所述样本视频片段中采样部分样本视频帧，并输入至特征提取网络，得到所述样本视频片段的特征信息；/n利用动态片段融合模块对所述特征信息进行卷积融合，得到融合特征信息，其中，所述动态片段融合模块的卷积核随视频输入的不同而变化；/n将所述融合特征信息输入至全连接层，得到所述样本视频的预测类别；/n基于所述真实类别标签与所述预测类别的差异进行参数调整，得到所述视频识别模型。/n

【技术特征摘要】
1.一种视频识别模型训练方法，包括：
将样本视频划分成多个样本视频片段，其中，所述样本视频标注有真实类别标签；
从所述样本视频片段中采样部分样本视频帧，并输入至特征提取网络，得到所述样本视频片段的特征信息；
利用动态片段融合模块对所述特征信息进行卷积融合，得到融合特征信息，其中，所述动态片段融合模块的卷积核随视频输入的不同而变化；
将所述融合特征信息输入至全连接层，得到所述样本视频的预测类别；
基于所述真实类别标签与所述预测类别的差异进行参数调整，得到所述视频识别模型。


2.根据权利要求1所述的方法，其中，所述利用动态片段融合模块对所述特征信息进行卷积融合，得到融合特征信息，包括：
将所述特征信息在通道维度上划分成第一特征信息和第二特征信息；
利用卷积核生成分支网络确定所述样本视频对应的卷积核；
利用所述样本视频对应的卷积核对所述第一特征信息进行卷积，得到卷积结果；
将所述卷积结果与所述第二特征信息进行拼接，得到所述融合特征。


3.根据权利要求2所述的方法，其中，所述将所述特征信息在通道维度上划分成第一特征信息和第二特征信息，包括：
按照预设超参数β将所述特征信息在通道维度上划分成所述第一特征信息和所述第二特征信息，其中，所述第一特征信息的通道维度是βC，所述第二特征信息的通道维度是(1-β)C，C是所述特征信息的通道维度。


4.根据权利要求3所述的方法，其中，所述利用卷积核生成分支网络确定所述样本视频对应的卷积核，包括：
计算所述第一特征信息的通道维度βC、所述样本视频的片段数、所述样本视频片段的采样帧数、所述样本视频帧的高和宽的乘积；
将所述乘积输入至所述卷积核生成分支网络，得到所述样本视频对应的卷积核。


5.根据权利要求2-4中任一项所述的方法，其中，所述卷积核生成分支网络包括一个全局平均池化层和两个全连接层。


6.根据权利要求1-5中任一项所述的方法，其中，所述视频识别模型包括多个残差层，所述多个残差层间隔设置至少一个动态片段融合模块。


7.根据权利要求1-6中任一项所述的方法，其中，所述将样本视频划分成多个样本视频片段，包括：
根据视频长度对所述样本视频进行均匀划分，得到所述多个样本视频片段；以及
所述从所述样本视频片段中采样部分样本视频帧，包括：
对所述样本视频片段进行均匀间隔采样，得到所述部分样本视频帧。


8.根据权利要求1-7中任一项所述的方法，其中，所述基于所述真实类别标签与所述预测类别的差异进行参数调整，得到所述视频识别模型，包括：
基于所述真实类别标签和所述预测类别计算交叉熵损失；
使用随机梯度下降对所述交叉熵损失进行优化，不断进行参数更新，直至所述交叉熵损失收敛，得到所述视频识别模型。


9.一种视频识别方法，包括：
获取待识别视频；
将所述待识别视频划分成多个待识别视频片段；
从所述待识别视频片段中采样部分待识别视频帧，并输入至视频识别模型，得到所述待识别视频的类别，其中，所述视频识别模型根据权利要求1-8中任一项的训练方法训练获得。


10.根据权利要求9所述的方法，其中，所述待识别视频的划分粒度大于用于训练所述视频识别模型的样本视频的划分粒度。


11.一种视频识别模型训练装置，包括：
划分模块，被配置成将样本视频划分成多个样本视频片段，其中，所述样本视频标注有真实类别标签；
提取模块，被配置成从所述样本视频片段中采样部分样本视频帧，并输入至特征提取网络，得到所述样本视频片段的特征信息；
融合模块，被配置成利用动态片段融合模块对所述特征信息进行卷积融合，得到融合特征信息...

【专利技术属性】
技术研发人员：吴文灏，赵禹翔，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11