视频帧特征提取方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例公开了一种视频帧特征提取方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：获取多个视频帧，分别对每个视频帧进行特征提取，得到每个视频帧的初始特征信息，根据多个视频帧的初始特征信息进行运动识别，得到多个视频帧的运动特征信息，将多个视频帧的运动特征信息进行对比处理，得到每个视频帧的权重信息，分别对每个视频帧的初始特征信息与对应的权重信息进行融合处理，得到每个视频帧的目标特征信息。削弱了每个视频帧中与运动特征无关的信息，提高了多个视频帧的运动特征信息的准确性，增强每个视频帧的目标特征信息中的运动特征信息，从而提高了目标特征信息的准确性，实现了对视频帧的数据计算。

【技术实现步骤摘要】
视频帧特征提取方法、装置、计算机设备及存储介质
本申请实施例涉及计算机
，特别涉及一种视频帧特征提取方法、装置、计算机设备及存储介质。
技术介绍
随着计算机技术的发展，视频数据越来越丰富，对视频数据的处理方式也越来越多样，例如视频数据分类、视频数据分割等。在对视频数据进行分类或分割时，通常根据视频数据的特征信息进行处理，因此，如何准确提取特征信息尤为重要。相关技术中通常是获取视频数据中的多个视频帧，分别对每个视频帧进行特征提取，得到每个视频帧的特征信息。由于上述方法是对每个视频帧分别进行特征提取，得到的特征信息的准确性差。
技术实现思路
本申请实施例提供了一种视频帧特征提取方法、装置、计算机设备及存储介质，能够提高特征信息的准确性。所述技术方案包括以下内容。一方面，提供了一种视频帧特征提取方法，所述方法包括：获取同一视频数据中的多个视频帧；分别对每个视频帧进行特征提取，得到所述每个视频帧的初始特征信息，所述初始特征信息包括多个特征维度对应的初始特征；根据所述多个视频帧的初始特征信息进行运动识别，得到所述多个视频帧的运动特征信息，所述运动特征信息包括所述多个特征维度对应的运动特征；将所述多个视频帧的运动特征信息进行对比处理，得到所述每个视频帧的权重信息，所述权重信息包括所述多个特征维度对应的权重，所述权重表示所述特征维度对所述视频帧的运动特征的影响程度；分别对所述每个视频帧的初始特征信息与对应的权重信息进行融合处理，得到所述每个视频帧的目标特征信息。在一种可能实现方式中，所述根据所述多个样本视频帧的目标样本特征信息，对所述特征提取模型、所述运动识别模型、所述权重获取模型及所述注意力融合模型进行训练，包括：调用分类模型，对所述每个样本视频帧的目标样本特征信息进行分类处理，得到所述每个样本视频帧的类别特征信息，所述类别特征信息包括多个动作类别对应的特征值；将所述多个样本视频帧的类别特征信息进行融合，得到融合类别特征信息；将所述融合类别特征信息中的最大特征值所属的动作类别，确定为所述样本视频的目标动作类别；根据所述样本视频的目标动作类别与所述样本视频的样本动作类别之间的差异，确定所述特征提取模型的第二损失值，所述第二损失值与所述差异呈正相关关系；根据所述第二损失值，对所述特征提取模型、所述运动识别模型、所述权重获取模型及所述注意力模型进行训练。另一方面，提供了一种视频帧特征提取方法，所述方法包括：获取同一样本视频数据中的多个样本视频帧；调用特征提取模型，分别对每个样本视频帧进行特征提取，得到所述每个样本视频帧的目标样本特征信息；对于任一目标特征维度，根据所述多个样本视频帧的每两个样本视频帧的目标样本特征信息中，属于目标特征维度的样本特征之间的相似度之和，确定所述目标特征维度的相似度；根据预设数目个目标特征维度的相似度，确定所述特征提取模型的第一损失值，所述第一损失值与所述预设数目个目标特征维度的相似度呈正相关关系；根据所述第一损失值，对所述特征提取模型进行训练；调用训练后的所述特征提取模型，对任一视频帧进行特征提取，得到所述任一视频帧的特征信息。在一种可能实现方式中，所述方法还包括：调用分类模型，对所述每个样本视频帧的目标样本特征进行分类处理，得到所述每个样本视频帧的类别特征信息，所述类别特征信息包括多个类别对应的特征值；将所述多个样本视频帧的类别特征信息进行融合，得到融合类别特征信息；将所述融合类别特征信息中的最大特征值所属的类别，确定为所述样本视频的目标类别；根据所述样本视频的目标类别与所述样本视频的样本类别之间的差异，确定所述特征提取模型的第二损失值，所述第二损失值与所述差异呈正相关关系；所述根据所述第一损失值，对所述特征提取模型进行训练，包括：根据所述第一损失值和所述第二损失值，对所述特征提取模型进行训练。另一方面，提供了一种视频帧特征提取装置，所述装置包括：视频帧获取模块，用于获取同一视频数据中的多个视频帧；特征提取模块，用于分别对每个视频帧进行特征提取，得到所述每个视频帧的初始特征信息，所述初始特征信息包括多个特征维度对应的初始特征；运动识别模块，用于根据所述多个视频帧的初始特征信息进行运动识别，得到所述多个视频帧的运动特征信息，所述运动特征信息包括所述多个特征维度对应的运动特征；对比处理模块，用于将所述多个视频帧的运动特征信息进行对比处理，得到所述每个视频帧的权重信息，所述权重信息包括所述多个特征维度对应的权重，所述权重表示所述特征维度对所述视频帧的运动特征的影响程度；第一融合处理模块，用于分别对所述每个视频帧的初始特征信息与对应的权重信息进行融合处理，得到所述每个视频帧的目标特征信息。在一种可能实现方式中，所述运动识别模块，用于对所述多个视频帧中相邻的任两个视频帧的初始特征信息进行对比处理，得到所述任两个视频帧中第一个视频帧的运动特征信息。在另一种可能实现方式中，所述运动识别模块，包括：降维处理单元，用于对所述任两个视频帧中第一个视频帧及第二个视频帧的初始特征信息中的每个初始特征进行降维处理；特征信息确定单元，用于将所述第一个视频帧降维处理后的特征信息与所述第二个视频帧降维处理后的特征信息之间的差异特征信息，确定为所述第一个视频帧的运动特征信息。在另一种可能实现方式中，所述装置还包括：特征信息确定模块，用于将预设特征信息确定为所述多个视频帧中的最后一个视频帧的运动特征信息。在另一种可能实现方式中，所述对比处理模块，包括：融合处理单元，用于对于所述每个视频帧，将所述视频帧的运动特征信息与所述视频帧之前的至少一个视频帧的运动特征信息进行融合处理，得到所述视频帧的融合运动特征信息，所述融合运动特征信息包括所述多个特征维度对应的融合运动特征；归一化处理单元，用于对所述融合运动特征信息中的多个融合运动特征进行归一化处理，将归一化处理后的融合运动特征信息作为所述权重信息。在另一种可能实现方式中，所述装置还包括：第二融合处理模块，用于响应于所述视频帧为所述多个视频帧中的第一个视频帧，将所述视频帧的运动特征信息与所述多个视频帧中最后一个视频帧的运动特征信息进行融合处理，得到所述视频帧的融合运动特征信息。在另一种可能实现方式中，所述装置还包括：分类处理模块，用于对所述每个视频帧的目标特征信息进行分类处理，得到所述每个视频帧的类别特征信息，所述类别特征信息包括多个动作类别对应的特征值；信息融合模块，用于将所述多个视频帧的类别特征信息进行融合，得到融合类别特征信息；类别确定模块，用于将所述融合类别特征信息中的最大特征值所属的动作类别，确定为所述视频数据的动作类别。在另一种可能实现方式中，所述特征提取模块，还用于调用特征提取模型，分别对每个视频帧本文档来自技高网...

【技术保护点】
1.一种视频帧特征提取方法，其特征在于，所述方法包括：/n获取同一视频数据中的多个视频帧；/n分别对每个视频帧进行特征提取，得到所述每个视频帧的初始特征信息，所述初始特征信息包括多个特征维度对应的初始特征；/n根据所述多个视频帧的初始特征信息进行运动识别，得到所述多个视频帧的运动特征信息，所述运动特征信息包括所述多个特征维度对应的运动特征；/n将所述多个视频帧的运动特征信息进行对比处理，得到所述每个视频帧的权重信息，所述权重信息包括所述多个特征维度对应的权重，所述权重表示所述特征维度对所述视频帧的运动特征的影响程度；/n分别对所述每个视频帧的初始特征信息与对应的权重信息进行融合处理，得到所述每个视频帧的目标特征信息。/n

【技术特征摘要】
1.一种视频帧特征提取方法，其特征在于，所述方法包括：
获取同一视频数据中的多个视频帧；
分别对每个视频帧进行特征提取，得到所述每个视频帧的初始特征信息，所述初始特征信息包括多个特征维度对应的初始特征；
根据所述多个视频帧的初始特征信息进行运动识别，得到所述多个视频帧的运动特征信息，所述运动特征信息包括所述多个特征维度对应的运动特征；
将所述多个视频帧的运动特征信息进行对比处理，得到所述每个视频帧的权重信息，所述权重信息包括所述多个特征维度对应的权重，所述权重表示所述特征维度对所述视频帧的运动特征的影响程度；
分别对所述每个视频帧的初始特征信息与对应的权重信息进行融合处理，得到所述每个视频帧的目标特征信息。


2.根据权利要求1所述的方法，其特征在于，所述根据所述多个视频帧的初始特征信息进行运动识别，得到所述多个视频帧的运动特征信息，包括：
对所述多个视频帧中相邻的任两个视频帧的初始特征信息进行对比处理，得到所述任两个视频帧中第一个视频帧的运动特征信息。


3.根据权利要求2所述的方法，其特征在于，所述对所述多个视频帧中相邻的任两个视频帧的初始特征信息进行对比处理，得到所述任两个视频帧中第一个视频帧的运动特征信息，包括：
对所述任两个视频帧中第一个视频帧及第二个视频帧的初始特征信息中的每个初始特征进行降维处理；
将所述第一个视频帧降维处理后的特征信息与所述第二个视频帧降维处理后的特征信息之间的差异特征信息，确定为所述第一个视频帧的运动特征信息。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将预设特征信息确定为所述多个视频帧中的最后一个视频帧的运动特征信息。


5.根据权利要求1所述的方法，其特征在于，所述将所述多个视频帧的运动特征信息进行对比处理，得到所述每个视频帧的权重信息，包括：
对于所述每个视频帧，将所述视频帧的运动特征信息与所述视频帧之前的至少一个视频帧的运动特征信息进行融合处理，得到所述视频帧的融合运动特征信息，所述融合运动特征信息包括所述多个特征维度对应的融合运动特征；
对所述融合运动特征信息中的多个融合运动特征进行归一化处理，将归一化处理后的融合运动特征信息作为所述权重信息。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
响应于所述视频帧为所述多个视频帧中的第一个视频帧，将所述视频帧的运动特征信息与所述多个视频帧中最后一个视频帧的运动特征信息进行融合处理，得到所述视频帧的融合运动特征信息。


7.根据权利要求1所述的方法，其特征在于，所述分别对所述每个视频帧的初始特征信息与对应的权重信息进行融合处理，得到所述每个视频帧的目标特征信息之后，所述方法还包括：
对所述每个视频帧的目标特征信息进行分类处理，得到所述每个视频帧的类别特征信息，所述类别特征信息包括多个动作类别对应的特征值；
将所述多个视频帧的类别特征信息进行融合，得到融合类别特征信息；
将所述融合类别特征信息中的最大特征值所属的动作类别，确定为所述视频数据的动作类别。


8.根据权利要求1所述的方法，其特征在于，所述分别对每个视频帧进行特征提取，得到所述每个视频帧的初始特征信息的步骤通过调用特征提取模型实现；
所述根据所述多个视频帧的初始特征信息进行运动识别，得到所述多个视频帧的运动特征信息的步骤通过调用运动识别模型实现；
所述将所述多个视频帧的运动特征信息进行对比处理，得到所述每个视频帧的权重信息的步骤通过调用权重获取模型实现；
所述分别对所述每个视频帧的初始特征信息与对应的权重信息进行融合处理，得到所述每个视频帧的目标特征信息的步骤通过调用注意力融合模型实现。


9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
获取同一样本视频数据中的多个样本视频帧；
调用所述特征提取模型，分别对每个样本视频帧进行特征提取，得到所述每个样本视频帧的初始样本特征信息，所述初始样本特征信息包括所述多个特征维度对应的初始样本特征；
调用所述运动识别模型，根据所述多个样本视频帧的初始样本特征信息进行运动识别，得到所述多个样本视频帧的运动样本特征信息，所述运动样本特征信息包括所述多个特征维度对应的运动样本特征；
调用所述权重获取模型，将所述多个样本视频帧的运动样本...

【专利技术属性】
技术研发人员：姜博源，罗栋豪，翁俊武，王亚彪，丁鹏，汪铖杰，李季檩，黄飞跃，吴永坚，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44