本公开实施例提供一种视频处理方法与装置、计算机可读存储介质、计算机设备，用于获取第一位置序列，所述第一位置序列中包括多个位置信息，每个位置信息用于表征第一视频的一帧视频帧中目标对象执行动作时所处的位置；基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列；基于所述第一特征序列，执行与所述第一视频相关的视频处理任务。执行与所述第一视频相关的视频处理任务。执行与所述第一视频相关的视频处理任务。
【技术实现步骤摘要】
视频处理方法与装置、计算机可读存储介质、计算机设备
[0001]本公开涉及计算机视觉
，尤其涉及视频处理方法与装置、计算机可读存储介质、计算机设备。
技术介绍
[0002]随着5G时代的到来，视频内容迎来爆发式增长，短视频和vlog等人体动作视频都非常流行。为了便于执行视频推送和分类等视频处理任务，常常需要对视频中的动作进行识别，并基于识别出的动作类别为视频添加标签。然而，由于动作具有多样性，并且一些视频中的动作本身可能并不具有特定含义。因此，基于标签来执行视频处理任务所得到的处理结果的准确度较低。
技术实现思路
[0003]本公开提供一种视频处理方法与装置、计算机可读存储介质、计算机设备。
[0004]根据本公开实施例的第一方面，提供一种视频处理方法，所述方法包括：获取第一位置序列，所述第一位置序列中包括多个位置信息，每个位置信息用于表征第一视频的一帧视频帧中目标对象执行动作时所处的位置；基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列；基于所述第一特征序列，执行与所述第一视频相关的视频处理任务。
[0005]在一些实施例中，所述基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列，包括：基于所述第一位置序列对所述第一视频进行关键点检测，得到第一关键点序列，所述第一关键点序列中包括所述第一视频的至少一帧视频帧中所述目标对象的关键点位置；基于所述第一关键点序列对所述第一视频进行特征提取，得到所述第一特征序列。
[0006]在一些实施例中，所述基于所述第一关键点序列对所述第一视频进行特征提取，得到所述第一特征序列，包括：对所述第一关键点序列进行归一化处理；将归一化处理后的所述第一关键点序列确定为所述第一特征序列。
[0007]在一些实施例中，所述对所述第一关键点序列进行归一化处理，包括：针对所述至少一帧视频帧中的每帧视频帧执行以下操作：对所述视频帧进行平移，平移后的所述视频帧中各个关键点的中心点位于坐标原点；基于平移后的所述视频帧中各个关键点与所述中心点的最大距离，对所述视频帧中各个关键点进行归一化处理。
[0008]在一些实施例中，所述方法还包括：在对所述第一关键点序列进行归一化处理之前，从所述第一关键点序列中过滤掉无效的关键点位置。
[0009]在一些实施例中，所述第一关键点序列中还包括各个关键点的置信度；所述基于所述第一关键点序列对所述第一视频进行特征提取，得到第一特征序列，包括：将所述第一关键点序列输入预先建立的图卷积网络；获取所述图卷积网络基于各个关键点的位置和置信度输出的所述第一特征序列。
[0010]在一些实施例中，所述基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列，包括：基于所述第一位置序列，从所述第一视频的至少一帧视频帧中的每帧视频帧中裁剪出目标区域，所述目标区域中包括所述目标对象，且所述目标区域的尺寸大于所述目标对象的尺寸；将所述每帧视频帧对应的目标区域输入预先训练的卷积神经网络，并获取所述卷积神经网络输出的所述第一特征序列。
[0011]在一些实施例中，所述基于所述第一特征序列，执行与所述第一视频相关的视频处理任务，包括：获取视频库中的第二视频的第二特征序列；基于所述第一特征序列与所述第二特征序列之间的相似度，执行与所述第一视频相关的视频处理任务。
[0012]在一些实施例中，所述第二视频包括多个，所述视频处理任务包括视频分类任务；所述基于所述第一特征序列与所述第二特征序列之间的相似度，执行与所述第一视频相关的视频处理任务，包括：分别获取所述第一特征序列与多个所述第二视频中各个第二视频的第二特征序列之间的相似度；将与所述第一特征序列相似度最大的第二特征序列对应的第二视频的类别确定为所述第一视频的类别。
[0013]在一些实施例中，所述视频处理任务包括视频分类任务；所述基于所述第一特征序列与所述第二特征序列之间的相似度，执行与所述第一视频相关的视频处理任务，包括：若未查找到与所述第一特征序列相似度大于预设值的第二特征序列，为所述第一视频创建新的类别。
[0014]在一些实施例中，所述视频处理任务包括视频推送任务；所述基于所述第一特征序列与所述第二特征序列之间的相似度，执行与所述第一视频相关的视频处理任务，包括：获取所述第二特征序列中的至少一个目标第二特征序列，任意一个目标第二特征序列与所述第一特征序列的相似度大于各个目标第二特征序列以外的其他第二特征序列与所述第一特征序列的相似度；针对每个目标第二特征序列，基于多个第三特征序列中的每个第三序列与所述目标第二特征序列的相似度，从所述多个第三特征序列中选取至少一个第三特征序列作为所述目标第二特征序列的目标第三特征序列，选取的任意一个目标第三特征序列与所述目标第二特征序列的相似度大于各个目标第三特征序列以外的其他第三特征序列；将各个目标第二特征序列对应的第二视频以及与每个目标第二特征序列的目标第三特征序列对应的第三视频推送给用户。
[0015]根据本公开实施例的第二方面，提供一种视频处理装置，所述装置包括：获取模块，用于获取第一位置序列，所述第一位置序列中包括多个位置信息，每个位置信息用于表征第一视频的一帧视频帧中目标对象执行动作时所处的位置；特征提取模块，用于基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列；视频处理模块，用于基于所述第一特征序列，执行与所述第一视频相关的视频处理任务。
[0016]在一些实施例中，所述特征提取模块包括：关键点检测单元，用于基于所述第一位置序列对所述第一视频进行关键点检测，得到第一关键点序列，所述第一关键点序列中包括所述第一视频的至少一帧视频帧中所述目标对象的关键点位置；特征提取单元，用于基于所述第一关键点序列对所述第一视频进行特征提取，得到所述第一特征序列。
[0017]在一些实施例中，所述特征提取单元用于：对所述第一关键点序列进行归一化处理；将归一化处理后的所述第一关键点序列确定为所述第一特征序列。
[0018]在一些实施例中，所述特征提取单元包括：平移子单元，用于对所述视频帧进行平
移，平移后的所述视频帧中各个关键点的中心点位于坐标原点；归一化单元，用于基于平移后的所述视频帧中各个关键点与所述中心点的最大距离，对所述视频帧中各个关键点进行归一化处理。
[0019]在一些实施例中，所述装置还包括：过滤模块，用于在对所述第一关键点序列进行归一化处理之前，从所述第一关键点序列中过滤掉无效的关键点位置。
[0020]在一些实施例中，所述第一关键点序列中还包括各个关键点的置信度；所述特征提取单元包括：输入子单元，用于将所述第一关键点序列输入预先建立的图卷积网络；获取子单元，用于获取所述图卷积网络基于各个关键点的位置和置信度输出的所述第一特征序列。
[0021]在一些实施例中，所述特征提取模块用于：裁剪单元，用于基于所述第一位置序列，从所述第一视频的至少一帧视频帧中的每帧视频帧中裁剪出目标区域，所述目标区域中包括所述目标对象，且本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：获取第一位置序列，所述第一位置序列中包括多个位置信息，每个位置信息用于表征第一视频的一帧视频帧中目标对象执行动作时所处的位置；基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列；基于所述第一特征序列，执行与所述第一视频相关的视频处理任务。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列，包括：基于所述第一位置序列对所述第一视频进行关键点检测，得到第一关键点序列，所述第一关键点序列中包括所述第一视频的至少一帧视频帧中所述目标对象的关键点位置；基于所述第一关键点序列对所述第一视频进行特征提取，得到所述第一特征序列。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一关键点序列对所述第一视频进行特征提取，得到所述第一特征序列，包括：对所述第一关键点序列进行归一化处理；将归一化处理后的所述第一关键点序列确定为所述第一特征序列。4.根据权利要求3所述的方法，其特征在于，所述对所述第一关键点序列进行归一化处理，包括：针对所述至少一帧视频帧中的每帧视频帧执行以下操作：对所述视频帧进行平移，平移后的所述视频帧中各个关键点的中心点位于坐标原点；基于平移后的所述视频帧中各个关键点与所述中心点的最大距离，对所述视频帧中各个关键点进行归一化处理。5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：在对所述第一关键点序列进行归一化处理之前，从所述第一关键点序列中过滤掉无效的关键点位置。6.根据权利要求2至5任意一项所述的方法，其特征在于，所述第一关键点序列中还包括各个关键点的置信度；所述基于所述第一关键点序列对所述第一视频进行特征提取，得到第一特征序列，包括：将所述第一关键点序列输入预先建立的图卷积网络；获取所述图卷积网络基于各个关键点的位置和置信度输出的所述第一特征序列。7.根据权利要求1至6任意一项所述的方法，其特征在于，所述基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列，包括：基于所述第一位置序列，从所述第一视频的至少一帧视频帧中的每帧视频帧中裁剪出目标区域，所述目标区域中包括所述目标对象，且所述目标区域的尺寸大于所述目标对象的尺寸；将所述每帧视频帧对应的目标区域输入预先训练的卷积神经网络，并获取所述卷积神经网络输出的所述第一特征序列。8.根据权利要求1至7任意一项所述的方法，其特征在于，所述基于所述第一特征序列，执行与所述第一视频相关的视频处理任务，包括：获取视频库中的第二视频的第二...
【专利技术属性】
技术研发人员：于志鹏，郭宇，吴天行，王靖博，梁鼎，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。