视频处理方法及装置、设备和计算机可读存储介质制造方法及图纸

本发明专利技术提出了一种视频处理方法、装置、设备和计算机可读存储介质，该方法包括：获取视频图像序列，视频图像序列包括目标人体在指定衣着和/或指定配饰下基于指定角度被拍摄得到的多个图像；通过预定的人体姿态估计算法，获取每个图像中的第一人体关节点坐标集合；将视频图像序列对应的多个第一人体关节点坐标集合进行初始对齐处理，得到多个第二人体关节点坐标集合；对多个第二人体关节点坐标集合进行主轴对齐处理，得到多个第三人体关节点坐标集合。通过本发明专利技术的技术方案，以携带有时序信息的人体关节点坐标集合取代步态能量图作为步态识别模型的样本输入数据，有提升了步态识别模型的有效性，使得步态识别模型输出的步态识别结果更为精确可靠。

Video processing method and device, equipment and computer-readable storage medium

【技术实现步骤摘要】
视频处理方法及装置、设备和计算机可读存储介质
本专利技术涉及神经网络
，尤其涉及一种视频处理方法、装置、设备和计算机可读存储介质。
技术介绍
在视频步态识别中，可在视频中提取人体图像序列进行人体步态识别，具体来说，可在视频中提取人体轮廓图序列，并基于人体轮廓图序列的多个图像叠加得到步态能量图，最终将步态能量图作为步态识别模型的输入训练样本，训练步态识别模型。然而，由于每个图像本身是携带有时序信息的，生成步态能量图后，由于多图层叠加融合，则会导致每个图像本身的时序信息不再有意义，造成了时序信息的浪费，而少了时序信息这一至关重要的内容，则会影响所训练的步态识别模型的有效性及其识别结果的准确性。因此，如何在步态识别过程中有效利用时序信息，成为目前亟待解决的技术问题。
技术实现思路
本专利技术实施例提供了一种视频处理方法、装置、设备和计算机可读存储介质，旨在解决相关技术中步态识别模型的训练样本未有效利用时序信息的技术问题。第一方面，本专利技术实施例提供了一种视频处理方法，包括：获取视频图像序列，所述视频图像序列包括目标人体在指定衣着和/或指定配饰下基于指定角度被拍摄得到的多个图像；通过预定的人体姿态估计算法，获取每个所述图像中的第一人体关节点坐标集合；将所述视频图像序列对应的多个所述第一人体关节点坐标集合进行初始对齐处理，得到多个第二人体关节点坐标集合；对多个所述第二人体关节点坐标集合进行主轴对齐处理，得到多个第三人体关节点坐标集合。在本专利技术上述实施例中，可选地，所述初始对齐处理包括：对于每个所述图像，基于所述第一人体关节点坐标集合与指定坐标区域的相对位置关系，将所述图像中的目标人体关节点平移至所述指定坐标区域内。在本专利技术上述实施例中，可选地，在所述初始对齐处理之前，还包括：根据第一设置信息，设置所述指定坐标区域。在本专利技术上述实施例中，可选地，所述初始对齐处理还包括：确定第一参照图像中所述指定坐标区域内的多个第一指定关节点的第一间距；对每个所述图像中所述指定坐标区域内的关节点集合进行整体缩放，以使每个所述图像中所述多个第一指定关节点的第二间距调整至所述第一间距。在本专利技术上述实施例中，可选地，所述主轴对齐处理包括：获取第二参照图像中所述指定坐标区域内的两个第二指定关节点的第一中点，以及获取每个所述图像中所述指定坐标区域内的所述两个第二指定关节点的第二中点；移动每个所述图像中所述指定坐标区域内的关节点集合，以使所述第二中点与所述第一中点对齐。在本专利技术上述实施例中，可选地，在所述初始对齐处理之前，还包括：根据第二设置信息，将所述视频图像序列中的随机图像或指定图像设置为所述第一参照图像；在所述主轴对齐处理之前，还包括：根据第三设置信息，将所述视频图像序列中的随机图像或指定图像设置为所述第二参照图像。在本专利技术上述实施例中，可选地，在所述初始对齐处理之前，还包括：根据第二设置信息，将所述视频图像序列中的随机图像或指定图像设置为所述第一参照图像；在所述主轴对齐处理之前，还包括：根据第四设置信息，将所述目标人体基于所述指定角度被拍摄得到的任一视频图像序列中的随机图像或指定图像设置为所述第二参照图像；则所述获取视频图像序列的步骤，包括：获取多个所述视频图像序列；所述初始对齐处理的步骤，包括：基于所述第一参照图像，对单个所述视频图像序列进行序列内的初始对齐处理；所述主轴对齐处理的步骤，包括：基于所述第二参照图像，对完成所述初始对齐处理后的多个所述视频图像序列，执行序列间的主轴对齐处理。第二方面，本专利技术实施例提供了一种视频处理装置，包括：视频图像序列获取单元，用于获取视频图像序列，所述视频图像序列包括目标人体在指定衣着和/或指定配饰下基于指定角度被拍摄得到的多个图像；关节点坐标获取单元，用于通过预定的人体姿态估计算法，获取每个所述图像中的第一人体关节点坐标集合；第一对齐单元，用于将所述视频图像序列对应的多个所述第一人体关节点坐标集合进行初始对齐处理，得到多个第二人体关节点坐标集合；第二对齐单元，用于对多个所述第二人体关节点坐标集合进行主轴对齐处理，得到多个第三人体关节点坐标集合。在本专利技术上述实施例中，可选地，所述第一对齐单元用于：对于每个所述图像，基于所述第一人体关节点坐标集合与指定坐标区域的相对位置关系，将所述图像中的目标人体关节点平移至所述指定坐标区域内。在本专利技术上述实施例中，可选地，还包括：第一设置单元，用于在所述第一对齐单元进行所述初始对齐处理之前，根据第一设置信息，设置所述指定坐标区域。在本专利技术上述实施例中，可选地，所述第一对齐单元还用于：确定第一参照图像中所述指定坐标区域内的多个第一指定关节点的第一间距；对每个所述图像中所述指定坐标区域内的关节点集合进行整体缩放，以使每个所述图像中所述多个第一指定关节点的第二间距调整至所述第一间距。在本专利技术上述实施例中，可选地，所述第二对齐单元用于：获取第二参照图像中所述指定坐标区域内的两个第二指定关节点的第一中点，以及获取每个所述图像中所述指定坐标区域内的所述两个第二指定关节点的第二中点；移动每个所述图像中所述指定坐标区域内的关节点集合，以使所述第二中点与所述第一中点对齐。在本专利技术上述实施例中，可选地，还包括：第二设置单元，用于在所述第一对齐单元进行所述初始对齐处理之前，根据第二设置信息，将所述视频图像序列中的随机图像或指定图像设置为所述第一参照图像；第三设置单元，用于在所述第二对齐单元进行所述主轴对齐处理之前，根据第三设置信息，将所述视频图像序列中的随机图像或指定图像设置为所述第二参照图像。在本专利技术上述实施例中，可选地，还包括：第二设置单元，用于在所述第一对齐单元进行所述初始对齐处理之前，根据第二设置信息，将所述视频图像序列中的随机图像或指定图像设置为所述第一参照图像；第四设置单元，用于在所述第二对齐单元进行所述主轴对齐处理之前，根据第四设置信息，将所述目标人体基于所述指定角度被拍摄得到的任一视频图像序列中的随机图像或指定图像设置为所述第二参照图像；则所述视频图像序列获取单元用于：获取多个所述视频图像序列；所述第一对齐单元用于：基于所述第一参照图像，对单个所述视频图像序列进行序列内的初始对齐处理；所述第二对齐单元用于基于所述第二参照图像，对完成所述初始对齐处理后的多个所述视频图像序列，执行序列间的主轴对齐处理。第三方面，本专利技术实施例提供了一种设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述第一方面中任一项所述的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述第一方面中任一项所述的方法流程。以上技术方案，针对相关技术中步态识别模型的训练样本未有效利用时序信息的技术问题，可将携带有时序信息的人体关节点坐标集合作为步态识别模型的输入样本数据。最初，可获取多个不同人体的视频图像序列作本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：/n获取视频图像序列，所述视频图像序列包括目标人体在指定衣着和/或指定配饰下基于指定角度被拍摄得到的多个图像；/n通过预定的人体姿态估计算法，获取每个所述图像中的第一人体关节点坐标集合；/n将所述视频图像序列对应的多个所述第一人体关节点坐标集合进行初始对齐处理，得到多个第二人体关节点坐标集合；/n对多个所述第二人体关节点坐标集合进行主轴对齐处理，得到多个第三人体关节点坐标集合。/n

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：
获取视频图像序列，所述视频图像序列包括目标人体在指定衣着和/或指定配饰下基于指定角度被拍摄得到的多个图像；
通过预定的人体姿态估计算法，获取每个所述图像中的第一人体关节点坐标集合；
将所述视频图像序列对应的多个所述第一人体关节点坐标集合进行初始对齐处理，得到多个第二人体关节点坐标集合；
对多个所述第二人体关节点坐标集合进行主轴对齐处理，得到多个第三人体关节点坐标集合。


2.根据权利要求1所述的视频处理方法，其特征在于，所述初始对齐处理包括：
对于每个所述图像，基于所述第一人体关节点坐标集合与指定坐标区域的相对位置关系，将所述图像中的目标人体关节点平移至所述指定坐标区域内。


3.根据权利要求2所述的图像序列处理方法，其特征在于，在所述初始对齐处理之前，还包括：
根据第一设置信息，设置所述指定坐标区域。


4.根据权利要求2所述的视频处理方法，其特征在于，所述初始对齐处理还包括：
确定第一参照图像中所述指定坐标区域内的多个第一指定关节点的第一间距；
对每个所述图像中所述指定坐标区域内的关节点集合进行整体缩放，以使每个所述图像中所述多个第一指定关节点的第二间距调整至所述第一间距。


5.根据权利要求4所述的视频处理方法，其特征在于，所述主轴对齐处理包括：
获取第二参照图像中所述指定坐标区域内的两个第二指定关节点的第一中点，以及获取每个所述图像中所述指定坐标区域内的所述两个第二指定关节点的第二中点；
移动每个所述图像中所述指定坐标区域内的关节点集合，以使所述第二中点与所述第一中点对齐。


6.根据权利要求5所述的视频处理方法，其特征在于，在所述初始对齐处理之前，还包括：
根据第二设置信息，将所述视频图像序列中的随机图像或指定图像设置为所述第一参照图像；
在所述主轴对齐处理之前，还包括：
...

【专利技术属性】
技术研发人员：李玺，田健，吴昊潜，覃鑫，吴飞，董霖，叶新江，方毅，
申请(专利权)人：浙江大学，浙江每日互动网络科技股份有限公司，
类型：发明
国别省市：浙江;33