一种基于位置偏移的事件相机人体姿态估计方法及系统技术方案

本发明专利技术公开了一种基于位置偏移的事件相机人体姿态估计方法及系统，该方法包括：将事件相机获取的人体姿态事件流建立图像帧，在每帧事件图像的时间窗内，求取所有关节点的平均位置，并创建每个关节点的热图；基于堆叠沙漏网络建立人体姿态估计模型，基于高分辨率网络建立人体姿态修正模型，利用事件图像和热图进行训练；将待检测事件图像输入到人体姿态估计模型，得到初始人体姿态；将初始人体姿态和待检测事件图像串联输入到人体姿态修正模型，得到关节点的位置偏移特征图；将位置偏移特征图上采样并与初始人体姿态相加，得到最终的人体姿态。本发明专利技术引入事件相机来获取人体姿态图像，利用基于位置偏移的人体姿态修正网络进行修正，提高精度。

【技术实现步骤摘要】
一种基于位置偏移的事件相机人体姿态估计方法及系统
本专利技术属于计算机视觉目标检测
，具体涉及一种基于位置偏移的事件相机人体姿态估计方法及系统。
技术介绍
人体姿态估计，是利用图像特征来估计人体各个部位在图像中的具体位置，对描述人体姿态、预测人体行为等起着至关重要的作用，且在动作识别、人机交互、增强现实等领域获得了广泛应用。然而，传统相机拍摄的图像是基于固定帧率捕获的一系列静态帧，存在着大量数据冗余、运动模糊以及受光照变化影响较大等缺点，会影响人体姿态估计的精度。
技术实现思路
本专利技术解决的技术问题是提供一种基于位置偏移的事件相机人体姿态估计方法及系统，解决传统相机拍摄的图像存在数据冗余、运动模糊以及受光照变化影响较大等缺点，而影响人体姿态估计精度的问题。本专利技术采用的技术方案为：一种基于位置偏移的事件相机人体姿态估计方法，包括以下步骤：S1、将事件相机获取的人体姿态事件流建立图像帧，得到多帧事件图像；在每帧事件图像的时间窗内，求取所有关节点的平均位置，并创建每个关节点的热图；S2、基于堆叠沙漏网络建立人体姿态估计模型，利用事件图像和对应的关节点热图对人体姿态估计模型进行训练；S3、基于高分辨率网络建立人体姿态修正模型，将所有关节点的热图和对应的事件图像串联输入到人体姿态修正模型进行训练；S4、将待检测事件图像输入到训练好的人体姿态估计模型，得到初始人体姿态；将初始人体姿态和待检测事件图像串联输入到训练好的人体姿态修正模型，得到关节点的位置偏移特征图；将位置偏移特征图上采样并与初始人体姿态相加，得到最终的2D人体姿态。进一步地，在每帧事件图像的时间窗内，求取所有关节点的平均位置具体包括：S101、将每帧事件图像时间窗内的事件流建立图像帧，得到多张子事件图像；S102、计算每张子事件图像中所有关节点的位置；S103、分别求取每个关节点的平均位置，作为该帧事件图像中关节点的位置。进一步地，建立图像帧具体为：将一段时间里相应的事件进行累积，并以二进制图像进行表达。进一步地，利用2D人体姿态得到所有关节点的二维坐标，利用投影矩阵将关节点二维坐标转换为三维坐标，得到3D人体姿态。进一步地，利用事件相机获取多视角的人体姿态事件流，进而得到多视角的2D人体姿态，通过多视角的2D人体姿态得到3D人体姿态。进一步地，通过多视角的2D人体姿态得到3D人体姿态具体包括：S501、利用多视角的2D人体姿态得到所有关节点的二维坐标；S502、利用投影矩阵将每个视角的关节点二维坐标转换为三维坐标，利用投影矩阵得到每个视角下该事件相机的3D位置；S503、对每个类别的关节点，每个视角下该事件相机的3D位置和该视角下该类别关节点的三维坐标形成一条射线，多个视角得到多条射线；S504、利用最小二乘法，从该类别关节点的三维坐标中，找出距离该类别关节点的多条射线最近的点，即为该类别关节点的3D位置，进而得到3D人体姿态。进一步地，利用投影矩阵将关节点二维坐标转换为三维坐标具体如下：式中，(u，v)为关节点二维坐标，(X，Y，Z)为关节点三维坐标，p为投影矩阵。进一步地，利用投影矩阵得到每个视角下该事件相机的3D位置具体如下：P＝(Q|c4)C＝Q-1c4式中，Q为3×3的矩阵，c4为P矩阵的第四列，C为相机位置。进一步地，创建每个关节点的热图具体包括：为每个关节点创建一个标签图像，将关节点位置的像素设置为1，其余像素点设置为0，使用高斯模糊对每个标签图像进行平滑处理，得到对应的热图。本专利技术还提供一种用于实现上述权利要求的基于位置偏移的事件相机人体姿态估计方法的基于位置偏移的事件相机人体姿态估计系统，包括：关节点热图模块，用于将事件相机获取的人体姿态事件流建立图像帧，得到多帧事件图像；在每帧事件图像的时间窗内，求取所有关节点的平均位置，并创建每个关节点的热图；人体姿态估计模块，用于基于堆叠沙漏网络建立人体姿态估计模型，利用事件图像和对应的关节点热图对人体姿态估计模型进行训练；人体姿态修正模块，用于基于高分辨率网络建立人体姿态修正模型，将所有关节点的热图和对应的事件图像串联输入到人体姿态修正模型进行训练；人体姿态检测模块，用于将待检测事件图像输入到训练好的人体姿态估计模型，得到初始人体姿态；将初始人体姿态和待检测事件图像串联输入到训练好的人体姿态修正模型，得到关节点的位置偏移特征图；将位置偏移特征图上采样并与初始人体姿态相加，得到最终的人体姿态。本专利技术的有益效果是：本专利技术引入具有低延时、动态范围高等优点的动态视觉传感器DVS-事件相机来获取人体姿态图像，能够解决传统相机拍摄的图像存在数据冗余、运动模糊以及受光照变化影响较大等缺点而影响人体姿态估计精度的问题；本专利技术由人体姿态估计网络得到初始的人体姿态，为了减小人体姿态估计网络下采样带来的偏差，减少错估漏估的情况，将基于位置偏移的人体姿态修正网络作为后端处理措施，由初始人体姿态加上偏移值得到最终的人体姿态，能够得到较高的精度。进一步地，本专利技术可以利用事件相机获取多视角的人体姿态事件流，进而得到多视角的2D人体姿态，利用多视角的2D人体姿态得到所有关节点的二维坐标，利用投影矩阵将每个视角的关节点二维坐标转换为三维坐标，并利用最小二乘法从该类别关节点的三维坐标中找出距离该类别射线最近的点，作为该类别关节点的3D位置，提高了估计的准确度。附图说明图1为本专利技术基于位置偏移的事件相机人体姿态估计方法流程图。图2为本专利技术事件相机的事件流和建帧示意图。图3为本专利技术提出的基于位置偏移的人体姿态估计网络结构图。图4为本专利技术实施例的人体姿态修正网络的结构图。图5为本专利技术实施例的人体姿态修正网络参数变化示意图。图6为本专利技术可视化实验结果图。具体实施方式下面将结合附图对本专利技术的基于位置偏移的事件相机人体姿态估计方法及系统作进一步的说明：本专利技术实施例的基于位置偏移的事件相机人体姿态估计方法，如图1所示，包括：S1、将事件相机获取的人体姿态事件流建立图像帧，得到多帧事件图像；在每帧事件图像的时间窗内，求取所有关节点的平均位置，并创建每个关节点的热图。将事件相机产生的事件流建立图像帧，如图2所示，建帧的方法一般是通过将一段时间内的事件累积起来，最终以二进制图像进行表达。为了拥有用于训练的输入-输出数据对，用于训练的关节标签需要在时间上与事件图像对齐。将每帧事件图像的初始和最终事件的时间戳之间视为一时间窗，在每帧事件图像的时间窗内，求取所有关节点的平均位置，具体包括：S101、将每帧事件图像时间窗内的事件流建立图像帧，得到多张子事件图像；S102、计算每张子事件图像中所有关节点的位置；S103、分别求取每个关节点的平均位置，作为该帧事件图像中关节点的位置。根据关本文档来自技高网...

【技术保护点】
1.一种基于位置偏移的事件相机人体姿态估计方法，其特征在于，包括以下步骤：/nS1、将事件相机获取的人体姿态事件流建立图像帧，得到多帧事件图像；在每帧事件图像的时间窗内，求取所有关节点的平均位置，并创建每个关节点的热图；/nS2、基于堆叠沙漏网络建立人体姿态估计模型，利用事件图像和对应的关节点热图对人体姿态估计模型进行训练；/nS3、基于高分辨率网络建立人体姿态修正模型，将所有关节点的热图和对应的事件图像串联输入到人体姿态修正模型进行训练；/nS4、将待检测事件图像输入到训练好的人体姿态估计模型，得到初始人体姿态；将初始人体姿态和待检测事件图像串联输入到训练好的人体姿态修正模型，得到关节点的位置偏移特征图；将位置偏移特征图上采样并与初始人体姿态相加，得到最终的2D人体姿态。/n

【技术特征摘要】
1.一种基于位置偏移的事件相机人体姿态估计方法，其特征在于，包括以下步骤：
S1、将事件相机获取的人体姿态事件流建立图像帧，得到多帧事件图像；在每帧事件图像的时间窗内，求取所有关节点的平均位置，并创建每个关节点的热图；
S2、基于堆叠沙漏网络建立人体姿态估计模型，利用事件图像和对应的关节点热图对人体姿态估计模型进行训练；
S3、基于高分辨率网络建立人体姿态修正模型，将所有关节点的热图和对应的事件图像串联输入到人体姿态修正模型进行训练；
S4、将待检测事件图像输入到训练好的人体姿态估计模型，得到初始人体姿态；将初始人体姿态和待检测事件图像串联输入到训练好的人体姿态修正模型，得到关节点的位置偏移特征图；将位置偏移特征图上采样并与初始人体姿态相加，得到最终的2D人体姿态。


2.根据权利要求1所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，在每帧事件图像的时间窗内，求取所有关节点的平均位置具体包括：
S101、将每帧事件图像时间窗内的事件流建立图像帧，得到多张子事件图像；
S102、计算每张子事件图像中所有关节点的位置；
S103、分别求取每个关节点的平均位置，作为该帧事件图像中关节点的位置。


3.根据权利要求1或2所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，建立图像帧具体为：将一段时间里相应的事件进行累积，并以二进制图像进行表达。


4.根据权利要求1所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，利用2D人体姿态得到所有关节点的二维坐标，利用投影矩阵将关节点二维坐标转换为三维坐标，得到3D人体姿态。


5.根据权利要求1所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，利用事件相机获取多视角的人体姿态事件流，进而得到多视角的2D人体姿态，通过多视角的2D人体姿态得到3D人体姿态。


6.根据权利要求5所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，通过多视角的2D人体姿态得到3D人体姿态具体包括：
S501、利用多视角的2D人体姿态得到所有关节点的二维坐标；
S502、利用投影矩阵将每个视角的关节点二维坐标转换为三维坐标，利用投影矩阵得到...

【专利技术属性】
技术研发人员：杨文，贺钰洁，余磊，徐芳，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42