一种人体姿态估计方法、装置、智能终端和存储介质制造方法及图纸

本发明专利技术公开一种人体姿态估计方法、装置、智能终端和存储介质，该方法包括：根据接收到的事件流建立多帧事件图像；针对每帧事件图像，通过特征提取模型对事件图像进行处理，得到预设数量个二维热图；通过时序融合模型对预设数量个二维热图进行处理，得到与每个二维热图一一对应的目标二维热图；根据回归模型和目标二维热图，确定与事件图像对应的三维关键点，并根据三维关键点和与三维关键点对应的预设属性，确定与事件图像对应的人体姿态。在上述方法中，根据事件流建立事件图像，确定与每帧事件图像对应的二维热图，并利用时序融合的方法，优化三维关键点的估计效果，减小因图像效果差对人体姿态估计的影响，从而提高人体姿态估计的精确度。态估计的精确度。态估计的精确度。

【技术实现步骤摘要】
一种人体姿态估计方法、装置、智能终端和存储介质


[0001]本专利技术涉及人工智能
，特别涉及一种人体姿态估计方法、装置、智能终端和存储介质。

技术介绍

[0002]人体姿态估计(Human Pose Estimation，HPE)作为计算机视觉任务的基础，在人机交互、混合现实等方面具有广泛的应用前景。针对视频序列中的每一帧图像，通过人体姿态估计的方法可以自动准确地预测人体关节点在图像中的位置，因此，人体姿态估计是视频动作和行为理解的关键技术之一。
[0003]相关技术中，人体姿态估计的方法通常基于帧成像的传统相机，比如RGB(Red
‑
Green
‑
Blue，红
‑
绿
‑
蓝)相机，具体的，针对传统相机成像结果中的每一帧图像，估计该图像中人体的关键点以及每个关键点的位置，并根据预设的关键点属性得到对应的人体的骨架表示。
[0004]然而，在现实场景中，由于光照强度不够或目标对象处于高速运动状态，使得传统相机的成像效果较差，进而导致相关技术中的人体姿态估计方法的精确度较差。

技术实现思路

[0005]本专利技术提供一种人体姿态估计方法、装置、智能终端和存储介质，用以提高人体姿态估计的精确度。
[0006]第一方面，本专利技术实施例提供一种人体姿态估计方法，包括：
[0007]根据接收到的包括多个事件的事件流建立多帧事件图像，其中，所述事件流是由事件相机生成的；
[0008]针对每帧事件图像，执行以下步骤：
[0009]通过特征提取模型对所述事件图像进行处理，得到预设数量个二维热图，其中，所述特征提取模型是基于卷积神经网络建立的；
[0010]通过时序融合模型对所述预设数量个二维热图进行处理，得到与每个二维热图一一对应的目标二维热图，其中，所述时序融合模型是基于长短时记忆网络建立的；
[0011]根据回归模型和所述目标二维热图，确定与所述事件图像对应的三维关键点，并根据所述三维关键点和与所述三维关键点对应的预设属性，确定与所述事件图像对应的人体姿态，其中，所述回归模型是基于高分辨率网络建立的。
[0012]在本专利技术实施例提供的人体姿态估计方法中，根据事件相机生成的事件流建立事件图像，通过特征提取模型确定与每帧事件图像对应的预设数量个二维热图，并利用时序融合模型对预设数量个二维热图进行修正，确定预设数量个目标二维热图，根据回归模型将目标二维热图中的特征信息转换为三维关键点，优化三维关键点的估计效果，以减小因环境因素造成的图像效果较差对人体姿态估计的影响，进而提高人体姿态估计的精确度。
[0013]在一种可选的实施方式中，所述事件包括第一信息和第二信息，其中，所述第一信
息用于表征所述事件对应的像素点的坐标，所述第二信息用于表征所述事件对应的像素点的亮度变化的极性；
[0014]所述根据接收到的包括多个事件的事件流建立多帧事件图像，包括：
[0015]每接收到第一预设数量的事件，将所述第一预设数量的事件组成第一事件集合或将同一周期内接收到的事件组成第一事件集合，其中，所述周期长度为预设时长；
[0016]针对任意一个第一事件集合，根据所述第一事件集合中任意一个事件的第一信息，确定与所述第一事件集合对应的事件图像中所述事件对应的像素点的目标位置，以及根据所述事件的第二信息，确定所述事件图像中所述事件对应的像素点的目标像素值；在所述事件图像的所述目标位置处，基于所述目标像素值，构建与所述事件对应的像素点；
[0017]根据所述第一事件集合中所有事件对应的像素点，建立与所述第一事件集合对应的单帧事件图像。
[0018]上述方法，根据预设时长或事件的预设数量确定第一事件集合，根据第一事件集合中事件的第一信息，在与第一事件集合对应的事件图像中确定与该事件对应的像素点的目标位置，以及根据该事件的第二信息，在与第一事件集合对应的事件图像中确定与该事件对应的像素点的像素值，并在与第一事件集合对应的事件图像中的目标位置处，建立像素值为目标像素值的像素点；将建立的第一事件集合中所有事件对应的像素点组成与第一事件集合对应的单帧事件图像。通过上述方法，在环境光照过暗或者目标对象高速运动时，可以保证通过事件流建立的事件图像的可靠性。
[0019]在一种可选的实施方式中，所述事件还包括第三信息，其中，所述第三信息用于表征所述事件对应的时间；
[0020]所述每接收到第一预设数量的事件，将所述第一预设数量的事件组成第一事件集合或将同一周期内接收到的事件组成第一事件集合之后，所述针对任意一个第一事件集合，确定所述事件图像中所述事件对应的像素点的目标像素值之前，还包括：
[0021]针对任意一个第一事件集合，基于事件的第三信息，确定以所述第一事件集合中任意一个事件为起始事件的第二事件集合，其中，所述第二事件集合包括第二预设数量个事件；
[0022]针对所述第二事件集合中的任意一个事件，计算加权系数和所述第二信息的乘积，得到与所述事件对应的加权第二信息，所述加权系数是第一预设系数和目标系数中的较大值，所述目标系数为第二预设系数和时间差的差值，所述时间差为所述起始事件对应的第三信息和所述事件对应的第四信息的差值的绝对值，所述第四信息是对所述事件对应的第三信息进行正则化处理之后确定的；
[0023]根据所述第二事件集合中的每个事件对应的加权第二信息的和值，更新所述第二事件集合中的起始事件。
[0024]在一种可选的实施方式中，所述第二预设数量小于等于所述第一预设数量。
[0025]上述方法，基于事件的第三信息，确定以第一事件集合中任意一个事件为起始事件的第二事件集合，根据第一预设系数、第二预设系数、起始事件对应的第三信息和该事件对应的第四信息确定加权系数，并根据该加权系数确定该事件对应的加权第二信息；根据第二事件集合中的每个事件对应的加权第二信息的和值，更新起始事件的第二信息。根据不同事件对应的时间的分布信息，对事件的第二信息进行加权处理，以提高根据该事件建
立的事件图像的质量。
[0026]在一种可选的实施方式中，若所述预设数量个二维热图为非第一帧事件图像对应的二维热图，且为非第二帧事件图像对应的二维热图，则通过时序融合模型对所述预设数量个二维热图进行处理，得到与每个二维热图一一对应的目标二维热图，包括：
[0027]基于前一帧事件图像对应的预设数量个融合二维热图，通过所述时序融合模型，分别对所述预设数量个二维热图中的每个二维热图进行修正，得到与所述每个二维热图一一对应的目标二维热图，和与所述每个二维热图一一对应的融合二维热图；
[0028]其中，所述预设数量个二维热图为当前帧事件图像对应的二维热图。
[0029]上述方法，对于非前两帧事件图像对应的二维热图，时序融合模型需要根据前一帧事件图像对应的预设数量个融合二维热图分别对每个二维热图进行修正，以补全当前帧事件图像对应的二维热图中的特征信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体姿态估计方法，其特征在于，包括：根据接收到的包括多个事件的事件流建立多帧事件图像，其中，所述事件流是由事件相机生成的；针对每帧事件图像，执行以下步骤：通过特征提取模型对所述事件图像进行处理，得到预设数量个二维热图，其中，所述特征提取模型是基于卷积神经网络建立的；通过时序融合模型对所述预设数量个二维热图进行处理，得到与每个二维热图一一对应的目标二维热图，其中，所述时序融合模型是基于长短时记忆网络建立的；根据回归模型和所述目标二维热图，确定与所述事件图像对应的三维关键点，并根据所述三维关键点和与所述三维关键点对应的预设属性，确定与所述事件图像对应的人体姿态，其中，所述回归模型是基于高分辨率网络建立的。2.如权利要求1所述的方法，其特征在于，所述事件包括第一信息和第二信息，其中，所述第一信息用于表征所述事件对应的像素点的坐标，所述第二信息用于表征所述事件对应的像素点的亮度变化的极性；所述根据接收到的包括多个事件的事件流建立多帧事件图像，包括：每接收到第一预设数量的事件，将所述第一预设数量的事件组成第一事件集合或将同一周期内接收到的事件组成第一事件集合，其中，所述周期长度为预设时长；针对任意一个第一事件集合，根据所述第一事件集合中任意一个事件的第一信息，确定与所述第一事件集合对应的事件图像中所述事件对应的像素点的目标位置，以及根据所述事件的第二信息，确定所述事件图像中所述事件对应的像素点的目标像素值；在所述事件图像的所述目标位置处，基于所述目标像素值，构建与所述事件对应的像素点；根据所述第一事件集合中所有事件对应的像素点，建立与所述第一事件集合对应的单帧事件图像。3.如权利要求2所述的方法，其特征在于，所述事件还包括第三信息，其中，所述第三信息用于表征所述事件对应的时间；所述每接收到第一预设数量的事件，将所述第一预设数量的事件组成第一事件集合或将同一周期内接收到的事件组成第一事件集合之后，所述针对任意一个第一事件集合，确定所述事件图像中所述事件对应的像素点的目标像素值之前，还包括：针对任意一个第一事件集合，基于事件的第三信息，确定以所述第一事件集合中任意一个事件为起始事件的第二事件集合，其中，所述第二事件集合包括第二预设数量个事件；针对所述第二事件集合中的任意一个事件，计算加权系数和所述第二信息的乘积，得到与所述事件对应的加权第二信息，所述加权系数是第一预设系数和目标系数中的较大值，所述目标系数为第二预设系数和时间差的差值，所述时间差为所述起始事件对应的第三信息和所述事件对应的第四信息的差值的绝对值，所述第四信息是对所述事件对应的第三信息进行正则化处理之后确定的；根据所述第二事件集合中的每个事件对应的加权第二信息的和值，更新所述第二事件集合中的起始事件。4.如权利要求3所述的方法，其特征在于，所述第二预设数量小于等于所述第一预设数量。

【专利技术属性】
技术研发人员：陆恩民，范叔炬，熊择正，张园，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：