一种关键点识别方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种关键点识别方法、装置、电子设备及存储介质，上述方法包括：获得包含目标对象多个预设关键点的目标可见光图像；以及获得包含多个光捕球图像的目标红外图像；基于目标红外图像包含的各个光捕球图像的位置信息，确定目标红外图像的特征，作为光捕特征；提取目标可见光图像的特征，作为非光捕特征；将光捕特征和非光捕特征进行融合，得到融合特征；将融合特征输入预先训练的关键点识别模型，得到目标对象的各个预设关键点的标识和位置信息，作为识别结果。采用本发明专利技术实施例提供的方法，实现了在简化对关键点识别的处理之下，提高了关键点识别的准确率。

【技术实现步骤摘要】
一种关键点识别方法、装置、电子设备及存储介质
本专利技术涉及计算机视觉
，特别是涉及一种关键点识别方法、装置、电子设备及存储介质。
技术介绍
人体关键点识别是通过从给定的图像中定位人体关键部位，例如头部、颈部、肩部、手部等部位。人体关键点识别是动作识别以及异常行为检测等技术的实现基础。目前，对人体关键点进行识别，有很多技术。例如：仅通过图像处理技术，对视频画面中目标对象的关键点进行识别，或通过光捕技术对目标对象的关键点进行识别。其中，由于人体的脚踝和手腕等运动幅度较大的关键部位在视频画面中可能比较模糊，因此，仅通过图像处理技术对视频画面中的人体关键点进行识别，对于这些运动幅度较大的人体关键点是比较难以识别的，会导致人体关键点识别的准确率较低。现有技术基于图像处理技术对人体关键点进行识别，对可见光图像，例如RGB(red、green、blue，红、绿、蓝)图像中包含的目标对象的关键点进行识别。然而，由于可见光图像受环境影响较大，图像质量不稳定，容易影响关键点识别的精度。例如，针对低对比度的可见光图像中包含的目标对象进行关键点识别，由本文档来自技高网...

【技术保护点】
1.一种关键点识别方法，其特征在于，包括：/n获得非红外摄像头所采集的视频图像中包含目标对象多个预设关键点的图像帧，作为目标可见光图像；以及获得红外摄像头所采集的视频图像中包含多个光捕球图像的图像帧，作为目标红外图像；所述目标对象被预先部署有多个光捕球，其中，每个光捕球对应所述目标对象多个预设关键点中的一个指定关键点；/n基于所述目标红外图像包含的各个光捕球图像的位置信息，确定所述目标红外图像的特征，作为光捕特征；/n将所述光捕特征和所述目标可见光图像的各个颜色通道的色值矩阵进行融合，得到融合特征；/n将所述融合特征输入预先训练的关键点识别模型，得到目标对象的各个预设关键点的标识和位置信息，作...

【技术特征摘要】
1.一种关键点识别方法，其特征在于，包括：
获得非红外摄像头所采集的视频图像中包含目标对象多个预设关键点的图像帧，作为目标可见光图像；以及获得红外摄像头所采集的视频图像中包含多个光捕球图像的图像帧，作为目标红外图像；所述目标对象被预先部署有多个光捕球，其中，每个光捕球对应所述目标对象多个预设关键点中的一个指定关键点；
基于所述目标红外图像包含的各个光捕球图像的位置信息，确定所述目标红外图像的特征，作为光捕特征；
将所述光捕特征和所述目标可见光图像的各个颜色通道的色值矩阵进行融合，得到融合特征；
将所述融合特征输入预先训练的关键点识别模型，得到目标对象的各个预设关键点的标识和位置信息，作为识别结果；其中，所述关键点识别模型为基于训练样本集进行训练得到的，所述训练样本集包含：多个样本对象的融合特征，以及各个样本对象的多个预设关键点的标识和位置信息。


2.根据权利要求1所述的方法，其特征在于，所述基于所述目标红外图像包含的各个光捕球图像的位置信息，确定所述目标红外图像的特征，作为光捕特征，包括：
确定所述目标红外图像包含的各个光捕球图像的位置信息；
根据所述目标红外图像包含的各个光捕球图像的位置信息，生成指定关键点对应的第一红外特征矩阵；
生成k-n个零矩阵，作为多个预设关键点中非指定关键点对应的第二红外特征矩阵，第一红外特征矩阵与第二红外特征矩阵的维度相同，k为目标对象的预设关键点的数量，n为光捕球的数量；
将第一红外特征矩阵和第二红外特征矩阵进行拼接得到的拼接特征矩阵，作为光捕特征。


3.根据权利要求2所述的方法，其特征在于，所述各个光捕球图像的位置信息为：各个光捕球图像的位置坐标；
所述确定所述目标红外图像包含的各个光捕球图像的位置信息，包括：
提取所述目标红外图像的像素矩阵；
将所述像素矩阵中，像素值低于预设像素阈值的像素点的像素值确定为0，得到目标像素矩阵；
确定所述目标像素矩阵的连通区域，每个所述连通区域对应一个光捕球图像；
针对每个所述连通区域，将该连通区域中像素值最大的像素点的位置坐标，确定为该连通区域对应的光捕球图像的位置坐标。


4.根据权利要求3所述的方法，其特征在于，所述根据所述目标红外图像包含的各个光捕球图像的位置信息，生成指定关键点对应的第一红外特征矩阵，包括：
根据所述目标红外图像包含的各个光捕球图像的位置坐标，针对每个光捕球图像，生成以该光捕球图像的位置坐标为中心，以预设距离为半径，且呈高斯分布的图像，作为该光捕球图像的先验热度图；
分别提取各个先验热度图的热度值矩阵，作为各个指定关键点对应的第一红外特征矩阵。


5.根据权利要求3所述的方法，其特征在于，所述将第一红外特征矩阵和第二红外特征矩阵进行拼接得到的拼接特征矩阵，作为光捕特征，包括：
根据所述目标对象的各个预设关键点，以及部署于目标对象的各个光捕球，生成k维的光捕球部署向量；k维的光捕球部署向量的每个元素对应目标对象的一个预设关键点，其中，光捕球部署向量的各个元素中，与预设关键点中的指定关键点相对应的元素的值为1，与预设关键点中的非指定关键点相对应的元素的值为0；
针对所述光捕球部署向量，将所述光捕球部署向量中值为1的元素替换为指定关键点对应的第一红外特征矩阵，将所述光捕球部署向量中值为0的元素替换为非指定关键点对应的第二红外特征矩阵，得到先验热度图组矩阵，作为光捕特征；所述先验热度图组矩阵为w×h×k维的矩阵，先验热度图的矩阵为w×h的矩阵，其中，w为先验热度图的矩阵的长，h为先验热度图的矩阵的宽。


6.根据权利要求5所述的方法，其特征在于，所述将所述光捕特征和所述目标可见光图像的各个颜色通道的色值矩阵进行融合，得到融合特征，包括：
将所述先验热度图组矩阵，与所述目标可见光图...

【专利技术属性】
技术研发人员：刘思阳，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：北京;11