关键点检测及模型训练方法、装置、设备和存储介质制造方法及图纸

本公开提供了一种关键点检测及模型训练方法、装置、设备和存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于行为识别、人体特效生成、娱乐游戏交互等场景下。关键点检测方法包括：对图像进行特征提取处理，以获得所述图像的图像特征；基于所述图像特征，获取所述图像中的目标的关键点的图信息，所述图信息包括：所述关键点的位置关系图，以及所述关键点中的中心点的位置信息；基于所述关键点的位置关系图和所述中心点的位置信息，获取所述关键点中的非中心点的位置信息。本公开可以提高关键点检测精度。本公开可以提高关键点检测精度。本公开可以提高关键点检测精度。

【技术实现步骤摘要】
关键点检测及模型训练方法、装置、设备和存储介质


[0001]本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于行为识别、人体特效生成、娱乐游戏交互等场景下，尤其涉及一种关键点检测及模型训练方法、装置、设备和存储介质。

技术介绍

[0002]随着社会的进步和科技的发展，短视频、直播、在线教育等行业不断的兴起，在各种交互场景中，基于人体关键点信息进行互动的功能需求越来越多。
[0003]相关技术中，一般采用热图或者回归坐标的方式进行人体3D关键点检测。

技术实现思路

[0004]本公开提供了一种关键点检测及模型训练方法、装置、设备和存储介质。
[0005]根据本公开的一方面，提供了一种关键点检测方法，包括：对图像进行特征提取处理，以获得所述图像的图像特征；基于所述图像特征，获取所述图像中的目标的关键点的图信息，所述图信息包括：所述关键点的位置关系图，以及所述关键点中的中心点的位置信息；基于所述关键点的位置关系图和所述中心点的位置信息，获取所述关键点中的非中心点的位置信息。
>[0006]根据本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点检测方法，包括：对图像进行特征提取处理，以获得所述图像的图像特征；基于所述图像特征，获取所述图像中的目标的关键点的图信息，所述图信息包括：所述关键点的位置关系图，以及所述关键点中的中心点的位置信息；基于所述关键点的位置关系图和所述中心点的位置信息，获取所述关键点中的非中心点的位置信息。2.根据权利要求1所述的方法，其中，所述基于所述图像特征，获取所述图像中的目标的关键点的图信息，包括：基于所述关键点的位置通道的个数，对所述图像特征进行增强处理，以获得图卷积增强特征；基于所述图卷积增强特征，获得所述图信息。3.根据权利要求2所述的方法，其中，所述基于所述关键点的位置通道的个数，对所述图像特征进行增强处理，以获得图卷积增强特征，包括：对所述图像特征进行加权处理，以获得加权图像特征；基于所述关键点的位置通道的个数，确定从所述图像特征的图像通道域到所述关键点的位置通道域的投影矩阵；基于所述投影矩阵，将所述加权图像特征投影到所述位置通道域，以获得所述关键点的位置通道的聚合特征；基于所述聚合特征，获得所述关键点的位置通道的位置特征；基于所述投影矩阵的转置矩阵，将所述位置特征反投影到所述图像通道域，以获得融合特征；基于所述图像特征和所述融合特征，获得所述图卷积增强特征。4.根据权利要求3所述的方法，其中，所述图像特征为多个通道的图像特征，所述对所述图像特征进行加权处理，以获得加权图像特征，包括：对所述多个通道中的各个通道的图像特征进行池化、一维卷积和激活处理，以确定所述各个通道的权重系数；基于所述各个通道的权重系数，对所述各个通道的图像特征进行加权处理，以获得所述加权图像特征。5.根据权利要求3所述的方法，其中，所述基于所述聚合特征，获得所述关键点的位置通道的位置特征，包括：对所述聚合特征进行多个尺度的一维卷积处理，以获得多个尺度的特征；对所述多个尺度的特征进行堆叠处理，以获得堆叠特征；对所述堆叠特征进行多维卷积处理，以获得卷积后特征，所述多维卷积的维度与所述多个尺度的个数相同；基于所述聚合特征和所述卷积后特征，获得所述位置特征。6.根据权利要求2
‑
5任一项所述的方法，其中，所述位置关系图为3D位置关系图，所述中心点的位置信息包括：2D热图和深度信息，所述基于所述图卷积增强特征，获得所述图信息，包括：对所述图卷积增强特征，进行第一卷积处理，以获得所述3D位置关系图；
对所述图卷积增强特征，进行第二卷积处理，以获得所述中心点的2D热图；对所述图卷积增强特征，进行第三卷积处理，以获得所述中心点的深度信息。7.根据权利要求1
‑
5任一项所述的方法，其中，所述位置关系图中包括不同关键点之间的有向边的信息，所述基于所述关键点的位置关系图和所述中心点的位置信息，获取所述关键点中的非中心点的位置信息，包括：从所述中心点的位置信息开始，基于所述有向边的信息，依次解码存在连接关系的非中心点的位置信息。8.一种关键点图信息提取模型的训练方法，包括：对图像样本进行特征提取处理，以获得所述图像样本的图像特征；基于所述图像特征，获取所述图像样本中的目标的关键点的预测图信息，所述预测图信息包括：所述关键点的预测位置关系图，以及所述关键点中的中心点的预测位置信息；基于所述预测位置关系图和所述预测位置信息，构建总损失函数；基于所述总损失函数，训练关键点检测模型。9.根据权利要求8所述的方法，其中，所述预测位置关系图为预测3D位置关系图，所述预测位置信息包括：预测2D热图和预测深度信息，所述基于所述预测位置关系图和所述预测位置信息，构建总损失函数，包括：基于所述预测3D位置关系图和所述目标的真实3D位置关系图，构建第一损失函数；基于所述预测2D热图和所述中心点的真实2D热图，构建第二损失函数；基于所述预测深度信息和所述中心点的真实深度信息，构建第三损失函数；基于所述第一损失函数、所述第二损失函数和所述第三损失函数，构建所述总损失函数。10.根据权利要求8或9所述的方法，其中，所述基于所述图像特征，获取所述图像中的目标的关键点的预测图信息，包括：基于所述关键点的位置通道的个数，对所述图像特征进行增强处理，以获得图卷积增强特征；基于所述图卷积增强特征，获得所述预测图信息。11.根据权利要求10所述的方法，其中，所述基于所述关键点的位置通道的个数，对所述图像特征进行增强处理，以获得图卷积增强特征，包括：对所述图像特征进行加权处理，以获得加权图像特征；基于所述关键点的位置通道的个数，确定从所述图像特征的图像通道域到所述关键点的位置通道域的投影矩阵；基于所述投影矩阵，将所述加权图像特征投影到所述位置通道域，以获得所述关键点的位置通道的聚合特征；基于所述聚合特征，获得所述关键点的位置通道的位置特征；基于所述投影矩阵的转置矩阵，将所述位置特征反投影到所述图像通道域，以获得融合特征；基于所述图像特征和所述融合特征，获得所述图卷积增强特征。12.根据权利要求11所述的方法，其中，所述图像特征为多个通道的图像特征，所述对所述图像特征进行加权处理，以获得加权图像特征，包括：
对所述多个通道中的各个通道的图像特征进行池化、一维卷积和激活处理，以确定所述各个通道的权重系数；基于所述各个通道的权重系数，对所述各个通道的图像特征进行加权处理，以获得所述加权图像特征。13.根据权利要求11所述的方法，其中，所述基于所述聚合特征，获得所述关键点的位置通道的位置特征，包括：对所述聚合特征进行多个尺度的一维卷积处理，以获得多个尺度的特征；对所述多个尺度的特征进行堆叠处理，以获得堆叠特征；对所述堆叠特征进行多维卷积处理，以获得卷积后特征，所述多维卷积的维度与所述多个尺度的个数相同；基于所述聚合特征和所述卷积后特征，获得所述位置特征。14.根据权利要求10所述的方法，其中，所述预测位置关系图为预测3D位置关系图，所述中心点的预测位置信息包括：预测2D热图和预测深度信息，所述基于所述图卷积增强特征，获得所述预测图信息，包括：对所述图卷积增强特征，进行第一卷积处理，以获得所述预测3D位置关系图；对所述图卷积增强特征，进行第二卷积处理，以获得所述中心点的预测2D热图；对所述图卷积增强特征，进行第三卷积处理，以获得所述中心点的预测深度信息。15.一种关键点检测装置，包括：特征提取模块，用于对图像进行特征提取处理，以获得所述图像的图像特征；图信息提取模块，用于基于所述图...

【专利技术属性】
技术研发人员：杨黔生，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：