关键点检测方法、装置、电子设备及存储介质制造方法及图纸

本公开是关于一种关键点检测方法、装置、电子设备及存储介质，以解决手部关键点检测准确率较低的问题。其中方法包括：获取待检测的手势图像，将所述手势图像划分为多个区域；针对预设的每个手部关键点，确定所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值；通过所述概率与所述第一坐标值，计算所述手势关键点在所述手势图像中的第二坐标值。本公开更能适应手势的多样性，能够大幅度提高手部关键点检测的准确率。

Key Point Detection Method, Device, Electronic Equipment and Storage Media

The present disclosure relates to a key point detection method, device, electronic equipment and storage medium to solve the problem of low accuracy of hand key point detection. The method includes: acquiring the gesture image to be detected, dividing the gesture image into several regions; determining the probability of the key points of the hand appearing in each region and the first coordinate value in each region for each preset key point of the hand; and calculating the second of the key points of the gesture in the gesture image by the probability and the first coordinate value. Coordinate values. The present disclosure is more adaptable to the diversity of gestures and can greatly improve the accuracy of hand key point detection.

【技术实现步骤摘要】
关键点检测方法、装置、电子设备及存储介质
本公开涉及图像处理
，尤其涉及一种关键点检测方法、装置、电子设备及存储介质。
技术介绍
随着图像处理技术的不断发展，各种图像检测算法随之产生。比如，手部图像检测、人脸图像检测等。对手部图像的检测主要涉及到对手部关键点的检测，从而检测出某个特定手势中各个手部关键点的位置。在相关技术中，通常采用直接回归方法进行手部关键点检测。将含有手势的图像进行直接回归，从而拟合得到各个手部关键点在图像中的位置。但是，由于手势变化比较灵活，且不同手势的手部关键点分布差异较大，因此采用直接回归方法对手部关键点进行拟合，会导致手部关键点的检测准确率较低。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种关键点检测方法、装置、电子设备及存储介质，以解决手部关键点检测准确率较低的问题。根据本公开实施例的第一方面，提供一种关键点检测方法，包括获取待检测的手势图像，将所述手势图像划分为多个区域；针对预设的每个手部关键点，确定所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值；通过所述概率与所述第一坐标值，计算所述手势关键点在所述手势图像中的第二坐标值。可选地，所述针对预设的每个手部关键点，确定所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值的步骤包括：提取每个区域的图像特征，将所述图像特征输入预设的卷积神经网络中的通道进行卷积操作；针对每个手部关键点，获取所述卷积神经网络中的通道输出的所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值。可选地，所述区域包括N个，所述手部关键点包括M个；所述卷积神经网络包括分类分支和回归分支，所述分类分支包括M个分类通道，所述回归分支包括M个横坐标通道及M个纵坐标通道；每个通道对应一个手部关键点，每个通道包括N个网格，每个网格对应一个区域；M、N均为正整数。所述将所述图像特征输入预设的卷积神经网络中的通道进行卷积操作的步骤包括：将N个区域的图像特征对应输入M个分类通道中的N个网格进行卷积操作，每个分类通道得到与其对应的手部关键点在每个区域中出现的概率；将N个区域的图像特征对应输入M个横坐标通道中的N个网格进行卷积操作，每个横坐标通道得到与其对应的手部关键点在每个区域中的第一横坐标值；将N个区域的图像特征对应输入M个纵坐标通道中的N个网格进行卷积操作，每个纵坐标通道得到与其对应的手部关键点在每个区域中的第一纵坐标值。可选地，所述通过所述概率与所述第一坐标值，计算所述手势关键点在所述手势图像中的第二坐标值的步骤包括：将所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值进行加权计算，得到所述手部关键点在所述手势图像中的第二坐标值。可选地，所述第一坐标值包括第一横坐标值和第一纵坐标值。所述将所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值进行加权计算，得到所述手部关键点在所述手势图像中的第二坐标值的步骤包括：将所述手部关键点在每个区域中出现的概率以及在每个区域中的第一横坐标值进行加权计算，得到所述手部关键点在所述手势图像中的第二横坐标值；将所述手部关键点在每个区域中出现的概率以及在每个区域中的第一纵坐标值进行加权计算，得到所述手部关键点在所述手势图像中的第二纵坐标值。根据本公开实施例的第二方面，提供一种关键点检测装置，包括划分单元，被配置为获取待检测的手势图像，将所述手势图像划分为多个区域；确定单元，被配置为针对预设的每个手部关键点，确定所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值；计算单元，被配置为通过所述概率与所述第一坐标值，计算所述手势关键点在所述手势图像中的第二坐标值。可选地，所述确定单元包括：输入模块，被配置为提取每个区域的图像特征，将所述图像特征输入预设的卷积神经网络中的通道进行卷积操作；获取模块，被配置为针对每个手部关键点，获取所述卷积神经网络中的通道输出的所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值。可选地，所述区域包括N个，所述手部关键点包括M个；所述卷积神经网络包括分类分支和回归分支，所述分类分支包括M个分类通道，所述回归分支包括M个横坐标通道及M个纵坐标通道；每个通道对应一个手部关键点，每个通道包括N个网格，每个网格对应一个区域；M、N均为正整数。所述输入模块包括：第一输入子模块，被配置为将N个区域的图像特征对应输入M个分类通道中的N个网格进行卷积操作，每个分类通道得到与其对应的手部关键点在每个区域中出现的概率；第二输入子模块，被配置为将N个区域的图像特征对应输入M个横坐标通道中的N个网格进行卷积操作，每个横坐标通道得到与其对应的手部关键点在每个区域中的第一横坐标值；第三输入子模块，被配置为将N个区域的图像特征对应输入M个纵坐标通道中的N个网格进行卷积操作，每个纵坐标通道得到与其对应的手部关键点在每个区域中的第一纵坐标值。可选地，所述计算单元包括：加权模块，被配置为将所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值进行加权计算，得到所述手部关键点在所述手势图像中的第二坐标值。可选地，所述第一坐标值包括第一横坐标值和第一纵坐标值；所述加权模块包括：第一加权子模块，被配置为将所述手部关键点在每个区域中出现的概率以及在每个区域中的第一横坐标值进行加权计算，得到所述手部关键点在所述手势图像中的第二横坐标值；第二加权子模块，被配置为将所述手部关键点在每个区域中出现的概率以及在每个区域中的第一纵坐标值进行加权计算，得到所述手部关键点在所述手势图像中的第二纵坐标值。根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述任一种关键点检测方法。根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一种关键点检测方法。根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一种关键点检测方法。本公开的实施例提供的技术方案可以包括以下有益效果：本公开的实施例中，获取待检测的手势图像，将手势图像划分为多个区域；针对预设的每个手部关键点，确定手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值；通过概率与第一坐标值，计算手势关键点在手势图像中的第二坐标值。本公开的实施例中，通过注意力机制使得不同区域对于每个手部关键点坐标值的贡献不同，充分考虑整幅手势图像的不同区域对每个手部关键点的重要性不同，将注意力主要集中在手部关键点最可能存在的区域，弱化其他区域的作用，从而减小其他区域对手部关键点坐标值预测的干扰，更能适应手势的多样性，能够大幅度提高手部关键点检测的准确率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种关键点检测方法的流程图。图2是根据一示例性实施例示出的一种手部关键点位置的示意图。图3是根据一本文档来自技高网...

【技术保护点】
1.一种关键点检测方法，其特征在于，包括：获取待检测的手势图像，将所述手势图像划分为多个区域；针对预设的每个手部关键点，确定所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值；通过所述概率与所述第一坐标值，计算所述手势关键点在所述手势图像中的第二坐标值。

【技术特征摘要】
1.一种关键点检测方法，其特征在于，包括：获取待检测的手势图像，将所述手势图像划分为多个区域；针对预设的每个手部关键点，确定所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值；通过所述概率与所述第一坐标值，计算所述手势关键点在所述手势图像中的第二坐标值。2.根据权利要求1所述的关键点检测方法，其特征在于，所述针对预设的每个手部关键点，确定所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值的步骤包括：提取每个区域的图像特征，将所述图像特征输入预设的卷积神经网络中的通道进行卷积操作；针对每个手部关键点，获取所述卷积神经网络中的通道输出的所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值。3.根据权利要求2所述的关键点检测方法，其特征在于，所述区域包括N个，所述手部关键点包括M个；所述卷积神经网络包括分类分支和回归分支，所述分类分支包括M个分类通道，所述回归分支包括M个横坐标通道及M个纵坐标通道；每个通道对应一个手部关键点，每个通道包括N个网格，每个网格对应一个区域；M、N均为正整数；所述将所述图像特征输入预设的卷积神经网络中的通道进行卷积操作的步骤包括：将N个区域的图像特征对应输入M个分类通道中的N个网格进行卷积操作，每个分类通道得到与其对应的手部关键点在每个区域中出现的概率；将N个区域的图像特征对应输入M个横坐标通道中的N个网格进行卷积操作，每个横坐标通道得到与其对应的手部关键点在每个区域中的第一横坐标值；将N个区域的图像特征对应输入M个纵坐标通道中的N个网格进行卷积操作，每个纵坐标通道得到与其对应的手部关键点在每个区域中的第一纵坐标值。4.根据权利要求1所述的关键点检测方法，其特征在于，所述通过所述概率与所述第一坐标值，计算所述手势关键点在所述手势图像中的第二坐标值的步骤包括：将所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值进行加权计算，得到所述手部关键点在所述手势图像中的第二坐标值。5.根据权利要求4所述的关键点检测方法，其特征在于，所述第一坐标值包括第一横坐标值和第一纵坐标值；所述将所述手部关键点在每个区域中出现的概率以及在每个区域中的第一坐标值进行加权计算，得到所述手部关键点在所述手势图像中的第二坐标值的步骤包括：将所述手部关键点在每个区域中出现的...

【专利技术属性】
技术研发人员：刘裕峰，董亚娇，郑文，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11