一种图像处理方法及装置制造方法及图纸

本发明专利技术提供了一种图像处理方法及装置。该方法包括：获取目标二维图像内的手部关键点对应的特征图，其中，每个手部关键点对应一个特征图；将特征图输入至预先经过训练的多层级修正网络，生成修正后的特征图，其中，多层级修正网络用于修正相邻手指对应的手部关键点之间的位置偏移；对每个修正后的特征图分别作归一化处理，生成多个目标特征图；对于每一个目标特征图，将目标特征图分别与第一坐标矩阵和第二坐标矩阵作内积运算，生成目标特征图对应的目标手部关键点的坐标，其中，所述第一坐标矩阵、所述第二坐标矩阵均为由坐标构成的矩阵。本发明专利技术提升了对手部关键点识别的空间泛化能力、抗噪能力以及准确率。

An image processing method and device

【技术实现步骤摘要】
一种图像处理方法及装置
本专利技术涉及图像处理
，尤其涉及一种图像处理方法及装置。
技术介绍
随着深度学习技术的发展，在现有的手部姿态估计算法中，对手部关键点的坐标识别可以分为以下两种方式：一种方式是通过多层卷积神经网络(CNN)来获取图像特征，然后通过全连接(FC)层来直接得到手部关键点的坐标，但是该方法的泛化性很大程度依赖于神经网络的训练数据集，因此存在着空间泛化能力不足的问题。另一种方式则是通过求解二维图像的手部关键点的特征图中响应值最大的点，并将该点确定为手部关键点，从而将该点所处的空间拓扑位置作为该手部关键点的坐标。但是这种方式中存在着细微的噪声，会对所识别到的手部关键点的坐标有极大的影响，因此存在着抗噪能力差、坐标识别准确率低的问题。此外，由于手部关键点较为密集，容易造成手部关键点位置的识别不准确的问题。
技术实现思路
本专利技术实施例提供一种图像处理方法及装置，以解决相关技术中对手部关键点的识别方法所存在的空间泛化能力不足、抗噪能力弱、准确率低的问题。为了解决上述技术问题，本文档来自技高网...

【技术保护点】
1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：/n获取目标二维图像内的手部关键点对应的特征图，其中，每个所述手部关键点对应一个特征图；/n将所述特征图输入至预先经过训练的多层级修正网络，生成修正后的特征图，其中，所述多层级修正网络用于修正相邻手指对应的手部关键点之间的位置偏移；/n对每个所述修正后的特征图分别作归一化处理，生成多个目标特征图；/n对于每一个目标特征图，将所述目标特征图分别与第一坐标矩阵和第二坐标矩阵作内积运算，生成所述目标特征图对应的目标手部关键点的坐标，其中，所述第一坐标矩阵、所述第二坐标矩阵均为由坐标构成的矩阵。/n

【技术特征摘要】
1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：
获取目标二维图像内的手部关键点对应的特征图，其中，每个所述手部关键点对应一个特征图；
将所述特征图输入至预先经过训练的多层级修正网络，生成修正后的特征图，其中，所述多层级修正网络用于修正相邻手指对应的手部关键点之间的位置偏移；
对每个所述修正后的特征图分别作归一化处理，生成多个目标特征图；
对于每一个目标特征图，将所述目标特征图分别与第一坐标矩阵和第二坐标矩阵作内积运算，生成所述目标特征图对应的目标手部关键点的坐标，其中，所述第一坐标矩阵、所述第二坐标矩阵均为由坐标构成的矩阵。


2.根据权利要求1所述的方法，其特征在于，所述对于每一个目标特征图，将所述目标特征图分别与第一坐标矩阵和第二坐标矩阵作内积运算，生成所述目标特征图对应的目标手部关键点的坐标之前，所述方法还包括：
以所述目标特征图对应的矩阵中心为坐标系原点，建立平面直角坐标系；
对所述平面直角坐标系设置横坐标最大值、横坐标最小值、纵坐标最大值、纵坐标最小值；
获取所述目标特征图对应的矩阵维度m*n，其中，m≥2，n≥2，m、n均为整数；
将所述平面直角坐标系的横轴，在所述横坐标最大值和所述横坐标最小值的范围内进行n-1等分，生成n个横坐标；
将所述平面直角坐标系的纵轴，在所述纵坐标最大值和所述纵坐标最小值的范围内进行m-1等分，生成m个纵坐标；
按照所述n个横坐标在所述平面直角坐标系中从左至右的排列顺序，将所述n个横坐标依次设置为m*n的矩阵中从左至右的n列数据，生成m*n维度的第一坐标矩阵；
按照所述m个纵坐标在所述平面直角坐标系中从上至下的排列顺序，将所述m个纵坐标依次设置为m*n的矩阵中从上至下的m行数据，生成m*n维度的第二坐标矩阵。


3.根据权利要求1所述的方法，其特征在于，所述对于每一个目标特征图，将所述目标特征图分别与第一坐标矩阵和第二坐标矩阵作内积运算，生成所述目标特征图对应的目标手部关键点的坐标，包括：
对于每一个目标特征图，将所述目标特征图中每个特征点分别与第一坐标矩阵中相同位置的横坐标进行相乘，并将相乘结果相加，生成所述目标特征图对应的目标手部关键点的目标横坐标；
对于每一个目标特征图，将所述目标特征图中每个特征点分别与第二坐标矩阵中相同位置的纵坐标进行相乘，并将相乘结果相加，生成所述目标特征图对应的目标手部关键点的目标纵坐标；
将所述目标横坐标和所述目标纵坐标分别设置为所述目标手部关键点的横坐标以及纵坐标，生成所述目标手部关键点的坐标。


4.根据权利要求1所述的方法，其特征在于，
所述对每个所述修正后的特征图分别作归一化处理之前，所述方法还包括：
按照以热力图的中心点为坐标系原点的热力图坐标系，对所述特征图中按照原始坐标系设置的每个特征点的坐标进行调整。


5.根据权利要求4所述的方法，其特征在于，所述对于每一个目标特征图，将所述目标特征图分别与第一坐标矩阵和第二坐标矩阵作内积运算，生成所述目标特征图对应的目标手部关键点的坐标之后，所述方法还包括：
按照所述原始坐标系，对每个所述手部关键点的坐标进行调整；
将调整后的每个所述手部关键点的坐标映射至所述目标二维图像的坐标系，生成每个所述手部关键点的目标坐标；
按照预设的手部关键点之间的连接顺序，对所...

【专利技术属性】
技术研发人员：梁宇，
申请(专利权)人：维沃移动通信杭州有限公司，
类型：发明
国别省市：浙江;33