一种手部三维图像识别方法及系统技术方案

本发明专利技术提供一种手部三维图像识别方法及系统，其中方法包括获取手部的三维图像，还包括以下步骤：在所述三维图像中对手部关键点位置标注坐标值(x，y，z)，其中关键点位置不少于N个；将所述三维图像转换为二维图像，生成所述手部关键点的采集坐标值；对所述二维图像进行处理并计算欧几里得距离；当得到的所述欧几里得距离小于距离阈值时，输出训练参数；利用所述训练参数估计需要识别的手势图像并显示手部三维图像。本发明专利技术提出的一种手部三维图像识别方法及系统，能够利用手机自带相机根据深度学习生成手部三维信息。实现实时计算手部是三维信息。

【技术实现步骤摘要】
一种手部三维图像识别方法及系统
本专利技术涉及三维图像处理的
，特别是一种手部三维图像识别方法及系统。
技术介绍
现有技术利用2D相机采集图像，生成2D图像数据然后根据X-Y坐标系产生手部关键点的X、Y值，无法提供Z轴的值。现行常用的范围是识别多种常见手势，支持单手手势和双手手势，包括拳头、OK、比心、作揖、作别、祈祷、我爱你、点赞、Rock、数字等，上述这些技术运行速度慢，需要计算资源多，且无法在移动端部署。公开号为108786773A的专利技术专利申请公开了《一种基于深度图像的三维手势识别方法及交互系统》，其中方法包括：使用深度传感器获取深度信息图；对获取的深度信息图利用CNN识别出AOI，切割出待识别的手部深度信息图；将从CNN中获得的手部深度信息图传入手势识别网络进行识别，获得识别出的手部关键节点三维坐标；将手部关键节点坐标进行坐标转换，以适应交互系统的世界坐标；利用Socket通讯，将变换坐标后的手部关键节点坐标序列传送到交互系统；交互系统获取手部关键节点信息，结合用户设定的语义判断条件，利用其物理引擎展示交互结果。该方法需要借助深度相机，使用成本高。利用socket通讯，网络延迟严重，无法实时检测。
技术实现思路
为了解决上述的技术问题，本专利技术提出的一种手部三维图像识别方法及系统，能够利用手机自带相机根据深度学习生成手部三维信息。实现实时计算手部是三维信息。本专利技术的第一目的是提供一种手部三维图像识别方法，包括获取手部的三维图像，还包括以下步骤：步骤1：在所述三维图像中对手部关键点位置标注坐标值(x，y，z)，其中关键点位置不少于N个，其中，N≥21；将所述三维图像转换为二维图像，生成所述手部关键点的采集坐标值；对所述二维图像进行处理并计算欧几里得距离；当得到的所述欧几里得距离小于距离阈值时，输出训练参数；利用所述训练参数估计需要识别的手势图像并显示手部三维图像。优选的是，所述采集坐标值为(xc，yc，zc)，zc为深度值坐标，即以手腕关键点建立的深度值。在上述任一方案中优选的是，所述对所述二维图像进行处理并计算欧几里得距离步骤包括以下子步骤：将所述二维图像进行压缩，对压缩后的图像进行归一化操作；使用深度卷积神经网络进行特征提取生成特征图，随机初始化所述训练参数；使用平均池化层对所述特征图进行池化操作；利用对平均池化层生成值进行回归计算，生成每一个关键点的回归坐标值(xh，yh，zh)；计算回归坐标值(xh，yh，zh)与所述采集坐标值为(xc，yc，zc)的欧几里得距离ρ。在上述任一方案中优选的是，所述欧几里得距离ρ的计算公式为在上述任一方案中优选的是，所述输出训练参数的步骤还包括当所述欧几里得距离ρ大于所述距离阈值时，将所述训练参数减去缩小阈值，重复所述对所述二维图像进行处理并计算欧几里得距离步骤，直到所述欧几里得距离ρ小于等于所述距离阈值。在上述任一方案中优选的是，所述利用所述训练参数估计需要识别的手势图像并显示手部三维图像步骤包括以下子步骤：对待识别手势图像进行归一化操作，生成归一化图像；对所述归一化图像使用所述训练参数进行特征提取生成特征图；使用平均池化层对所述特征图进行池化操作，生成池化特征图；对所述池化特征图进行回归计算，生成所述待识别手势图像的手部关键点坐标值(xd，yd，zd)；集合N个手部关键点坐标，对所述N个手部关键点进行渲染，显示手部三维图像。在上述任一方案中优选的是，所述三维图像为使用3D相机或深度相机获取的手部3D图像。本专利技术的第二目的是提供一种手部三维图像识别系统，包括用于获取手部的三维图像的获取模块，还包括以下模块：训练模块：用于使用深度卷积神经网络进行训练，生成训练参数；测试模块：用于使用所述训练参数对待识别手势图像进行处理，生成手部三维位置信息；显示模块：用于集合N个手部关键点坐标，对所述N个手部关键点进行渲染，显示手部三维图像，其中，N≥21；所述系统按照如权利要求1的方法进行手部三维图像识别。优选的是，所述三维图像为使用3D相机或深度相机获取的手部3D图像。在上述任一方案中优选的是，所述训练模块的训练方法包括以下步骤：将所述二维图像进行压缩，对压缩后的图像进行归一化操作；使用深度卷积神经网络进行特征提取生成特征图，随机初始化所述训练参数；使用平均池化层对所述特征图进行池化操作；利用对平均池化层生成值进行回归计算，生成每一个关键点的回归坐标值(xh，yh，zh)；计算回归坐标值(xh，yh，zh)与所述采集坐标值为(xc，yc，zc)的欧几里得距离ρ。在上述任一方案中优选的是，所述采集坐标值为(xc，yc，zc)，zc为深度值坐标，即以手腕关键点建立的深度值。在上述任一方案中优选的是，所述欧几里得距离ρ的计算公式为在上述任一方案中优选的是，所述训练模块还用于判定所述欧几里得距离ρ是否大于所述距离阈值，当所述欧几里得距离ρ大于所述距离阈值时，将所述训练参数减去缩小阈值；当所述欧几里得距离ρ小于等于所述距离阈值时，停止训练。在上述任一方案中优选的是，所述测试模块的工作方法包括以下步骤：对待识别手势图像进行归一化操作，生成归一化图像；对所述归一化图像使用所述训练参数进行特征提取生成特征图；使用平均池化层对所述特征图进行池化操作，生成池化特征图；对所述池化特征图进行回归计算，生成所述待识别手势图像的手部关键点坐标值(xd，yd，zd)；集合N个手部关键点坐标，对所述N个手部关键点进行渲染，显示手部三维图像。本专利技术提出了一种手部三维图像识别方法及系统，通过关键点的x、y、z三个轴值的结合，使得3D虚拟物体得以在空间中更灵活得呈现，同时带来更真实的视觉效果。附图说明图1为按照本专利技术的手部三维图像识别方法的一优选实施例的流程图。图2为按照本专利技术的手部三维图像识别方法的二维图像处理方法的一实施例的流程图图3为按照本专利技术的手部三维图像识别方法的估计方法的一实施例的流程图图4为按照本专利技术的手部三维图像识别系统的一优选实施例的模块图。图5为按照本专利技术的手部三维图像识别方法的另一优选实施例的流程图。图6为按照本专利技术的手部三维图像识别方法的关键点获取的一实施例的示意图。具体实施方式下面结合附图和具体的实施例对本专利技术做进一步的阐述。实施例一如图1所示，执行步骤100，获取手部的三维图像。执行步骤110，在所述三维图像中对手部关键点位置标注坐标值(x，y，z)，其中关键点位置不少于N个，其中，N≥21。执行步骤120，将所述三维图像转换为二维图像，生成所述手部关键点的采集坐标值。采集坐标值为(xc，yc，zc)，zc为深度值坐标，即以手腕关键点建立的深度值。本文档来自技高网...

【技术保护点】
1.一种手部三维图像识别方法，包括获取手部的三维图像，其特征在于，还包括以下步骤：/n在所述三维图像中对手部关键点位置标注坐标值(x，y，z)，其中关键点位置不少于N个，其中，N≥21；/n将所述三维图像转换为二维图像，生成所述手部关键点的采集坐标值；/n对所述二维图像进行处理并计算欧几里得距离；/n当得到的所述欧几里得距离小于距离阈值时，输出训练参数；/n利用所述训练参数估计需要识别的手势图像并显示手部三维图像。/n

【技术特征摘要】
1.一种手部三维图像识别方法，包括获取手部的三维图像，其特征在于，还包括以下步骤：
在所述三维图像中对手部关键点位置标注坐标值(x，y，z)，其中关键点位置不少于N个，其中，N≥21；
将所述三维图像转换为二维图像，生成所述手部关键点的采集坐标值；
对所述二维图像进行处理并计算欧几里得距离；
当得到的所述欧几里得距离小于距离阈值时，输出训练参数；
利用所述训练参数估计需要识别的手势图像并显示手部三维图像。


2.如权利要求1所述的手部三维图像识别方法，其特征在于，所述采集坐标值为(xc，yc，zc)，zc为深度值坐标，即以手腕关键点建立的深度值。


3.如权利要求2所述的手部三维图像识别方法，其特征在于，所述对所述二维图像进行处理并计算欧几里得距离步骤包括以下子步骤：
将所述二维图像进行压缩，对压缩后的图像进行归一化操作；
使用深度卷积神经网络进行特征提取生成特征图，随机初始化所述训练参数；
使用平均池化层对所述特征图进行池化操作；
利用对平均池化层生成值进行回归计算，生成每一个关键点的回归坐标值(xh，yh，zh)；
计算回归坐标值(xh，yh，zh)与所述采集坐标值为(xc，yc，zc)的欧几里得距离ρ。


4.如权利要求3所述的手部三维图像识别方法，其特征在于，所述欧几里得距离ρ的计算公式为


5.如权利要求4所述的手部三维图像识别方法，其特征在于，所述输出训练参数的步骤还包括当所述欧几里得距离ρ大于所述距离阈值时，将所述训练参数减去缩小阈值，重复所述对所述二维图像进行处理并计算欧几里得距离步骤，直到所述欧几里得距离ρ小于等于所述距离阈值。


6.如权利要求5所述的手部三维图像识别方法，其特征在于，所述利用所述训练参数估计需要识别...

【专利技术属性】
技术研发人员：段若愚，史明，韩钰浩，
申请(专利权)人：杭州小伴熊科技有限公司，
类型：发明
国别省市：浙江;33