一种基于深度信息和校正方式的手部姿态估计方法技术

本发明专利技术公开了一种基于深度信息和校正方式的手部姿态估计方法，包括以下步骤：S1.获取手部深度数据，并从手部深度数据中分割出手部区域；S2.根据手部区域检测手掌姿态；S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置；S4.计算手部各关节点的投影特征；S5.根据手部各关节点的投影特征进行手指姿态校正。本发明专利技术以深度数据为基础，通过分割出手部区域并计算出手掌姿态，然后通过深度图像与姿态校正的方式估计出手指姿态，方法简单实用。

【技术实现步骤摘要】

本专利技术涉及机器人视觉
，特别是涉及一种基于深度信息和校正方式的手部姿态估计方法。
技术介绍
近几年人机交互技术在生活中起着越来越重要的作用，便利舒适的交互方式能够极大地曾倩人们的交互体验。传统的交互方式诸如键盘鼠标的方式，虽然能够满足日常交互输入，但是在便利性、距离等方面都受到一定的限制。近年来手势技术成为了研究的热点，以手进行交互的方式层出不穷。手作为人体最灵活的器官，具有较高的自由度和灵活度，因此不仅能够完成日常生活中的工作劳动，同时也能够满足未来以手势为代表的交互输入。其中手势技术也经过了一定时间的发展，但是传统的手势基础诸如表观法，利用手在相机前做出特点的动作，然后识别出何种动作，进行相应的指令，受限于背景复杂以及手势外观变化的多样性，实用性并不大。而最近部分手势识别方法采用对手部轨迹进行是被，进而识别出手势动作，这种利用手部轨迹运动的交互方式操作起来还是比较容易产生疲劳感。而最具有潜力的三维手势，即通过识别手部姿态的变化，从而作为交互指令，不仅快捷便利，同时也自然很多，因此三维手势交互技术在未来具有极大的潜力。三维手势的技术基础就是实现对手部姿态的实时估计，这项技术有着较长时间的研究。其中以判别式为代表的放肆，首先对手部区域的图像提取特征，然后通过分类器来对所有的像素点进行分类得到各个管借鉴的标注，对各关节点像素通过聚类得到关节点的位置。另外部分方法通过深度模型得到部分关节点位置，再通过逆向骨骼算法得到其他关节点。这种得到关节点位置的方式，其实对交互场景而言作用并不大，关节点之间丧失了拓扑结构的约束，大大限制了后续的交互应用。而以产生式为代表的方式，往往首先建立手部模型，然后结合深度图像与手部模型建立能量函数，通过最优化能量函数得到当前手部的姿态估计结果。这种方式在渲染模型时需要GPU加速，比较消耗硬件资源。同时能量函数最优化时会出现局部最优解，使得估计出现误差。而近几年出现的将产生式和判别式相结合的方式，通过判别式得到姿态假设，再通过产生式计算出最优姿态，这种方式虽然得到的结果比前两种方法更准确，但是较为复杂的方法不仅消耗硬件资源，而且对交互系统而言也不是最优的。现有技术中，与本专利技术类似的有以下几个：(1)一种基于关节点变换的手势交互方法，申请号为201510377291.0；该专利技术主要通过Kinect传感器在不同角度下拍摄手部点云与彩色数据，并进行点云配准与点云三角面化，得到手部模型，对于当前手势下的手部数据提取点云特征和图像特征，并与手部模型进行特征匹配，从手指尖逐步求出各个关节点的参数，并以此完成交互。但是这种方法一来对手部建立的点云模型，而三维手势变化多样，且有遮挡现象，很难建立完成点云模型，因此这种方法复杂度较高。(2)一种基于深度数据的三维手势姿态估计方法及系统，申请号为201510670919.6；该专利技术采用Kinect传感器获取手部数据，并在此基础上通过提取特征加判别式模型分别实现手掌姿态和手指姿态的回归，但是该方法过于复杂。(3)一种手势识别方法与装置，申请号为201410036739.8；该专利技术获取手部彩色和深度数据，利用彩色图像完成手部深度数据的分析，并在手部轮廓区域内利用自适应加权提取特征，基于分类器完成对当前手势的类型识别，从而识别出姿态；这种方式实质上上表观法，对于交互场景下的复杂图像，不仅难以解决手部区域完整分割的问题，同时也无法表达高维的手姿姿态下的各种手势。(4)基于Kinect人手运动捕捉的灵巧手遥操作控制方法，申请号为201410697456.8；该专利技术也是基于Kinect进行手部姿态的估计，获取手部深度数据和彩色数据，并利用彩色数据分割出手部区域后，利用基于模板匹配的粒子滤波姿态检测方法预测人手姿态，进而进行手势识别和交互；这种手部姿态估计方法主要通过跟踪的方式实现对手部姿态的估计，一般算法的实时性不佳，且面对遮挡和角度变化较大等情况不佳。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于深度信息和校正方式的手部姿态估计方法，以深度数据为基础，通过分割出手部区域并计算出手掌姿态，然后通过深度图像与姿态校正的方式估计出手指姿态，简单、快捷。本专利技术的目的是通过以下技术方案来实现的：一种基于深度信息和校正方式的手部姿态估计方法，包括以下步骤：S1.获取手部深度数据，并从手部深度数据中分割出手部区域；S2.根据手部区域检测手掌姿态；S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置；S4.计算手部各关节点的投影特征；S5.根据手部各关节点的投影特征进行手指姿态校正。所述步骤S1包括以下子步骤：S11.获取手部深度数据；S12.获得包括第一手腕点Pwrist的人体骨骼图像；S13.将第一手腕点Pwrist变换到图像坐标系下，得到第二手腕点位置且S14.以第二手腕点位置为中心取领域为t的矩形区域，得到第一矩形区域Rect1：Rect1＝{m,n本文档来自技高网...

【技术保护点】
一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：包括以下步骤：S1.获取手部深度数据，并从手部深度数据中分割出手部区域；S2.根据手部区域检测手掌姿态；S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置；S4.计算手部各关节点的投影特征；S5.根据手部各关节点的投影特征进行手指姿态校正。

【技术特征摘要】
1.一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：包括以下步骤：S1.获取手部深度数据，并从手部深度数据中分割出手部区域；S2.根据手部区域检测手掌姿态；S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置；S4.计算手部各关节点的投影特征；S5.根据手部各关节点的投影特征进行手指姿态校正。2.根据权利要求1所述的...

【专利技术属性】
技术研发人员：姬艳丽，程洪，李昊鑫，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51