一种三维手势模型的初始化方法技术

本发明专利技术公开了一种三维手势模型的初始化方法，包括如下步骤：（１）建立三维手势数据库；（２）利用摄像机采集手势图像，并从视频流中获取一个帧图像，计算观测特征值；（３）在三维手势数据库中搜寻与当前手势图像最相近的三维手势模型；（４）从视频流获取新的观测特征值，并进行可视化显示；（５）操作者调整手势状态；（６）如果操作者不认可当前手势状态，转向步骤（４）；（７）如果操作者认可当前手势状态，则停止调整，对当前的手势状态及三维手势模型进行评价，得出评价结果，如果评价结果达到精度要求，则绘制、输出三维手势模型，初始化成功，如果评价结果没有达到精度要求，转向步骤（４）。

【技术实现步骤摘要】

本专利技术涉及三维手势模型的初始化领域，具体地讲，涉及及系统。
技术介绍
基于计算机视觉的三维自然人手跟踪将为现实或虚拟环境里的HCI提供新的模式，从而实现更直接、更自然、更和谐的人机交互，目前已经引起了国际上的高度重视。 粒子滤波方法已经成为处理非高斯、非线性问题的有力工具而在关节式物体的跟踪领域得到了广泛的关注。但是，采用粒子滤波需要对人手模型状态进行初始化。研究表明，无论传统的数值优化方法还是一些现代优化方法，跟踪算法收敛的速度都非常依赖于初始值的选取。如果初始值与最终的最优解或某个可行解比较接近，优化算法搜索到最优解或者可行解的速度就会大大增加。因此通过目标函数优化来求解姿态估计问题的关键是需要得到一定精度的初始值。大部分系统采用手工方法进行初始化。 手工初始化方法的流程为(1)将摄像机进行定标，求出摄像机的内参数；(2)设计三维人手模型；(3)将当前的人手图像显示在显示器上；(4)调整三维人手模型参数，使得模型与人手图像更接近；(5)将模型向像平面进行投影；(6)判断该投影与显示器上的人手图像是否吻合？若是，则手工初始化成功，保存模型参数；若不是，转步骤(4)。这里的吻合是指用眼睛看起来令人满意或计算机求得的误差达到用户指定精度范围。该初始化方法存在精度低、工作量大、耗时长、缺乏灵活性等问题。 《计算机辅助设计与图形学》2006年第18卷第08期的《一种基于UKF的3-D人手跟踪算法》公开了一种人手三维模型的方法，该模型根据人手的生理特点和运动特点，设计时主要考虑静态约束(关节角度变化范围)和运动约束(关节之间的运动依赖关系)，每个指节用圆柱进行仿真，手指的长度、手指的半径以及手掌的尺寸设置均在初始化阶段完成。此论文的人手三维模型比常规人手三维模型更简单，更粗糙 2008年IEEE计算机协会期刊公开了一篇关于图像中特征提取的方法研究的论文，名称为提取图像特征的鲁棒性方法研究(Research on FeaturesExtraction From Frame Image Sequences)，此论文提出一种人手帧图像中特征提取的鲁棒性方法，该方法分两个阶段进行特征粗定位阶段(简称CLP阶段)和特征鲁棒性提取阶段(简称REP阶段)。在CLP阶段，通过近似地用凹凸多边形模型刻画帧图像中的手势多边形，探讨从定位点和定位线出发获取手势多边形的基本方法，给出一种提取手势多边形和感兴趣特征的特征初定位算法(简称CL算法)。在REP阶段，利用多尺度理论和方法对采用CL算法得到的特征进一步进行处理，通过定义不同类型特征点强度概念，构造不同类型特征点的描述形式，得到特征鲁棒性提取算法(简称RE算法)。大量对比实验表明，RE算法具有鲁棒性强、时间开销低等优点。 2008年IEEE计算机协会期刊还公开了一种建立三维模型方法及该模型在人手跟踪中应用的研究，论文名称为鲁棒性观测似然模型及其在人手跟踪中的应用研究(The Robust Likelihood Model of State Measurement and ItsApplications In Articulated Object Tracking)。此论文以鲁棒性和实时性为目标，对从人手帧图像中获取特征点的方法进行研究。首先，根据人手生理模型和相机投影原理，提出用手势多边形描述的手势图像轮廓的基本思想和基本方法；其次，对手势多边形的顶点局部区域利用Lindeberg方法获取基于多尺度的角点位置；然后，利用Hausdorff距离和Hausdorff矩阵表达不同尺度下的特征信息；在此基础上，提出了状态观测似然模型；最后，把该模型用于三维运动人手跟踪，并进行大量对比实验。 2008年2月《中国图象图形学报》第13卷第2期公开了密度分布特征及其在二值图像检索中的应用。该方法在经过形心定位和子图像区域划分后，可得到2个M维特征向量，其中第1个表示各个子图像区域的目标像素的相对密度，第2个表示各个子图像区域的目标像素在极坐标方向上的相对密度的一阶数值差分。在进行相似性度量时，首先采用Gaussian模型对这2个特征向量计算得到的距离分别进行归一化处理；然后综合两个特征向量的距离计算总的相似度。 本专利技术在上述论文公开的算法基础上，提出了一种三维手势模型初始化方法及系统。
技术实现思路
本专利技术要解决的技术问题是提供一种时间开销少、鲁棒性和精度得到有效改善的初始化方法，该方法把可视化技术和人机交互技术天然地结合在一起，给操作者带来愉悦和方便。 本专利技术采用如下技术方案来实现专利技术目的 ，其特征在于，包括如下步骤 (1)建立三维手势数据库； (2)利用摄像机采集手势图像，并从视频流中获取帧图像，计算观测特征值； (3)在三维手势数据库中搜寻与当前手势图像最相近的三维手势模型，将搜寻到的三维手势模型显示并按照摄像机投影矩阵进行投影； (4)从视频流获取新的观测特征值，并进行可视化显示，得到观测特征值图像； (5)操作者调整手势状态； (6)如果操作者不认可当前手势状态，转向步骤(4)； (7)如果操作者认可当前手势状态，则停止调整，对当前的手势状态及三维手势模型进行评价，得出评价结果，如果评价结果达到精度要求，则绘制、输出三维手势模型，初始化成功，如果评价结果没有达到精度要求，则转向步骤(4)。 作为对本专利技术的进一步限定，步骤(1)包括如下步骤 B1用定标后的摄像机获取人手图像； B2建立三维人手模型，不断调整三维人手模型参数，直到三维人手模型在对应人手图像上的投影与该人手图像吻合为止，其中，投影矩阵由已知摄像机的参数所组成； B3获取人手图像的密度分布特征 B4用索引方式组织人手图像、三维人手模型以及密度分布特征。 作为对本专利技术的进一步限定，步骤(7)包括如下操作过程 D1计算手势观测图像I(t)与模型投影图像P(t)之间的Hausdorff距离hk(i，j)＝Hausdorff(I(t)，P(t))，其中，i∈I(t)，j∈P(t)； D2如果hk(i，j)＜δ，则返回人手模型，人手模型达到规定精度，保存输出初始化模型，初始化成功，其中，δ为一常数； D3如果hk(i，j)＞δ，则执行如下步骤 D3.1求集合Xj，把三维手势模型中影响特征向量j的所有变量放入集合Xj中，在此j为关键因素； D3.2对集合Xj中所有元素进行采样； D3.3根据采样值重新计算Hausdorff距离hk+1(i，j)，如果hk+1(i，j)＞hk(i，j)，则舍弃此次采样值，转步骤D3.2； D3.4如果hk+1(i，j)＜hk(i，j)，则程序根据采样值自动刷新三维手势模型，并进行显示，同时把三维手势模型按照摄像机投影矩阵进行投影； D3.5把人手图像中的关键因素以一定的形式凸现出来，操作者根据可视化状态调节手势。 作为对本专利技术的进一步限定，步骤D3.2对集合Xj中所有元素进行采样包括如下步骤状态变量x∈Xj是服从高斯分布的随机变量，用上一时刻t-1的状态分布近似地代替时刻t的状态分布，即为了避免状态值在大范围内震荡，尽快收敛到真实解，引进阈值λ，使其满足条件λ为一常数。λ可取值3或4或5。 本文档来自技高网...

【技术保护点】
一种三维手势模型的初始化方法，其特征在于，包括如下步骤：　（１）建立三维手势数据库；　（２）利用摄像机采集手势图像，并从视频流中获取帧图像，计算观测特征值；　（３）在三维手势数据库中搜寻与当前手势图像最相近的三维手势模型， 将搜寻到的三维手势模型显示并按照摄像机投影矩阵进行投影；　（４）从视频流获取新的观测特征值，并进行可视化显示，得到观测特征值图像；　（５）操作者调整手势状态；　（６）如果操作者不认可当前手势状态，转向步骤（４）；　（ ７）如果操作者认可当前手势状态，则停止调整，对当前的手势状态及三维手势模型进行评价，得出评价结果，如果评价结果达到精度要求，则绘制、输出三维手势模型，初始化成功，如果评价结果没有达到精度要求，则转向步骤（４）。

【技术特征摘要】

【专利技术属性】
技术研发人员：冯志全，杨波，
申请(专利权)人：济南大学，
类型：发明
国别省市：88[中国|济南]