一种基于立体视觉的虚拟触摸板方法技术

本发明专利技术提出一种基于立体视觉的虚拟触摸板方法，所述方法包括以下步骤：S1，融合多条视觉线索实现指示手势的跟踪；S2，结合深度信息和摄像机成像模型计算得到指尖的三维位置；S3，给出虚拟触摸板的定义，并结合指尖的三维位置与虚拟触摸板的深度信息，实现人机交互操作。

A virtual touch panel method based on stereoscopic vision

The invention provides a virtual touch panel method based on stereo vision, the method comprises the following steps: S1, a fusion of multiple visual cues indicating the implementation of gesture tracking; S2, 3D position is calculated with finger depth information and camera imaging model; S3, given the definition of virtual touch panel, and combined with the three-dimensional position the tip of the touch panel and virtual depth information, realize the human-computer interaction operation.

【技术实现步骤摘要】
一种基于立体视觉的虚拟触摸板方法
本专利技术属于计算机视觉交互，涉及一种基于立体视觉的虚拟触摸板方法。
技术介绍
近些年来，便携键盘和鼠标虽然能够完成大部分的交互任务，但需要完全占据用户的双手和注意力，在交互的自然性和灵活性方面存在很大的局限性。而基于视觉的人机交互通过成像设备获取交互场景中包含人的视频图像，采用视觉算法对人的行为和交互意图进行识别、理解和描述，提供一种以人为中心的自然的人机交互方式。人类最习惯用双手与外界进行大部分交互操作，因此基于视觉的手势交互也受到了广泛的关注和研究。经过多年的研究，基于视觉的人机交互技术取得许多进展，但仍然存在许多困难和挑战。基于穿戴视觉的手势交互系统允许用户自由运动到任何地方，也可以与计算机分享穿戴者的视觉体验，但穿戴环境下人机交互方式的自然性、多样性和人性化等因素都会对交互体验产生重要的影响。专利“一种基于杂乱背景中的手势跟踪方法，申请号CN201510401525.0”，采用在LUV色彩空间中对每一帧图像进行直方图分割，再将分割的不同区域按照肤色的可能性大小排序，通过计算当前帧的不同区域同前面帧中手势区域的距离大小以及对应的每个区域中的运动像素点的个数，确定当前帧的手势区域，并记录手势信息。专利“指示手势的手指尖定位方法，申请号CN200910198196.9”，是根据指示手势行为中的指示手势的手部特征，自动确定指示手势的手指尖位置。采用背景差分法，提取指示手势对象，运用肤色分割方法，提取指示手势的手部区域，根据指示手势的手指尖位于指示手势的手部边沿轮廓且距离指示手势的手指区域重心最远处，自动确定手指尖点。专利“手势操作方法、利用手势定位屏幕光标的方法及手势系统，申请号CN201510731772.7”，先获取用户的至少一个特征部位，以所述特征部位所在位置为参考，生成与所述特征部位的位置具有固定相对位置关系的虚拟操作空间，检测所述虚拟操作空间中的手势，并执行相应的操作。上述前两个专利技术主要利用肤色特征先进行人手分割然后进行识别和跟踪，虽然基于颜色的人手跟踪算法简单易用，但是对光照条件的变化敏感，很难适应穿戴计算中多变的环境。上述第3个专利技术虽然可以获取手势的三维信息，但需提前选定至少一个参照物，且无法区分穿戴者的行为意图。
技术实现思路
本专利技术目的在于利用虚拟触摸板提供的空间约束，以一种自然的方式区分穿戴者的交互行为和随意行为，有效解决了视觉交互中无法区分穿戴者行为意图的问题。此外，针对穿戴环境下光照条件和背景变化的不确定性，提出了基于ICONDENSATION框架融合轮廓与LBP特征的CL-PGT算法实现指示手势的跟踪。为解决上述技术问题，本专利技术采用如下的技术方案：一种基于立体视觉的虚拟触摸板方法，包括以下步骤：S1，融合多条视觉线索实现指示手势的跟踪；S2，结合深度信息和摄像机成像模型计算得到指尖的三维位置；S3，给出虚拟触摸板的定义，并结合指尖的三维位置与虚拟触摸板的深度信息，实现人机交互操作。进一步地，本专利技术的步骤S1中，是通过基于ICONDENSATION框架融合轮廓与LBP特征的CL-PGT(即ContourandLbpbasedPointingGestureTracking)算法实现指示手势的跟踪。ICONDENSATION框架是通过引入重要采样机制对CONDENSATION算法(出自论文CONDENSATION-Conditionaldensitypropagationforvisualtracking，作者M.Isard、A.Blake，InternationalJournalofComputerVision(IJCV)，1998，29(1)：5-28.)进行的扩展，而CONDENSATION算法实际上是粒子滤波器(出自论文Novelapproachtonon-linearandnon-gaussionBayesianstateestimation，作者GordonN、SalmondD，ProcofInstituteElectricEngineering，1993，140(2)：107-113.)的一种变形。此跟踪算法同时采用运动模型和重要采样两种方式对粒子的状态进行预测，即综合考虑时空约束和基于深度线索的启发式信息来提高粒子采样的准确性和效率。该策略采用两种线索进行粒子状态的预测，只有两种线索同时预测失败时才会导致跟踪错误。此外，重要采样技术可用于目标状态的重新初始化，为跟踪算法提供了一种从错误中自动恢复的机制。进一步地，本专利技术的步骤S2中，利用指示手势的跟踪结果，获取指尖的二维位置，然后计算人手平面与指尖成像直线的交点。其中，人手平面通过最小二乘法对手势分割所得到的三维离散点集进行拟合得到，而指尖点在成像平面的坐标，通过指示手势跟踪算法计算得到。进一步地。本专利技术的步骤S3中，虚拟触摸板并不是实际的硬件，是定义在立体视觉机正前方一定距离且垂直于摄像机光轴的平面，无法被穿戴者看见，但能被穿戴者“触碰”到。进一步地，本专利技术的步骤S3中，与虚拟触摸板的“触碰”操作的判定方式是判断手势指尖的深度值是否大于或等于虚拟触摸板到立体视觉机的距离。其中，人机交互操作包括：指尖点击触摸板模拟鼠标的单击事件，指尖在触摸板上绘制笔划实现手写输入和指尖在触摸板上绘制封闭曲线实现区域的圈取操作。以目标圈取为例，基于虚拟触摸板的交互概括为如下步骤：(1)将指示手势接触虚拟触摸板，(2)移动指示手势绘制封闭曲线圈取目标区域，(3)将指示手势移离虚拟触摸板结束图取。本专利技术与现有技术相比具有以下的有益效果：(1)本专利技术以一种自然的方式区分穿戴者的交互行为和随意行为，有效解决了视觉交互中无法区分穿戴者行为意图的问题；(2)基于ICONDENSATION框架融合轮廓与LBP特征的CL-PGT算法实现指示手势的跟踪，解决了穿戴环境下光照条件和背景变化的不确定性。附图说明图1是本专利技术的总体方法流程图。图2是指示手势的跟踪算法CL-PGT的方法流程图。图3是计算指尖三维位置示意图。图4是虚拟触摸板示意图。具体实施方式下面结合附图及具体实施例对本专利技术进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。如图1所示，本专利技术的基于立体视觉的虚拟触摸板方法，包括以下步骤：S1：如图2所示，通过基于ICONDENSATION框架融合轮廓和LBP特征的CL-PGT算法实现的指示手势的跟踪算法，具体实现步骤如下：1、初始化利用人工标注的正负样本训练得到LBP特征的SVM分类器SVMlbp，初始化粒子集合的状态。2、粒子滤波跟踪1)利用因子采样和重要采样产生新的粒子集合：对每个粒子n＝1：Na.产生均匀分布的随机数α∈[0，1)；b.如果满足α≤γ，采用因子采样，即通过基准粒子和运动模型产生新的粒子并令其中，γ是阈值，取值区间为(0，1)，用以控制重要采样与因子采样的比例；t表示某个时刻；n表示粒子编号；表示基准粒子，通过对t-1时刻的第n个粒子以概率挑选生成；表示独立于目标状态的零均值高斯白噪声；c.如果满足α＞γ，采用重要采样，即根据重要函数gt(Xt)产生新的粒子并令其中，重要函数的函数原型为g(p)＝N(p，σ)，N(·)表示高斯分布，σ是本文档来自技高网...

【技术保护点】
一种基于立体视觉的虚拟触摸板方法，其特征在于，包括以下步骤：S1，融合多条视觉线索实现指示手势的跟踪；S2，结合深度信息和摄像机成像模型计算得到指尖的三维位置；S3，给出虚拟触摸板的定义，并结合指尖的三维位置与虚拟触摸板的深度信息，实现人机交互操作。

【技术特征摘要】
1.一种基于立体视觉的虚拟触摸板方法，其特征在于，包括以下步骤：S1，融合多条视觉线索实现指示手势的跟踪；S2，结合深度信息和摄像机成像模型计算得到指尖的三维位置；S3，给出虚拟触摸板的定义，并结合指尖的三维位置与虚拟触摸板的深度信息，实现人机交互操作。2.根据权利要求1所述的一种基于立体视觉的虚拟触摸板方法，其特征在于，所述步骤S1通过基于ICONDENSATION框架融合轮廓与LBP特征的CL-PGT(即ContourandLbpbasedPointingGestureTracking)算法实现指示手势的跟踪。3.根据权利要求1所述的一种基于立体视觉的虚拟触摸板方法，其特征在于，所述步骤S2利用指示手势的跟踪结果，获取指尖的二维位置，然后计算人手平面与指尖成像直线的交点。4.根据权利要求3所述的一种基于立体视觉的虚拟触摸板方法，其特征在于，所述步骤S2中人手平面可通过最小二...

【专利技术属性】
技术研发人员：郝刚，梁鹏，郑振兴，吴玉婷，
申请(专利权)人：广东技术师范学院，
类型：发明
国别省市：广东,44