投影触摸板中用户手指参数的获取方法和系统技术方案

本发明专利技术提供一种投影触摸板中用户手指参数的获取方法和系统，包括：拍摄投影平面的当前图像，对当前图像的俯视图和对比图像做差值运算得到差值图像，判断差值图像中是否包含用户手指轮廓，如果是，提取差值图像中的用户手指轮廓，解码用户手指轮廓上每个点在差值图像上的二维坐标，确定用户手指的主方向和指腹宽度a；根据主方向，确定用户手指轮廓最远端的指尖点Pf和平面中轴线，取平面中轴线上的N个点为参考点，计算差值图像中Pf和N个参考点的三维坐标；根据Pf和N个参考点的三维坐标计算用户手指参数Pi的三维坐标。基于本发明专利技术的方法，解决了投影触摸板上用户如何操控光标的问题。

Method and System for Acquiring User's Finger Parameters in Projection Touch Panel

The invention provides a method and system for acquiring user Finger parameters in a projection touch panel, which includes: taking the current image of the projection plane, performing difference operation on the top view of the current image and the contrast image to obtain the difference image, judging whether the difference image contains the user Finger contour, and if so, extracting the user Finger contour in the difference image and decoding each of the user Finger contours. The two-dimensional coordinates of each point on the difference image are determined to determine the main direction and finger web width a of the user's finger; according to the main direction, the fingertip point Pf and the plane central axis at the farthest end of the user's finger contour are determined, and the three-dimensional coordinates of Pf and N reference points in the difference image are calculated by taking N points on the plane central axis as reference points; and the three-dimensional coordinates of the user's finger parameters Pi are calculated according to the three-dimensional coordinates of Pf and N Three-dimensional coordinates. Based on the method of the present invention, the problem of how the user controls the cursor on the projection touchpad is solved.

【技术实现步骤摘要】
投影触摸板中用户手指参数的获取方法和系统
本专利技术涉及人机交互领域，特别涉及一种投影触摸板中用户手指参数的获取方法和系统。
技术介绍
从计算机专利技术至今，人和机器如何更加自然、更加方便的交互一直是人们在探索的热点方向。传统的人机交互方式比如键盘，鼠标等，是利用外接硬件设备，与机器进行交互。随着人机交互技术和终端设备的发展，便携式智能设备成为了人们生活中必不可少的产品，比如智能手机，平板电脑等。因智能设备对便携性的要求，导致设备越做越小，传统的人机交互方式不够便携，已经不能适合如今的交互场景，很多种新型的交互方式被应用到各种便携式智能设备上，比如触摸屏，手势和语音等。但是现有的人机交互技术也存在相应的缺陷，比如在触摸屏越来越小的设备上，交互界面也越来越小，触摸屏的交互技术就无法实现。另一方面，手势交互如今只能实现比较简单的交互方式，而语音交互在嘈杂环境下方法的鲁棒性不好，也不利于保护隐私。因此，新的便携的人机交互技术的研发迫在眉睫。
技术实现思路
本专利技术提供一种投影触摸板中用户手指参数的获取方法和系统，增大了人机交互的交互界面，可以基于图像快速获得的用户手指参数，实时追踪用户手指的位置和轨迹，进而解决用户在投影触摸板上操控光标的问题。本专利技术提供一种投影触摸板中用户手指参数的获取方法，用户手指参数为触碰判断点Pi的三维坐标(xPi,yPi,HPi)，该方法包括：步骤A-1：拍摄投影平面的当前图像，投影平面同时为颜色编码结构光和触摸板的投影平面，对当前图像的俯视图和对比图像做差值运算得到差值图像，对比图像为用户手指未进入投影平面时投影平面的俯视图，判断差值图像中是否包含用户手指轮廓，如果是执行步骤A-2；步骤A-2：提取差值图像中的用户手指轮廓，解码用户手指轮廓上每个点在差值图像上的二维坐标，根据用户手指轮廓及其二维坐标，确定用户手指轮廓的主方向和指腹宽度a；步骤A-3：根据主方向，确定用户手指轮廓最远端的指尖点Pf，令经过指尖点Pf的主方向上的直线为用户手指轮廓的平面中轴线，取平面中轴线上的N个点为参考点，基于颜色编码结构光三维坐标测量原理，计算差值图像中Pf和N个参考点的三维坐标；步骤A-4：根据N个参考点和Pf的三维坐标，利用最小二乘法用计算用户手指的俯仰角根据计算当前Pi的高度Pi和Pf在平面中轴线上的距离根据Pf的二维坐标、Dp以及平面中轴线得到Pi的xPi和yPi。。本专利技术还提供一种投影触摸板中用户手指参数的获取系统，用户手指参数为触碰判断点Pi的三维坐标(xPi,yPi,HPi)，该系统包括：拍摄模块：拍摄投影平面的当前图像，投影平面同时为颜色编码结构光和触摸板的投影平面，对当前图像的俯视图和对比图像做差值运算得到差值图像，对比图像为用户手指未进入投影平面时投影平面的俯视图，判断差值图像中是否包含用户手指轮廓，如果是执行轮廓解码和分析模块；轮廓解码和分析模块：提取差值图像中的用户手指轮廓，解码用户手指轮廓上每个点在差值图像上的二维坐标，根据用户手指轮廓及其二维坐标，确定用户手指轮廓的主方向和指腹宽度a；轮廓分析模块2：根据主方向，确定用户手指轮廓最远端的指尖点Pf，令经过指尖点Pf的主方向上的直线为用户手指轮廓的平面中轴线，取平面中轴线上的N个点为参考点，基于颜色编码结构光三维坐标测量原理，计算差值图像中Pf和N个参考点的三维坐标；用户手指参数计算模块：根据N个参考点和Pf的三维坐标，利用最小二乘法用计算用户手指的俯仰角根据计算当前Pi的高度Pi和Pf在平面中轴线上的距离根据Pf的二维坐标、Dp以及平面中轴线得到Pi的xPi和yPi。本申请基于小型化的颜色编码结构光三维坐标测量系统，只需测量Pi的三维坐标，即可快速判断用户手指是否与投影平面发生触碰，实时追踪Pi的位置和轨迹，即可获取用户手指操作光标的动作，解决了投影触摸板上用户如何操控光标的问题。此外，本专利技术采用投影触摸板的交互方式操控光标，增大了人机交互的交互界面，不受触摸屏的大小限制，设备小型化，可满足便捷的人机交互的需求。附图说明图1为本专利技术颜色编码结构光的示意图；图2为颜色编码结构光三维坐标测量原理图；图3为本专利技术手指模型结构图；图4为本专利技术投影触摸板中用户手指参数的获取方法实施例；图5为本专利技术用户手指进入投影平面时的拍摄图像的俯视图；图6为本专利技术二值化差值图像示意图；图7为图6的用户手指轮廓上最长的两条直线的示意图；图8本专利技术投影触摸板中用户手指参数的获取系统实施例。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本专利技术进行详细描述。利用光的颜色信息进行三维测量是一种新的光学测量方法。对结构光图像进行彩色编码，当编码图像投影到被测物体表面时，由于受到物体表面高度的调制，编码图像发生形变，通过对变形的编码图像进行解码和计算，可以获得物理表面的高度信息。颜色编码结构光测量系统，包括投影仪和摄像头，其中投影仪投影颜色编码结构光，摄像头拍摄被测物体在颜色编码结构光下的图像。使用张正友标定法对投影仪和摄像头进行标定，以获得摄像头和投影仪的内外参数以及两者之间的空间位置关系。标定后的颜色编码结构光测量系统即可用于物体的三维测量，测量精度可以达到像素级别。图1为本专利技术使用的颜色编码结构光，包括两种颜色，紫红色和青色，采用deBruijn编码。选择这两种的原因在于，青色(对应图1中的灰色)和紫红色(对应图1中的黑色)在摄像头蓝色通道数值都很大，两者色度相差明显，而且这两种颜色与人皮肤的颜色相差较大，容易提取。利用deBruijn对颜色结构光进行编码，两种颜色分别表示0和1，每8条为一个周期，周期内编码为11101000，利用连续三条编码就可以判断任一编码在一个周期中的位置。摄像头拍摄图像后，对摄像头拍摄的图像以像素矩阵的形式保存为3通道RGB图像，对于每一帧图像选取其中的B通道的数值，对B通道的数值进行二值化处理，可以清晰显现条纹位置。再将RGB格式图像转化为HSV格式图像，利用HSV图像中的色度通道中的数值大小，判断条纹颜色，根据条纹颜色解码图像，即利用连续三条条纹的颜色能判断其在一个周期中的位置，比较基于每个像素点所在的横竖条纹位置，解码获得每个像素点的编号，再根据像素点在在摄像头数字图像坐标中位置获得该像素点的当前二维平面坐标。图2为颜色编码结构光三维坐标测量原理图，在图2中Ol和Or是摄像头和投影仪的光心，Ol和Or的连线是基线，两个平面分别是摄像头和投影仪的成像平面，el和er分别是是Ol在投影仪成像平面上的投影点和Or在摄像头成像平面上的投影点。根据摄像头拍摄图像确定像素点Pl的在摄像头数字图像坐标中的位置和像素点编号，Pl是被测点P的成像点，根据Pl的像素点编号确定该像素点编号在投影数字图像坐标的位置Pr，进而得到两条从Ol和Or发出射线，OlPl和OrPr，两条射线在世界坐标系下的交点就是P点，由OlPl和OrPr直线方程求出其交点P点的三维坐标。本专利技术，基于以上原理，测量用户手指在颜色编码结构光投影平面的三维信息。为了快速判断用户手指与投影平面的相对位置，本专利技术提出了用户手指参数，具体为触碰判断点Pi。其中，Pi选择依据为本申请设定的手指模型。如图3所示，手指模型为一个椭圆柱和一个四分之一球本文档来自技高网...

【技术保护点】
1.一种投影触摸板中用户手指参数的获取方法，其特征在于，所述用户手指参数为触碰判断点Pi的三维坐标(xPi,yPi,HPi)，所述方法包括：步骤A‑1：拍摄投影平面的当前图像，所述投影平面同时为颜色编码结构光和触摸板的投影平面，对所述当前图像的俯视图和对比图像做差值运算得到差值图像，所述对比图像为用户手指未进入所述投影平面时所述投影平面的俯视图，判断所述差值图像中是否包含用户手指轮廓，如果是执行步骤A‑2；步骤A‑2：提取所述差值图像中的用户手指轮廓，解码所述用户手指轮廓上每个点在所述差值图像上的二维坐标，根据所述用户手指轮廓及其二维坐标，确定用户手指轮廓的主方向和指腹宽度a；步骤A‑3：根据所述主方向，确定所述用户手指轮廓最远端的指尖点Pf，令经过指尖点Pf的主方向上的直线为所述用户手指轮廓的平面中轴线，取所述平面中轴线上的N个点为参考点，基于颜色编码结构光三维坐标测量原理，计算所述差值图像中Pf和N个参考点的三维坐标；步骤A‑4：根据N个参考点和Pf的三维坐标，利用最小二乘法用计算用户手指的俯仰角

【技术特征摘要】
1.一种投影触摸板中用户手指参数的获取方法，其特征在于，所述用户手指参数为触碰判断点Pi的三维坐标(xPi,yPi,HPi)，所述方法包括：步骤A-1：拍摄投影平面的当前图像，所述投影平面同时为颜色编码结构光和触摸板的投影平面，对所述当前图像的俯视图和对比图像做差值运算得到差值图像，所述对比图像为用户手指未进入所述投影平面时所述投影平面的俯视图，判断所述差值图像中是否包含用户手指轮廓，如果是执行步骤A-2；步骤A-2：提取所述差值图像中的用户手指轮廓，解码所述用户手指轮廓上每个点在所述差值图像上的二维坐标，根据所述用户手指轮廓及其二维坐标，确定用户手指轮廓的主方向和指腹宽度a；步骤A-3：根据所述主方向，确定所述用户手指轮廓最远端的指尖点Pf，令经过指尖点Pf的主方向上的直线为所述用户手指轮廓的平面中轴线，取所述平面中轴线上的N个点为参考点，基于颜色编码结构光三维坐标测量原理，计算所述差值图像中Pf和N个参考点的三维坐标；步骤A-4：根据N个参考点和Pf的三维坐标，利用最小二乘法用计算用户手指的俯仰角根据所述计算当前Pi的高度Pi和Pf在平面中轴线上的距离根据所述Pf的二维坐标、Dp以及平面中轴线得到Pi的xPi和yPi。2.根据权利要求1所述的方法，其特征在于，在所述步骤A-1中，所述对所述当前图像的俯视图和对比图像的做差值运算得到差值图像包括：将所述当前图像的俯视图转换为对应像素点的第一二维矩阵，将所述对比图像转换为对应像素点的第二二维矩阵，对所述第一二维矩阵和所述第二二维矩阵做差值运算得到所述差值图像的第三二维矩阵，将所述第三二维矩阵转换为所述差值图像。3.根据权利要求1所述的方法，其特征在于，在所述步骤A-1中，所述判断所述差值图像中是否包含用户手指轮廓包括：获取所述差值图像中形变区的面积，如果所述形变区的面积与所述投影平面的面积的比值超过预设值，则判定所述差值图像中包含用户手指轮廓。4.根据权利要求2所述的方法，其特征在于，所述步骤A-2中，所述提取所述差值图像中的用户手指轮廓包括：在所述第三二维矩阵上选取预设大小的窗口，计算所述窗口内所有像素点的像素均值作为阈值，将所述第三二维矩阵上大于阈值的像素点的像素值修改为预设像素最大值，将所述第三二维矩阵上小于等于阈值的像素点的像素值修改为预设像素最小值，将所述修改后的第三二维矩阵转换为二值化差值图像，基于所述二值化差值图像提取出用户手指轮廓。5.根据权利要求1所述的方法，其特征在于，所述步骤A-2中，所述根据所述用户手指轮廓及其二维坐标，确定用户手指的主方向和指腹宽度a包括：利用霍夫变换找到所述用户手指轮廓上最长的两条直线，取所述两条直线夹角的角平分线方向为用户手指的主方向，取所述两条直线之间距离的平均值为用户手指的指腹宽度a。6.一种投影触摸...

【专利技术属性】
技术研发人员：谢翔，李森，李国林，麦宋平，王志华，
申请(专利权)人：清华大学深圳研究生院，清华大学，
类型：发明
国别省市：广东,44