一种基于深度相机偏离用户手势控制的标定方法和装置制造方法及图纸

本发明专利技术提出一种基于深度相机偏离用户手势控制的标定方法和装置，所述方法包括1号坐标系和2号坐标系，当前空间坐标系中心是1号深度相机，Z轴是深度相机深度方向；1号深度相机安装到屏幕前方任意位置，用于采集整个屏幕数据；所述方法将空间手势坐标与屏幕像素坐标一一对应，屏幕包括平面或者曲面屏幕。本发明专利技术所述方法实现了空间手势坐标与复杂曲面屏幕坐标关系对应；解决了深度相机偏离用户手势控制的问题；并同时解决了深度相机安装位置的局限性的问题。性的问题。性的问题。

【技术实现步骤摘要】
一种基于深度相机偏离用户手势控制的标定方法和装置


[0001]本专利技术属于手势控制的标定
，特别是涉及一种基于深度相机偏离用户手势控制的标定方法和装置。

技术介绍

[0002]利用深度相机获取手势深度信息，深度相机连接的主机分析3D手势行为，并与2D展示界面进行互动。目前比较常见的设备有互动投影，体感游戏机、智能电视机，通过深度相机识别人体姿势或手势来完成与投影幕、投影墙、电子屏幕体感交互过程。
[0003]用户在与投影幕或屏幕进行交互时，需要保证3D手势在空间坐标系下与屏幕上操作对象是一一对应的关系，并且屏幕与3D手势深度方向相互垂直。深度相机在安装过程中很难保证手势与屏幕中对象一一对应，并很难保证手势深度方向与屏幕垂直，往往深度相机深度方向与手势深度方向不是同一方向，手势操作位置也会偏离深度相机，这使得3D手势控制无法与屏幕中对象对应。
[0004]现有深度相机偏离用户手势交互标定方法的缺点。
[0005]1、依靠深度相机识别人脸朝向判断手势操作深度方向，识别精度以及人脸朝向算法精度不够，导致操作深度方向误差增大。
[0006]2、人脸朝向必须与操作深度方向保持一致，导致用户操作随意性太差。
[0007]3、深度相机必须能够拍摄到用户脸部信息，导致深度相机安装位置必须在用户前方，限制了深度相机的安装位置。
[0008]4、用户操作深度方向与操作屏幕没有相互垂直。
[0009]5、用户3D手势不能与屏幕中对象对应。
[0010]6、无法对曲面屏幕中元素进行对应。
[0011]综上所述缺点，本专利技术提出的一种基于深度相机偏离用户手势控制的标定方法与装置能够解决上述问题。

技术实现思路

[0012]本专利技术目的是为了解决现有的技术问题，提出了一种基于深度相机偏离用户手势控制的标定方法和装置。
[0013]本专利技术是通过以下技术方案实现的，本专利技术提出一种基于深度相机偏离用户手势控制的标定方法，包括1号坐标系和2号坐标系，当前空间坐标系中心是1号深度相机，Z轴是深度相机深度方向；1号深度相机安装到屏幕前方任意位置，用于采集整个屏幕数据；所述方法包括以下步骤：
[0014]步骤1、1号深度相机采集数据进行三维重建；
[0015]步骤2、由屏幕4个特征点生成空间像素点；
[0016]步骤3、将像素点模型PixObj点坐标投影到屏幕三维网格模型Obj上，从而使得像素点模型点坐标替代屏幕像素点坐标；
[0017]步骤4、1号深度相机采集屏幕三维网格模型Obj数据，通过屏幕三维网格模型Obj数据创建像素点模型PixObj数据，2号深度相机采集空间手势坐标，将1号深度相机坐标系下的像素点模型PixObj变换到2号深度相机坐标系下从而实现空间手势坐标、PixObj、屏幕像素坐标关系一一对应；
[0018]步骤5、如果空间手势坐标提供指向方向，则空间手势坐标按照指向方向投影到像素点模型PixObj表面，寻找最近点，查询点编号即可得出对应的屏幕像素点坐标；如果空间手势坐标未提供指向方向，那么在空间直接寻找像素点模型PixObj最近点，查询点编号即可得出对应的屏幕像素点坐标。
[0019]进一步地，所述步骤1具体为：
[0020]步骤1.1、通过1号深度相机获取三维场景空间点；
[0021]步骤1.2、通过手动方式或者自动方式选取特征点，特征点位置为屏幕4个角，顺序依次为左上角、右上角、右下角、左下角；
[0022]步骤1.3、未被4个特征点所包含的三维场景空间点删除掉，删除前将4个特征点进行扩大处理防止误删；
[0023]步骤1.4、剩余的三维场景空间点，采用Delaunay三角剖分算法进行三角剖分，最终得出屏幕三维网格模型数据定义为Obj。
[0024]进一步地，在步骤2中，根据屏幕像素尺寸W，H；空间特征点坐标p1,p2,p3,p4；计算屏幕每一个像素点对应的像素点模型坐标，具体为：
[0025]步骤2.1、计算p1(x1,y1,z1)与p2(x2,y2,z2)之间距离D：
[0026][0027]步骤2.2、计算横向空间像素点之间距离d：
[0028][0029]步骤2.3、p1沿着p2
‑
p1方向按照距离d依次生成空间像素点坐标，此时不能按照x轴方向生成，因为p1与p2没有保证与x轴平行；
[0030]步骤2.4、根据步骤2.1、步骤2.2、步骤2.3方法生成纵向空间像素点坐标；
[0031]步骤2.5、生成的空间像素点坐标，每个点的索引值对应屏幕像素坐标值；
[0032]步骤2.6、生成的空间像素点进行三角剖分得出像素点模型PixObj。
[0033]进一步地，所述步骤3具体为：
[0034]步骤3.1、确定投影方向，p1、p2、p3、p4，形成2组平面，p1p2p3形成A面，p3p4p1形成B面，A面向量与B面向量平均值得出投影向量
[0035][0036][0037][0038]步骤3.2、遍历像素点模型PixObj所有点，依次投影到屏幕三维网格模型Obj表面，Obj是由无数个三角面片组成的复杂曲面，像素点模型点按照向量向Obj所有三角面片依次求交点得出新的投影点，更新像素点模型PixObj；
[0039]步骤3.3、像素点模型PixObj投影到屏幕三维网格模型Obj表面后会出现点间距不等问题，采用模型横向平滑与纵向平滑，平滑后再次执行步骤3.2；执行步骤3.3次数越多精度越高。
[0040]进一步地，在1号深度相机与2号深度相机之间添加配准板，配准板正反面标有ABC三个顶点，1号与2号深度相机采集到配准板数据后，通过手动标注，或者自动识别配准板上标签点来确定A、B、C三点空间坐标，利用A、B、C三点来实现两个坐标系变换的过程具体步骤如下：
[0041]步骤4.1、1号深度相机在采集屏幕三维网格模型Obj数据同时能够采集到配准板数据，标注点A1、B1、C1；
[0042]步骤4.2、2号深度相机安装位置采集配准板数据，标注点A2、B2、C2；
[0043]步骤4.3、1号深度相机采集数据进行缩放，计算缩放系数β；
[0044][0045][0046][0047][0048]步骤4.4、按照β对A1、B1、C1和像素点模型PixObj进行缩放；
[0049]步骤4.5、采用ICP算法计算出最优匹配参数R和t，误差函数E(R,t)为：
[0050][0051]其中n为最邻近点对的个数，p
i
表示目标点云P中的一点，q
i
表示源点云Q中与p
i
对应的最近点，R为旋转矩阵，t为平移向量；
[0052]将像素点模型PixObj按照R和t进行变换，完成PixObj变换到2号深度相机坐标系下，实现空间手势坐标与像素点模型在同一坐标系下。
[0053]进一步地，所述如果空间手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机偏离用户手势控制的标定方法，包括1号坐标系和2号坐标系，当前空间坐标系中心是1号深度相机，Z轴是深度相机深度方向；1号深度相机安装到屏幕前方任意位置，用于采集整个屏幕数据；其特征在于：所述方法包括以下步骤：步骤1、1号深度相机采集数据进行三维重建；步骤2、由屏幕4个特征点生成空间像素点；步骤3、将像素点模型PixObj点坐标投影到屏幕三维网格模型Obj上，从而使得像素点模型点坐标替代屏幕像素点坐标；步骤4、1号深度相机采集屏幕三维网格模型Obj数据，通过屏幕三维网格模型Obj数据创建像素点模型PixObj数据，2号深度相机采集空间手势坐标，将1号深度相机坐标系下的像素点模型PixObj变换到2号深度相机坐标系下从而实现空间手势坐标、PixObj、屏幕像素坐标关系一一对应；步骤5、如果空间手势坐标提供指向方向，则空间手势坐标按照指向方向投影到像素点模型PixObj表面，寻找最近点，查询点编号即可得出对应的屏幕像素点坐标；如果空间手势坐标未提供指向方向，那么在空间直接寻找像素点模型PixObj最近点，查询点编号即可得出对应的屏幕像素点坐标。2.根据权利要求1所述的方法，其特征在于：所述步骤1具体为：步骤1.1、通过1号深度相机获取三维场景空间点；步骤1.2、通过手动方式或者自动方式选取特征点，特征点位置为屏幕4个角，顺序依次为左上角、右上角、右下角、左下角；步骤1.3、未被4个特征点所包含的三维场景空间点删除掉，删除前将4个特征点进行扩大处理防止误删；步骤1.4、剩余的三维场景空间点，采用Delaunay三角剖分算法进行三角剖分，最终得出屏幕三维网格模型数据定义为Obj。3.根据权利要求2所述的方法，其特征在于：在步骤2中，根据屏幕像素尺寸W，H；空间特征点坐标p1,p2, p3, p4；计算屏幕每一个像素点对应的像素点模型坐标，具体为：步骤2.1、计算p1(x1,y1,z1)与p2(x2,y2,z2)之间距离D：D= (1)步骤2.2、计算横向空间像素点之间距离d：d= (2)步骤2.3、p1沿着p2
‑
p1方向按照距离d依次生成空间像素点坐标，此时不能按照x轴方向生成，因为p1与p2没有保证与x轴平行；步骤2.4、根据步骤2.1、步骤2.2、步骤2.3方法生成纵向空间像素点坐标；步骤2.5、生成的空间像素点坐标，每个点的索引值对应屏幕像素坐标值；步骤2.6、生成的空间像素点进行三角剖分得出像素点模型PixObj。4.根据权利要求3所述的方法，其特征在于：所述步骤3具体为：步骤3.1、确定投影方向，p1、p2、p3、p4，形成2组平面，p1p2p3形成A面，p3p4p1形成B面，A面向量与B面向量平均值得出投影向量： =
ꢀꢀ
X (3)
ꢀ
=
ꢀꢀ
X (4) =(5)步骤3.2、遍历像素点模型PixObj所有点，依次投影到屏幕三维网格模型Obj表面，O...

【专利技术属性】
技术研发人员：杜国铭，于美国，冯大志，
申请(专利权)人：哈尔滨拓博科技有限公司，
类型：发明
国别省市：