【技术实现步骤摘要】
本专利技术涉及增强现实领域，特别是指一种基于双目摄像头的三维空间及手势识别追踪交互方法、装置和系统。
技术介绍
增强现实(AR)是通过信息技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或在同一空间同时存在。增强现实技术将动态的、背景专门化的信息加在用户的视觉域之上，它借助计算机图形图像与可视化技术产生虚拟对象，并通过传感技术将它们准确地“放置”于真实环境中，使之借助显示设备与真实环境融为一体。增强现实具有以下特点：一是有一个输入设备:增强现实的系统必须有一个图像输入设备,它可以获取真实世界的图像。现在普遍采用的是摄像头，包括单目摄像头，双目摄像头，深度摄像头等。二是识别追踪算法:追踪算法的作用是可以把虚拟物体和真实摄像头图像实现无缝的叠加,使得人们可以感觉一个虚拟的物体就在真实世界里面。追踪算法是增强现实最核心的部分。三是实时交互:它使交互从精确的位置扩展到整个环境，从简单的人面对屏幕交流发展到将自己融合于周围的空间与对象中。运用信息系统不再是自觉而有意的独立行动，而是和人们的当前活动自然而然地成为一体。交互性系统不再是具备明确的位置，而是扩展到整个环境。传统的增强现实应用一般是通过台式电脑(PC)来实现人机交互。这种交互方式适用于相对固定的环境。移动设备在生活中应用日益广泛，在移动设备应用环境中使用PC交互不是很方便，移动设备提供了触控、摇动、语音、图像
【技术保护点】
一种三维空间及手势识别追踪交互方法，其特征在于，包括如下步骤：采集现实场景的原始二维图像数据；在移动端，根据所述原始二维图像数据生成深度图像，进而根据所述深度图像生成三维点云数据；在移动端，提取所述原始二维图像数据的特征点数据，并进行特征点的匹配，得到特征点的匹配后的数据，所述特征点的匹配后的数据包括不同视点下的2.5D点云数据和稀疏三维点云，所述稀疏三维点云对应于二维图像上的特征描述子；在移动端，将特征点的匹配后的数据与三维点云数据进行场景配准，得到现实场景对应虚拟场景的变换矩阵；在移动端，将虚拟物体与所述现实场景对应虚拟场景的变换矩阵进行叠加。
【技术特征摘要】
1.一种三维空间及手势识别追踪交互方法，其特征在于，包括如下
步骤：
采集现实场景的原始二维图像数据；
在移动端，根据所述原始二维图像数据生成深度图像，进而根据所述
深度图像生成三维点云数据；
在移动端，提取所述原始二维图像数据的特征点数据，并进行特征点
的匹配，得到特征点的匹配后的数据，所述特征点的匹配后的数据包括不
同视点下的2.5D点云数据和稀疏三维点云，所述稀疏三维点云对应于二
维图像上的特征描述子；
在移动端，将特征点的匹配后的数据与三维点云数据进行场景配准，
得到现实场景对应虚拟场景的变换矩阵；
在移动端，将虚拟物体与所述现实场景对应虚拟场景的变换矩阵进行
叠加。
2.根据权利要求1所述的三维空间及手势识别追踪交互方法，其特
征在于，还包括如下步骤：
将特征点匹配后的数据传输到服务器，服务器根据所述特征描述子进
行匹配，若在与服务器连接的数据库中找到已存的虚拟场景的变换矩阵，
则将所找到已存的虚拟场景的变换矩阵返回，替代上述将特征点的匹配后
的数据与三维点云数据进行场景配准所得到的虚拟场景的变换矩阵；若没
有找到，则将特征描述子和三维点云数据上传至服务器，服务器进行高精
度配准计算，生成高精度的现实场景对应虚拟场景的变换矩阵，并存入数
据库。
3.根据权利要求1或2所述的三维空间及手势识别追踪交互方法，
其特征在于，还包括如下步骤：
根据所述原始二维图像数据获取手指的坐标；
根据预先给予的手指坐标和从原始二维图像数据获取的手指坐标计
\t算出手势变换矩阵。
4.根据权利要求3所述的三维空间及手势识别追踪交互方法，其特
征在于，还包括如下步骤：对虚拟物体与现实场景对应虚拟场景的变换矩
阵，以及手势变换矩阵进行叠加。
5.一种三维空间及手势识别追踪交互装置，其特征在于，包括：
深度数据采集模块，用于根据所述原始二维图像数据生成深度图像，
进而根据所述深度图像生成三维点云数据；
特征点匹配模块，用于提取所述原始二维图像数据的特征点数据，并
进行特征点的匹配，得到特征点的匹配后的数据，所述特征点的匹配后的
数据包括不同视点下的2.5D点云数据和稀疏三维点云，所述稀疏三维点
云对应于二维图像上的特征描述子；<...
【专利技术属性】
技术研发人员：古鉴，王雷，方维，伊威，
申请(专利权)人：北京暴风魔镜科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。