当前位置: 首页 > 专利查询>江南大学专利>正文

一种面向工业场景的投影式增强现实跟踪显示方法和系统技术方案

技术编号:23399420 阅读:29 留言:0更新日期:2020-02-22 11:45
本发明专利技术公开了一种面向工业场景的投影式增强现实跟踪显示方法和系统,包括以下步骤,利用传感模块实时获取装配场景的深度数据;视点跟踪模块接收所述深度数据判断跟踪操作人员的头部位置并将其转化为投影屏幕坐标系中位置信息;所述视点跟踪模块根据在投影屏幕坐标系中的位置调整投影矩阵,绘制出相应视点的图像,同时根据所述操作人员的视点位置变换3D诱导场景的虚拟相机朝向信息;投影模块根据计算机模块传输的投影信息完成图显示。本发明专利技术的有益效果:采用投影式增强现实更符合工业现场操作需求,减少用户佩戴负担,提高工作效率。

A projection augmented reality tracking display method and system for industrial scene

【技术实现步骤摘要】
一种面向工业场景的投影式增强现实跟踪显示方法和系统
本专利技术涉及增强现实的
,尤其涉及一种面向工业场景的投影式增强现实跟踪显示方法及面向工业场景的投影式增强现实跟踪显示系统。
技术介绍
增强现实(AugmentedReality)技术是一种将虚拟信息与真实世界巧妙融合的技术,增强现实技术也被称为扩增现实,AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的
技术实现思路
,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后,能够在同一个画面以及空间中同时存在。现有的增强现实系统按照显示方式可分为穿戴式、手持式和空间投影式。穿戴式显示方式主要有眼镜式和头盔式,该类显示方式的缺点是显示设备较重,并且需要佩戴在操作者头部,长时间佩戴会引起操作者眩晕,疲劳等不适,且设备续航能力较差,不适用于产品装配生产线;手持式增强现实系统通常使用平板本文档来自技高网...

【技术保护点】
1.一种面向工业场景的投影式增强现实跟踪显示方法,其特征在于:包括以下步骤,/n利用传感模块(100)实时获取装配场景的深度数据;/n视点跟踪模块(200)接收所述深度数据判断跟踪操作人员的头部位置并将其转化为投影屏幕坐标系中位置信息;/n所述视点跟踪模块(200)根据在投影屏幕坐标系中的位置调整投影矩阵,绘制出相应视点的图像,同时根据所述操作人员的视点位置变换3D诱导场景的虚拟相机朝向信息;/n投影模块(300)根据计算机模块(200)传输的投影信息完成图显示。/n

【技术特征摘要】
1.一种面向工业场景的投影式增强现实跟踪显示方法,其特征在于:包括以下步骤,
利用传感模块(100)实时获取装配场景的深度数据;
视点跟踪模块(200)接收所述深度数据判断跟踪操作人员的头部位置并将其转化为投影屏幕坐标系中位置信息;
所述视点跟踪模块(200)根据在投影屏幕坐标系中的位置调整投影矩阵,绘制出相应视点的图像,同时根据所述操作人员的视点位置变换3D诱导场景的虚拟相机朝向信息;
投影模块(300)根据计算机模块(200)传输的投影信息完成图显示。


2.如权利要求1所述的面向工业场景的投影式增强现实跟踪显示方法,其特征在于:包括以下步骤,
所述传感模块(100)采用AzureKinectDK相机;
所述视点跟踪模块(200)以头部位置骨骼点代替双眼位置;
利用相机的API接口函数捕获所述操作人员的头部骨骼点在所述AzureKinectDK相机坐标系中的位置坐标;
根据头部骨骼点在投影屏幕坐标系中的位置调整投影矩阵,绘制出相应视点的图像。


3.如权利要求1或2所述的面向工业场景的投影式增强现实跟踪显示方法,其特征在于:头部位置在相机坐标系和投影平面坐标系的转换关系如下式,



式中,(xc,yc,zc)T用户头部骨骼在相机坐标系中的坐标,(xp,yp,zp)T为头部在投影屏幕坐标系中的坐标,R为旋转矩阵,T为平移矩阵。


4.如权利要求3所述的面向工业场景的投影式增强现实跟踪显示方法,其特征在于:所述虚拟相机朝向信息变换如下步骤,
计算二维投影的透视投影矩阵时;
将虚拟相机的位置定在头部位置点(xp,yp,zp)T;
虚拟相机的观察方向由人体头部视点位置(xp,yp,zp)T指向模型的中心点O;
根据三角形相似关系可得近截面体的四点坐标为:



式中dn为虚拟相机到近截面的距离,df为虚拟相机到远截面的距离,为远截面x轴方向边界坐标,为远截面y轴方向边界坐标,为近截面x轴方向边界坐标;为近截面y轴方向边界坐标。


5.如权利要求4所述的面向工业场景的投影式增强现实跟踪显示方法,其特征在于:根据近截面体的四点坐标得出对应的透视投影矩阵如下,





6.如权利要求1~2或4~5任一所述的面向工业场景的投影式增强现实跟踪显示方法,其特征在于:所述视点跟踪模块(200)对操作人员进行视点跟踪的同时,利用基于模板匹配的目标跟踪模块(400)对装配场景下操作对象的实时跟踪,所述目标跟踪模块(400)包括生成视觉模板库和线上匹配。


7.如权利要求6所述的面向工业场景的投影式增强现实跟踪显示方法,其特征在于:所述视觉模板库包括以下生成步骤,

【专利技术属性】
技术研发人员:陆卫刚周治平
申请(专利权)人:江南大学
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1