一种投影式增强现实图像生成方法及系统技术方案

本发明专利技术涉及一种投影式增强现实图像生成方法及系统，其中所述一种投影式增强现实图像生成方法，包括以下步骤：开始采集，所述计算机开始采集各所述摄像机拍摄的现实场景影像，同时向所述投影仪发送全黑色图片，使所述投影仪不发光；通过拍摄的现实场景影像，在计算机中生成虚拟场景，将投影图片转换为3D模型放置在虚拟场景中；投影变换，通过3D模型生成增强现实图像并发送至投影仪，投影仪投影该增强现实图像叠加到现实场景中；本发明专利技术在采集过程时发送黑色图像给投影单元，使投影单元不发光，不影响图像采集的过程，结构简单、成本低。

【技术实现步骤摘要】
一种投影式增强现实图像生成方法及系统
本专利技术涉及一种投影式增强现实图像生成方法及系统，属于增强现实

技术介绍
投影式增强现实系统将计算机产生的三维图形利用投影仪直接投影并叠加到真实场景中，从而使操作人员看到一个虚实融合的场景。投影式增强现实系统在工业生产、游戏、娱乐等领域具有应用前景。在投影式增强现实系统中，通常还需要利用摄像机采集真实场景的图像，用于识别、跟踪或者监测，此时摄像机还会采集到投影图像，这给图像特征提取、物体识别等造成困难。
技术实现思路
为了解决上述现有技术中存在的问题，本专利技术提一种投影式增强现实图像生成方法及系统，供该系统能够只采集真实环境图像，不采集投影图像。本专利技术的技术方案如下：技术方案一：一种投影式增强现实图像生成方法，包括以下步骤：开始采集，处理单元开始采集摄影单元拍摄的现实场景影像，同时向所述投影单元发送全黑色图片，使所述投影单元不发光；通过拍摄的现实场景影像，在处理单元中生成虚拟场景，将投影图片转换为3D模型放置在虚拟场景中；投影变换，通过3D模型生成增强现实图像并发送至投影单元，投影单元投影该增强现实图像叠加到现实场景中。上述技术方案一具有如下有益效果：1、在采集过程时发送黑色图像给投影单元，使投影单元不发光，不影响图像采集的过程；2、结构简单、成本低。计算方案二：一种投影式增强现实图像生成方法，包括以下步骤：准备采集，处理单元发送开始采集指令至控制单元，所述控制单元接收到指令后控制开关单元关闭，遮挡投影单元发射的图像；采集现实场景，所述控制单元控制所述开关单元关闭关闭的同时，所述控制单元发送反馈信号至所述处理单元，所述处理单元接收到反馈信号后，开始采集摄像单元拍摄的现实场景影像；完成采集，所述处理单元发送控制指令给所述控制单元，所述控制单元控制所述开关单元打开，开放所述投影单元；通过拍摄的现实场景影像，在处理单元中生成虚拟场景，将投影图片转换为3D模型放置在虚拟场景中；投影变换，通过3D模型生成增强现实图像并发送至投影单元，投影单元投影该增强现实图像叠加到现实场景中。上述技术方案二具有如下有益效果：1、在要采集图像前通过开关单元提前关闭投影单元，使投影单元投影的图像不叠加到现实场景中影响图像采集；2、通过高频率的开关单元、摄影单元的图像高采集帧率和人类视觉的暂留特性，图像采集过程中人员并不会感觉到开关单元关闭打开瞬间的闪烁。技术方案三：根据上述技术方案一或技术方案二，所述投影变换的步骤具体为：建立摄影单元坐标系(xc-yc-zc)与投影平面坐标系(xw-yw-zw)，并获取将摄影单元坐标系转换为投影平面坐标系的变换矩阵R；利用摄影单元捕获操作人员头部骨骼点在摄影单元坐标系中的位置(xc,yc,zc)；利用变换矩阵R，将头部骨骼点在摄影单元坐标系中的位置转换到投影平面坐标系中，用(xw,yw,zw)表示；处理单元生成坐标系与投影平面坐标系一致的虚拟场景，将投影图片转换为3D模型放置在虚拟场景中，将虚拟场景的视点放置在(xw,yw,zw)处，视线指向3D模型中心，生成该视角下的增强现实图像，视点为虚拟场景的观察点，视线为从视点发射出的射线，通过视点和视线形成观察视角，将所述增强现实图像发送至投影单元，投影单元投影该增强现实图像至投影平面。上述技术方案三的有益效果是：在投影式增强现实系统中，投影场景能够随操作者位置的变化而变换虚拟视角。技术方案四：一种投影式增强现实图像生成系统，包括计算机、摄像机和投影仪；所述摄像机与所述计算机连接，用于采集现实场景内的图像信息并发送至所述计算机内；所述投影仪与所述计算机连接，其用于投射图案至现实场景内，所述计算机执行以下步骤：开始采集，所述计算机开始采集各所述摄像机拍摄的现实场景影像，同时向所述投影仪发送全黑色图片，使所述投影仪不发光；通过拍摄的现实场景影像，在计算机中生成虚拟场景，将投影图片转换为3D模型放置在虚拟场景中；投影变换，通过3D模型生成增强现实图像并发送至投影仪，投影仪投影该增强现实图像叠加到现实场景中。进一步的，所述摄像机为RGB-D摄像机。上述技术方案四具有如下有益效果：1、在采集过程时发送黑色图像给投影仪，使投影仪不发光，不影响图像采集的过程；2、结构简单、成本低。技术方案五：一种投影式增强现实图像生成系统，包括计算机、摄像机和投影仪、控制器和投影开关部；所述摄像机与所述计算机连接，用于采集现实场景内的图像信息并发送至所述计算机内；所述投影仪与所述计算机连接，其用于投射图案至现实场景内；所述控制器与所述计算机连接，接收计算机发出的指令；所述投影开关部安装与所述投影仪镜头前端并与所述控制器通信；所述投影开关部为机械快门或电子快门，所述计算机执行以下步骤：准备采集，所述计算机发送开始采集指令至所述控制器，所述控制器接收到指令后控制所述投影开关部关闭，遮挡所述投影仪镜头；采集现实场景，所述控制器控制所述投影开关部关闭的同时，所述控制器发送反馈信号至所述计算机，所述计算机接收到反馈信号后，开始采集各所述摄像机拍摄的现实场景影像；完成采集，所述计算机发送控制指令给所述控制器，所述控制器控制所述投影开关部打开，开放所述投影仪的镜头；通过拍摄的现实场景影像，在计算机中生成虚拟场景，将投影图片转换为3D模型放置在虚拟场景中；投影变换，通过3D模型生成增强现实图像并发送至投影仪，投影仪投影该增强现实图像叠加到现实场景中。进一步的，所述摄像机为RGB-D摄像机。进一步的，所述投影开关部为电子快门，其包括顺着所述投影仪投影方向依次设置的起偏器、旋光器和检偏器；所述旋光器与所述控制器连接。上述技术方案五具有如下有益效果：1、在要采集图像前提前关闭投影开关部，使投影仪投影图像不叠加到现实场景中影响图像采集；2、由于投影开关部的开关频率高、摄像机的图像采集帧率高和人类视觉的暂留特性，图像采集过程中人员并不会感觉到投影开关部关闭打开瞬间的闪烁。技术方案六：根据上述技术方案四或技术方案五，所述投影变换的步骤具体为：建立摄像机坐标系(xc-yc-zc)与投影平面坐标系(xw-yw-zw)，并获取将摄像机坐标系转换为投影平面坐标系的变换矩阵R；利用RGB-D相机及其API接口函数捕获操作人员头部骨骼点在RGB-D摄像机坐标系中的位置(xc,yc,zc)；利用变换矩阵R，将头部骨骼点在摄像机坐标系中的位置转换到投影平面坐标系中，用(xw,yw,zw)表示；计算机生成坐标系与投影平面坐标系一致的虚拟场景，将投影图片转换为3D模型放置在虚拟场景中，将虚拟场景的视点放置在(xw,yw,zw)处，视线指向3D模型中心，生成该视角下的增强现实图像，视点为虚拟场景的观察点，视线为从视点发射出的射线，通过视点和视线形成观察视角，将所述增强现实图像发送至投影仪，投影仪投影该增强现实图像至投影平面。附图说明图1为实施例一的控制方案图；图2为实施例二的控制方案图；图3为实施例三的控制方案图；图4为实施例四的结构示意图；图5为实施例五的结构示意图；图6为投影开关部的结构示意图；图7为实施例五的控制方案流程图；图8为实施例六的方案示意图；图9为在虚拟场景中通过视点观察3D模型的示意图。图中附图标记表示为：10、处理单元；20、摄影单元；30、投影单元；40、控本文档来自技高网...

【技术保护点】
1.一种投影式增强现实图像生成方法，其特征在于，包括以下步骤：开始采集，处理单元（10）开始采集摄影单元（20）拍摄的现实场景影像，同时向所述投影单元（30）发送全黑色图片，使所述投影单元（30）不发光；通过拍摄的现实场景影像，在处理单元（10）中生成虚拟场景，将投影图片转换为3D模型放置在虚拟场景中；投影变换，通过3D模型生成增强现实图像并发送至投影单元（30），投影单元（30）投影该增强现实图像叠加到现实场景中。

【技术特征摘要】
1.一种投影式增强现实图像生成方法，其特征在于，包括以下步骤：开始采集，处理单元（10）开始采集摄影单元（20）拍摄的现实场景影像，同时向所述投影单元（30）发送全黑色图片，使所述投影单元（30）不发光；通过拍摄的现实场景影像，在处理单元（10）中生成虚拟场景，将投影图片转换为3D模型放置在虚拟场景中；投影变换，通过3D模型生成增强现实图像并发送至投影单元（30），投影单元（30）投影该增强现实图像叠加到现实场景中。2.一种投影式增强现实图像生成方法，其特征在于，包括以下步骤：准备采集，处理单元（10）发送开始采集指令至控制单元（40），所述控制单元（40）接收到指令后控制开关单元（50）关闭，遮挡投影单元（30）发射的图像；采集现实场景，所述控制单元（40）控制所述开关单元（50）关闭关闭的同时，所述控制单元（40）发送反馈信号至所述处理单元（10），所述处理单元（10）接收到反馈信号后，开始采集摄像单元（20）拍摄的现实场景影像；完成采集，所述处理单元（10）发送控制指令给所述控制单元（40），所述控制单元（40）控制所述开关单元（50）打开，开放所述投影单元（30）；通过拍摄的现实场景影像，在处理单元（10）中生成虚拟场景，将投影图片转换为3D模型放置在虚拟场景中；投影变换，通过3D模型生成增强现实图像并发送至投影单元（30），投影单元（30）投影该增强现实图像叠加到现实场景中。3.根据权利要求1或2所述的一种投影式增强现实图像生成方法，其特征在于，所述投影变换的步骤具体为：建立摄影单元坐标系(xc-yc-zc)与投影平面坐标系(xw-yw-zw)，并获取将摄影单元坐标系转换为投影平面坐标系的变换矩阵R；利用摄影单元（20）捕获操作人员头部骨骼点在摄影单元坐标系中的位置(xc,yc,zc)；利用变换矩阵R，将头部骨骼点在摄影单元坐标系中的位置转换到投影平面坐标系中，用(xw,yw,zw)表示；处理单元（10）生成坐标系与投影平面坐标系一致的虚拟场景，将投影图片转换为3D模型放置在虚拟场景中，将虚拟场景的视点放置在(xw,yw,zw)处，视线指向3D模型中心，生成该视角下的增强现实图像，视点为虚拟场景的观察点，视线为从视点发射出的射线，通过视点和视线形成观察视角，将所述增强现实图像发送至投影单元（30），投影单元（30）投影该增强现实图像至投影平面。4.一种投影式增强现实图像生成系统，其特征在于，包括计算机（1）、摄像机（2）和投影仪（3）；所述摄像机（2）与所述计算机（1）连接，用于采集现实场景内的图像信息并发送至所述计算机（1）内；所述投影仪（3）与所述计算机（1）连接，其用于投射图案至现实场景内，所述计算机（1）执行以下步骤：开始采集，计算机（1）开始采集摄像机（2）拍摄的现实场景影像，同时向所述投影仪（3）发送全黑色图片，使所述投影仪（3）不发光；通过拍摄的现实场景影像，在计算机（1）中生成虚拟场景，将投影图片转换为3D模型放置在虚拟场景中；投影变换，通过...

【专利技术属性】
技术研发人员：陈成军，邵晶，李东年，洪军，
申请(专利权)人：青岛理工大学，
类型：发明
国别省市：山东,37