一种AR/VR虚拟现实融合相机控制方法技术

本发明专利技术公开了一种AR/VR虚拟现实融合相机控制方法，包括RGB相机采集器、单片机、VR处理器、AR处理器、感应器、显示器，首先通过RGB相机采集器对图像视频进行采集，单片机对图像进行处理，并由其内部的射频通信模块将图像视频传输到VR处理器上，VR处理器识别图像视频内部标志性物质，并对图像视频进行图像分割和阈值分割，然后对标示性物质进行轮廓提取，并生成三维坐标，图像视频的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵，来完成虚拟信息的跟踪注册，并重新进行渲染，存储至存储模块内，AR处理器通过GPS三维坐标跟踪并从VR内存储模块中调取对应坐标图像，并再次进行识别，提取轮廓，渲染，然后呈现在显示器中。

【技术实现步骤摘要】
一种AR/VR虚拟现实融合相机控制方法
本专利技术涉及AR/VR虚实融合
，具体为一种AR/VR虚拟现实融合相机控制方法。
技术介绍
VR(VirtualReality，虚拟现实)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，并通过多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该模拟环境中。在用户使用VR眼镜的过程中，如果用户需要观测现实环境，比如要拿桌上的水杯喝水，就需要摘下VR眼镜去取，操作比较麻烦，增强现实(AugmentedReality，简称AR)，增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的
技术实现思路
，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。现有的控制系统中，VR和AR的控制系统是单独存在的，无法进行融合入控制，以此，本专利技术提供了一种AR/VR虚拟现实融合相机控制方法。
技术实现思路
本专利技术的目的在于提供一种AR/VR虚拟现实融合相机控制方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种AR/VR虚拟现实融合相机控制方法，包括RGB相机采集器、单片机、VR处理器、AR处理器、感应器、显示器。优选的，所述单片机的内腔设置有图像处理模块、射频通信模块，所述VR处理器的内腔设置有标志物识别模块、存储模块、指令收发元件、渲染模块、坐标生成模块，所述AR处理器的内腔设置有三维坐标跟踪模块、GPS模块、轮廓提取模块、多边形转化模块、渲染模块。优选的，所述RGB相机采集器的输出端与单片机的输入端电连接，所述单片机的输出端与VR处理器的输入端电连接，所述VR处理器的输出端与AR处理器的输入端电连接，所述AR处理器的输出端与感应器的输入端电连接，所述感应器的输出端与VR处理器的输入端电连接。优选的，所述一种AR/VR虚拟现实融合相机控制方法，步骤如下：第一步，RGB相机采集器对图像视频进行采集；第二步，单片机对图像进行处理，并由其内部的射频通信模块将图像视频传输到VR处理器上；第三步，VR处理器识别图像视频内部标志性物质，并对图像视频进行图像分割和阈值分割，然后对标示性物质进行轮廓提取，并生成三维坐标；第四步，图像视频的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵，来完成虚拟信息的跟踪注册，并重新进行渲染，存储至存储模块内；第五步，AR处理器通过GPS三维坐标跟踪并从VR内存储模块中调取对应坐标图像，并再次进行识别，提取轮廓，渲染，然后呈现在显示器中。优选的，所述步骤二中，对图像处理时，需要确定摄像机的具体位置，相机和投影安装平行，投影先采用梯形校正相机的视野比投影的范围大，确定相机视野中物体真实长与像素比，测量相机视野中真实物体的边长Lreal，对应物体边长在图像中的像素值Lpixel，确定投影的真实长，在投影的四个边界点上放四个小球，方便检测，通过相机检测投影的边界，求得像素值Ppixel。优选的，所述步骤三中利用摄像机对预定义标志物进行识别并获得标志物顶点信息，其中标志性物质的识别可以基于图像匹配的标志物识别，也可以是基于编码特征的标志物识别。优选的，所述步骤五中感应器可以根据人体的触碰、手势、按动按钮等交互动作进行感应，GPS根据当前的三维坐标并由AR处理器调取VR存储模块中对应的三维坐标，并对物体进行识别和外轮廓提取。与现有技术相比，本专利技术的有益效果是：1、该AR/VR虚拟现实融合相机控制方法，通过相机中的采集器对图像视频进行采集，然后通过图像处理模块对图像处理，期间，需要确定摄像机的具体位置，相机和投影安装平行，投影先采用梯形校正相机的视野比投影的范围大，确定相机视野中物体真实长与像素比，测量相机视野中真实物体的边长Lreal，对应物体边长在图像中的像素值Lpixel，确定投影的真实长，在投影的四个边界点上放四个小球，方便检测，通过相机检测投影的边界，求得像素值Ppixel，然后利用VR处理器中的标志物识别模块对预定义标志物进行识别并获得标志物顶点信息，其中标志性物质的识别可以基于图像匹配的标志物识别，也可以是基于编码特征的标志物识别，在使用时，感应器可以根据人体的触碰、手势、按动按钮等交互动作进行感应，GPS根据当前的三维坐标并由AR处理器调取VR存储模块中对应的三维坐标，并对物体进行识别和外轮廓提取，然后呈现在显示屏上，本专利技术通过以上的控制方法，能够将AR/VR虚实图像视频进行融合。附图说明图1为本专利技术组成结构框架图；图2为本专利技术整体流程图；图3为本专利技术标志物检测流程图；图4为本专利技术AR处理器流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例：请参阅图1-4，本专利技术提供一种技术方案：一种AR/VR虚拟现实融合相机控制方法，包括RGB相机采集器、单片机、VR处理器、AR处理器、感应器、显示器。其中，单片机的内腔设置有图像处理模块、射频通信模块，VR处理器的内腔设置有标志物识别模块、存储模块、指令收发元件、渲染模块、坐标生成模块，AR处理器的内腔设置有三维坐标跟踪模块、GPS模块、轮廓提取模块、多边形转化模块、渲染模块，RGB相机采集器的输出端与单片机的输入端电连接，单片机的输出端与VR处理器的输入端电连接，VR处理器的输出端与AR处理器的输入端电连接，AR处理器的输出端与感应器的输入端电连接，感应器的输出端与VR处理器的输入端电连接。其中，一种AR/VR虚拟现实融合相机控制方法，步骤如下：第一步，RGB相机采集器对图像视频进行采集；第二步，单片机对图像进行处理，并由其内部的射频通信模块将图像视频传输到VR处理器上；第三步，VR处理器识别图像视频内部标志性物质，并对图像视频进行图像分割和阈值分割，然后对标示性物质进行轮廓提取，并生成三维坐标；第四步，图像视频的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵，来完成虚拟信息的跟踪注册，并重新进行渲染，存储至存储模块内；第五步，AR处理器通过GPS三维坐标跟踪并从VR内存储模块中调取对应坐标图像，并再次进行识别，提取轮廓，渲染，然后呈现在显示器中。其中，步骤二中，对图像处理时，需要确定摄像机的具体位置，相机和投影安装平行，投影先采用梯形校正相机的视野比投影的范围大本文档来自技高网...

【技术保护点】
1.一种AR/VR虚拟现实融合相机控制方法，包括RGB相机采集器、单片机、VR处理器、AR处理器、感应器、显示器。/n

【技术特征摘要】
1.一种AR/VR虚拟现实融合相机控制方法，包括RGB相机采集器、单片机、VR处理器、AR处理器、感应器、显示器。


2.根据权利要求1所述的一种AR/VR虚拟现实融合相机控制方法，其特征在于：所述单片机的内腔设置有图像处理模块、射频通信模块，所述VR处理器的内腔设置有标志物识别模块、存储模块、指令收发元件、渲染模块、坐标生成模块，所述AR处理器的内腔设置有三维坐标跟踪模块、GPS模块、轮廓提取模块、多边形转化模块、渲染模块。


3.根据权利要求1所述的一种AR/VR虚拟现实融合相机控制方法，其特征在于：所述RGB相机采集器的输出端与单片机的输入端电连接，所述单片机的输出端与VR处理器的输入端电连接，所述VR处理器的输出端与AR处理器的输入端电连接，所述AR处理器的输出端与感应器的输入端电连接，所述感应器的输出端与VR处理器的输入端电连接。


4.根据权利要求1所述的一种AR/VR虚拟现实融合相机控制方法，其特征在于：步骤如下：
第一步，RGB相机采集器对图像视频进行采集；
第二步，单片机对图像进行处理，并由其内部的射频通信模块将图像视频传输到VR处理器上；
第三步，VR处理器识别图像视频内部标志性物质，并对图像视频进行图像分割和阈值分割，然后对标示性物质进行轮廓提取，并生成三维坐标；
第四步，图像视频的仿射不变性原理...

【专利技术属性】
技术研发人员：杨凯雪，张鑫，
申请(专利权)人：视境技术深圳有限公司，
类型：发明
国别省市：广东;44