一种分布式增强现实的定位终端、定位服务器及定位系统技术方案

本发明专利技术提供了一种分布式增强现实的定位终端、定位服务器及定位系统，一种分布式增强现实的定位系统，包括能够进行数据传输的定位终端和定位服务器；定位终端包括：头戴式设备，其包括：双目惯导感知模块，用于获取场景图像并提供IMU数据；显示模块，用于接收并显示融合图像。便携式处理设备，用于根据场景图像和IMU数据计算相机的旋转R和位置T；定位服务器包括：存储模块，用于存储预制模型及其场景的旋转R和位置t；融合模块，用于根据相机的旋转R和位置T和预制模型及其场景的旋转R和位置t生成融合图像。本发明专利技术不仅能测量相对于场景的姿态和位置，而且能够测量相对于物体的深度距离信息，对场景的感知信息量更大。

【技术实现步骤摘要】
一种分布式增强现实的定位终端、定位服务器及定位系统
本专利技术属于增强现实定位
，具体涉及一种分布式增强现实的定位终端、定位服务器及定位系统。
技术介绍
目前市面上主流的便携式增强现实定位方案包括以HoloLens为代表的头戴式一体设备，以及Magicleap为代表的分体式设备。HoloLens将数据采集、数据处理、融合显示模块内嵌进了头戴式设备中，在保证定位精度的同时，最大化的减少设备的重量，但同时也带来了发热严重、待机时间短的问题。Magicleap则很好地改善了上述问题，将数据处理与融合渲染模块放置在分体式的微型处理器上，实现较高定位效果。上述两种设备在影音娱乐应用方面具有较大优势，但在工业领域的应用，由于其处理器性能、散热性能、操作系统兼容性的问题，难以得到真正应用。如图1所示，针对工业级的增强现实设备，HTCVIVE满足大部分的场景需求，但HTCVIVE严格意义上来说不是一台独立的设备，为了展现复杂的虚拟场景，需要高配的电脑，而且其应用过程中会存在以下问题：（1）VIVE的二次开发由于基站定位的方式需要较大的场地，便于调试以及良好的感知；（2）只能在规定好的空间中进行应用。
技术实现思路
本专利技术所要解决的技术问题是：提供一种分布式增强现实的定位终端、定位服务器及定位系统，能够不受场景空间限制，利用分体式结构充分满足大感知量条件下的性能和兼容性要求。本专利技术是这样实现的：一种分布式增强现实的定位终端，用于与定位服务器进行数据传输，包括：头戴式设备，其包括：双目惯导感知模块，用于获取场景图像并提供IMU数据；显示模块，用于接收并显示融合图像；便携式处理设备，用于根据所述场景图像和IMU数据计算相机的旋转R和位置T。进一步地，所述双目惯导感知模块包括：两个图像获取模块，用于获取场景图像；IMU模块，用于提供IMU数据。进一步地，所述便携式处理设备包括：积分模块，用于对所述IMU数据进行预积分处理得到相机在运动过程中的旋转R1和位置T1；特征提取模块，用于提取所述场景图像中的特征点；光流跟踪模块，用于根据所述特征点对所述场景图像进行光流跟踪；匹配模块，用于根据光流跟踪结果匹配前后两帧之间的图像，得到两帧图像之间的旋转R2和位置T2；图优化模块，用于根据所述旋转R1、位置T1、旋转R2和位置T2计算相机的旋转R和位置T。进一步地，所述便携式处理设备还包括：去噪模块，用于对所述IMU数据进行去噪处理并将处理结果作为所述积分模块的输入。进一步地，所述便携式处理设备还包括：预处理模块，用于对所述场景图像进行预处理并将处理结果作为所述特征提取模块的输入。进一步地，所述预处理模块包括：图像畸变矫正模块，用于对所述场景图像进行畸变矫正并生成矫正图像；自适应模块，用于对所述矫正图像进行局部直方图均值化处理并将处理结果作为所述特征提取模块的输入。本专利技术还提供了一种分布式增强现实的定位服务器，用于与定位终端进行数据传输，包括：存储模块，用于存储预制模型及其场景的旋转R和位置t；融合模块，用于根据相机的旋转R和位置T和所述预制模型及其场景的旋转R和位置t生成融合图像。本专利技术还提供了一种分布式增强现实的定位系统，包括能够进行数据传输的定位终端和定位服务器；所述定位终端包括：头戴式设备，其包括：双目惯导感知模块，用于获取场景图像并提供IMU数据；显示模块，用于接收并显示融合图像。便携式处理设备，用于根据所述场景图像和IMU数据计算相机的旋转R和位置T；所述定位服务器包括：存储模块，用于存储预制模型及其场景的旋转R和位置t；融合模块，用于根据相机的旋转R和位置T和所述预制模型及其场景的旋转R和位置t生成融合图像。本专利技术带来的有益效果是：1、本专利技术采用基于图像和惯性测量模块融合的场景感知方式，相比于基站定位，其不仅能测量相对于场景的姿态和位置，而且能够测量相对于物体的深度距离信息，对场景的感知信息量更大。2、本专利技术姿态和位置计算模块位于便携式处理设备上，场景加载及渲染模块位于定位服务器上，显示模块位于头戴式设备上，各模块相互独立，避免系统宕机的风险。3、本专利技术相比与HTC传统基站定位的方式，运动场景不受限制，可以随意运动，具有较高的灵活性。附图说明图1为现有技术中基站定位的示意图；图2为本专利技术中定位系统的组成框图；图3为图2所示定位系统中头戴式设备的组成框图；图4为图2所示定位系统中便携式处理设备的组成框图；图5为图4所示便携式处理设备中预处理模块的组成框图；图6为图2所示定位系统中定位服务器的组成框图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。如图2所示，一种分布式增强现实的定位系统，包括能够进行数据传输的定位终端100和定位服务器200。定位终端100包括头戴式设备1和便携式处理设备2。头戴式设备1用于获取场景图像、提供IMU数据及接收并显示融合图像；便携式处理设备2用于根据场景图像和IMU数据计算相机的旋转R（也即旋转矩阵R）和位置T（也即位移矩阵T）。如图3所示，头戴式设备1包括双目惯导感知模块11显示模块12。双目惯导感知模块11用于获取场景图像并提供IMU数据。具体地，双目惯导感知模块11包括两个图像获取模块111和IMU模块112。两个图像获取模块111用于获取场景图像；IMU模块112用于提供IMU数据。显示模块12用于接收并显示融合图像。具体地，双目惯导感知模块11为双目惯性导航相机的核心模块，两个图像获取模块111一左一右方式设置在头戴式设备1的外侧，显示模块12为显示屏，其设置在头戴式设备1的内侧。如图4所示，便携式处理设备2包括去噪模块21、积分模块22、预处理模块23、特征提取模块24、光流跟踪模块25、匹配模块26和图优化模块27。去噪模块21用于对IMU数据进行去噪处理并将处理结果作为积分模块22的输入。积分模块22用于对IMU数据进行预积分处理得到相机在运动过程中的旋转R1（也即旋转矩阵R1）和位置T1（也即位移矩阵T1）。预处理模块23用于对场景图像进行预处理并将处理结果作为特征提取模块24的输入。特征提取模块24用于提取场景图像中的特征点。光流跟踪模块25用于根据特征点对场景图像进行光流跟踪。匹配模块26用于根据光流跟踪结果匹配前后两帧之间的图像，得到两帧图像之间的旋转R2（也即旋转矩阵R2）和位置T2（也即位移矩阵T2）。图优化模块27用于根据旋转R1、位置T1、旋转R2和位置T2计算相机的姿态和位置。如图5所示，预处理模块23包括图像畸变矫正模块231和自适应模块232。图像畸变矫正模块231本文档来自技高网...

【技术保护点】
1.一种分布式增强现实的定位终端（100），用于与定位服务器（200）进行数据传输，其特征在于，包括：/n头戴式设备（1），其包括：/n双目惯导感知模块（11），用于获取场景图像并提供IMU数据；/n显示模块（12），用于接收并显示融合图像；/n便携式处理设备（2），用于根据所述场景图像和IMU数据计算相机的旋转R和位置T。/n

【技术特征摘要】
1.一种分布式增强现实的定位终端（100），用于与定位服务器（200）进行数据传输，其特征在于，包括：
头戴式设备（1），其包括：
双目惯导感知模块（11），用于获取场景图像并提供IMU数据；
显示模块（12），用于接收并显示融合图像；
便携式处理设备（2），用于根据所述场景图像和IMU数据计算相机的旋转R和位置T。


2.根据权利要求1所述的一种分布式增强现实的定位终端（100），其特征在于，所述双目惯导感知模块（11）包括：
两个图像获取模块（111），用于获取场景图像；
IMU模块（112），用于提供IMU数据。


3.根据权利要求1所述的一种分布式增强现实的定位终端（100），其特征在于，所述便携式处理设备（2）包括：
积分模块（22），用于对所述IMU数据进行预积分处理得到相机在运动过程中的旋转R1和位置T1；
特征提取模块（24），用于提取所述场景图像中的特征点；
光流跟踪模块（25），用于根据所述特征点对所述场景图像进行光流跟踪；
匹配模块（26），用于根据光流跟踪结果匹配前后两帧之间的图像，得到两帧图像之间的旋转R2和位置T2；
图优化模块（27），用于根据所述旋转R1、位置T1、旋转R2和位置T2计算相机的旋转R和位置T。


4.根据权利要求3所述的一种分布式增强现实的定位终端（100），其特征在于，所述便携式处理设备（2）还包括：
去噪模块（21），用于对所述IMU数据进行去噪处理并将处理结果作为所述积分模块（22）的输入。


5.根据权利要求3...

【专利技术属性】
技术研发人员：兰卫旗，
申请(专利权)人：南京翱翔信息物理融合创新研究院有限公司，
类型：发明
国别省市：江苏;32