基于增强现实的监管数据显示方法及显示系统技术方案

本发明专利技术公开了一种基于增强现实的监管数据显示方法及显示系统。监视服务器将模型特征数据发送至移动监管设备，移动监管设备在视频流中匹配作业设备的模型特征数据，再插入虚拟第一显示区和第二显示区。模型特征数据作为配准媒介，避免作业设备之间的虚拟图像配对不准。本发明专利技术将增强现实的数据处理工作交由远端的代理服务器完成，降低移动监管设备的运算压力。监视服务器根据GPS数据仅将部分模型特征数据发送至移动监管设备，可以通过模型特征数据的缺失确定作业设备的是否处于计划的目标区域。本发明专利技术的显示系统主要由移动监管设备、监视服务器、代理服务器以及作业设备组成。代理服务器以及作业设备组成。代理服务器以及作业设备组成。

【技术实现步骤摘要】
基于增强现实的监管数据显示方法及显示系统


[0001]本专利技术涉及视频通信与显示技术，尤其涉及一种基于增强现实的监管数据显示方法及显示系统，用于在移动监管设备显示作业设备的增强现实视频数据。

技术介绍

[0002]如本申请人的在先专利技术CN202010776350.2所述，移动端可以实现市政工程的监管。这种监管系统包括移动作业端、内置管理单元、远程管理单元等。该专利的部分监管工作由内置管理单元完成，部分监管工作由远程管理单元完成。根据使用环境的要求，专利技术人希望在移动端实现数据的三维显示和比对，因此需要对该专利做进一步改进。
[0003]参照CN201810916827.5的那种融合增强现实、虚拟现实的管网智能管控方法，利用增强现实技术，可以在作业设备的图像的周围插入监管数据，可以提升巡检监管效率。如《移动增强现实大范围定位与注册关键技术研究》1.3节所述，可以将增强现实的部分数据处理工作交由完成的计算端完成，降低移动端的运算压力，提高增强现实的响应速度。但是移动设备处于运动状态，这些方案拆分数据的识别和处理工作，导致虚拟图像的配准精度有待进一步提高。另外，增强现实的模型数据需要存储在移动端，对移动端的存储能力要求较高。

技术实现思路

[0004]针对上述问题，本专利技术提供了一种基于增强现实的监管数据显示方法及显示系统，降低移动端的数据存储和处理压力并提高虚拟图像的配准精度。
[0005]本申请的专利技术目的可通过以下技术方案实现：一种基于增强现实的监管数据显示方法，包括以下步骤：步骤1：监视服务器存储多个作业设备的模型特征数据和作业摘要数据，所述模型特征数据具有第一显示区，作业设备具有至少一个特征标识，代理服务器存储作业设备的标准作业数据和特征标识的标识特征数据；步骤2：移动监管设备向监视服务器实时上报GPS数据，监视服务器根据该GPS数据确定移动监管设备所在的目标区域；步骤3：监视服务器查找位于该目标区域的至少一个作业设备，向移动监管设备发送该作业设备的模型特征数据；步骤4：移动监管设备采集目标区域的视频流，从该视频流中提取关键帧，并将该关键帧以及移动监管设备的GPS数据发送至代理服务器；步骤5：代理服务器从关键帧中提取出多个现场特征数据，匹配该现场特征数据与标识特征数据，确定关键帧中的作业设备；步骤6：代理服务器将作业设备的身份标识、标识特征数据的标定坐标以及标准作业数据反馈至移动监管设备，移动监管设备根据该身份标识查找模型特征数据，若移动监管设备缺少该模型特征数据，进入步骤7，否则进入步骤8；
步骤7：移动监管设备在视频流中插入第二显示区，根据摄像姿态数据调整该第二显示区的几何参数，并在第二显示区显示所述标准作业数据和作业异常标识，进入步骤9；步骤8：移动监管设备根据标定坐标将模型特征数据匹配至视频流，在视频流中插入该模型特征数据的第一显示区，在第一显示区显示所述标准作业数据，进入步骤9；步骤9：移动监管设备播放视频流，返回至步骤2。
[0006]在本专利技术中，所述作业摘要数据由多组作业日志组成，每一作业日志包括作业设备的身份标识、作业时间和作业区域，监视服务器提取当前时刻所在的作业时间和作业区域F，由GPS数据确定目标区域的坐标集合为B，若F∩B≠
∅
，则作业设备位于该目标区域内。
[0007]在本专利技术中，代理服务器根据屏幕坐标系与世界坐标系的关系将标识特征数据映射至关键帧，计算关键帧中现场特征数据与标识特征数据的相似度，若相似度达到阈值，将对应的作业设备标记在该关键帧相应位置，并计算该作业设备的特征标识在屏幕坐标系的标定坐标。
[0008]在本专利技术中，标识特征数据在世界坐标系的位置坐标为(x1,y1,z1)，根据移动监管设备的摄像参数计算标识特征数据在屏幕坐标系的标定坐标为(u1,v1)，其中，，，A1至A
11
均为移动监管设备的摄像参数。
[0009]在本专利技术中，在步骤7中，将第二显示区的至少一个边缘匹配至标定坐标(u1,v1)，再调整第二显示区的几何参数。
[0010]在本专利技术中，在步骤8中，建立世界坐标系中标识特征数据与模型特征数据的第一映射以及第一显示区与模型特征数据的第二映射，根据特征标识在屏幕坐标系的标定坐标 (u1,v1) 将模型特征数据匹配至视频流，再确定第一显示区的位置坐标。
[0011]在本专利技术中，所述标准作业数据包括作业设备的属性数据以及作业计划数据。
[0012]一种根据所述的基于增强现实的监管数据显示方法的监管数据显示系统，由监视服务器、代理服务器、移动监管设备以及多个作业设备组成，监视服务器、代理服务器通过蜂窝网络与移动监管设备连接，移动监管设备获取作业设备的视频流，并在视频流中插入虚拟的第一显示区或第二显示区，第一显示区或第二显示区显示作业设备的标准作业数据。
[0013]在本专利技术中，移动监管设备具有摄像单元、加速度传感器以及处理单元，加速度传感器获得移动监管设备的重力加速度g
m
、在z轴的重力加速度分量g
mz
，摄像单元的俯仰角α为。
[0014]在本专利技术中，移动监管设备包括一具有FIFO存储结构的RAM存储单元，该RAM存储单元用于存储监视服务器反馈的模型特征数据，移动监管设备根据代理服务器的指令删除RAM存储单元中的至少一个模型特征数据。
[0015]本专利技术提供的基于增强现实的监管数据显示方法及显示系统，在视频流中匹配作业设备的模型特征数据，再插入虚拟第一显示区和第二显示区，可以让监管用户更直观的比对作业设备的当前作业状况和标准作业状况。实现市政工程的可视化监管，避免多个作业设备之间的虚拟图像配对不准。将增强现实的数据处理工作交由远端的代理服务器完
成，降低移动监管设备的运算压力。监视服务器根据GPS数据仅将部分模型特征数据发送至移动监管设备，可以通过模型特征数据的缺失确定作业设备的是否处于计划的目标区域，可以快速识别作业位置是否满足监管要求。并且在模型特征数据的缺失的情况下，由摄像姿态数据将第二显示区完整的插入视频流。
附图说明
[0016]图1为本专利技术的基于增强现实的监管数据显示方法的流程图；图2为屏幕坐标系与世界坐标系的关系图；图3为本专利技术的移动移动监管设备的摄像单元的视角示意图；图4为本专利技术的基于增强现实的监管数据显示系统的框图；图5为本专利技术的基于增强现实的监管数据显示系统的应用场景示意图；图6为本专利技术的作业设备的示意图；图7为本专利技术的移动监管设备的示意图。
具体实施方式
[0017]为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
[0018]实施例一参照图1，在移动监管设备拍摄作业设备的视频流时，本专利技术优选的基于增强现实的监管数据显示方法，在视频中插入第一显示区或第二显示区后，再插入虚拟的标准作业数据。避免多个作业设备之间的虚拟图像配对不准。将虚拟的作业状况附设在现实的作业设备附近，可以让监管用户更直观的比对作业设备的作业状本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实的监管数据显示方法，其特征在于，包括以下步骤：步骤1：监视服务器存储多个作业设备的模型特征数据和作业摘要数据，所述模型特征数据具有第一显示区，作业设备具有至少一个特征标识，代理服务器存储作业设备的标准作业数据和特征标识的标识特征数据；步骤2：移动监管设备向监视服务器实时上报GPS数据，监视服务器根据该GPS数据确定移动监管设备所在的目标区域；步骤3：监视服务器查找位于该目标区域的至少一个作业设备，向移动监管设备发送该作业设备的模型特征数据；步骤4：移动监管设备采集目标区域的视频流，从该视频流中提取关键帧，并将该关键帧以及移动监管设备的GPS数据发送至代理服务器；步骤5：代理服务器从关键帧中提取出多个现场特征数据，匹配该现场特征数据与标识特征数据，确定关键帧中的作业设备；步骤6：代理服务器将作业设备的身份标识、标识特征数据的标定坐标以及标准作业数据反馈至移动监管设备，移动监管设备根据该身份标识查找模型特征数据，若移动监管设备缺少该模型特征数据，进入步骤7，否则进入步骤8；步骤7：移动监管设备在视频流中插入第二显示区，根据摄像姿态数据调整该第二显示区的几何参数，并在第二显示区显示所述标准作业数据和作业异常标识，进入步骤9；步骤8：移动监管设备根据标定坐标将模型特征数据匹配至视频流，在视频流中插入该模型特征数据的第一显示区，在第一显示区显示所述标准作业数据，进入步骤9；步骤9：移动监管设备播放视频流，返回至步骤2。2.根据权利要求1所述的基于增强现实的监管数据显示方法，其特征在于，所述作业摘要数据由多组作业日志组成，每一作业日志包括作业设备的身份标识、作业时间和作业区域，监视服务器提取当前时刻所在的作业时间和作业区域F，由GPS数据确定目标区域的坐标集合为B，若F∩B≠
∅
，则作业设备位于该目标区域内。3.根据权利要求1所述的基于增强现实的监管数据显示方法，其特征在于，代理服务器根据屏幕坐标系与世界坐标系的关系将标识特征数据映射至关键帧，计算关键帧中现场特征数据与标识特征数据的相似度，若相似度达到阈值，将对应的作业设备标...

【专利技术属性】
技术研发人员：史卓，王成卓，朱程铭，龚三元，徐哲贤，包鑫，
申请(专利权)人：中兴软件技术南昌有限公司，
类型：发明
国别省市：