一种融合增强现实、虚拟现实的管网智能管控方法及系统技术方案

本发明专利技术属于智慧城市信息处理技术领域，公开了一种融合增强现实、虚拟现实的管网智能管控方法及系统，基于三维虚拟现实管控技术，进行管网及管网附属设施、传感器的三维建模、三维场景渲染、管网的三维虚拟现实漫游交互，进行管网运行监测数据的可视化和查询统计；提前感知发现问题；将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加；与基于位置的服务LBS相结合，实时获取用户位置信息。本发明专利技术利用基于位置的服务LBS，实现地下管网的实时监测系统单元数据的主动推送；本发明专利技术提升了管网巡检、维护等业务的工作效率，改变了传统的地下管网管理方式，实现了工作模式的创新。

【技术实现步骤摘要】
一种融合增强现实、虚拟现实的管网智能管控方法及系统
本专利技术属于智慧城市信息处理
，尤其涉及一种融合增强现实、虚拟现实的管网智能管控方法及系统。
技术介绍
目前，业内常用的现有技术是这样的：增强现实(AR)，是通过图像识别、定位等技术，将计算机生成的三维模型、虚拟场景、信息等叠加在真实场景中，实现对现实场景的增强。通过增强现实技术，虚拟物体、场景或系统提示信息叠加到中，从而实现对真实世界的增强。它将计算机生成的虚拟物体或关于真实物体的非几何信息叠加到真实世界的场景之上，实现了对真实世界的增强。在旅游、教育、工业、导航等领域都出现了基于增强现实的应用。随着移动终端的发展，手机、Pad等智能终端作为增强现实技术提供了新的载体，目前在Android、iPhone等移动终端平台上，已经出现了采用移动增强现实技术的应用。现有文献1和文献2设计出基于增强现实呈现物联网数据的方式，但并没有涉及
技术实现思路
，也没有具体实践；专利1一种基于位置的服务LBS的增强现实定位方法及装置，专利号：CN107450088A描述了基于位置服务的增强现实定位技术，但并没有涉及与物联网的融合及物联网数据的推送和呈现。在虚拟现实、增强现实技术的应用领域，文献3和4分别基于物联网和增强现实技术，进行地下管网的管理，但没有涉及物联网和增强现实技术的融合；专利2一种基于增强现实智能设备的巡检系统，专利号：CN107578487A和专利3基于增强现实的变电设备运维仿真培训系统和方法，专利号：CN107331220A描述了增强现实技术在巡检和设备运维管理中的应用，专利4智能电网资源实时运行状态三维可视化展示系统实现方法，专利号：CN104239998A和专利5一种LED球泡灯装配生产线的三维可视化监控方法,专利号：CN104007730A基于三维虚拟现实技术对物联网数据进行呈现。目前，在增强现实相关
，出现了关于增强现实与物联网的数据呈现与交互内容的研究。然而关于增强现实与物联网融合的技术的应用，尤其是在城市级应用的报道尚不多见。现有技术没有应用报道的原因，主要是增强现实技术始于国外，在国内的发展是这几年才开始的，在行业中的应用还处于尝试阶段。目前增强现是技术在国内的应用主要是在游戏领域、旅游业、教育领域。这些应用还是属于公众级、消费级的应用。真正用增强现实技术用在实际中尤其是辅助管理，目前在国内刚起步，所以相关的报道还不多见。但从国外增强现实技术的发展趋势来看，这个技术的普及应用是一种趋势。增强现实技术已经应用于NASA指导太空行走、宝马汽车公司的装配指导等。都发挥了重要作用。增强现实技术在实际应用中的一个制约在于增强现实终端(例如HoloLens)价格高，佩戴时不习惯。但本专利技术采用智能手机作为增强现实终端解决了这一问题。传统的物联网数据的可视化借助LED、仪表、显示屏等，通过组态软件进行数据的管理。然而组态软件的操作具有较强的专业性，LED、仪表、显示屏这类可视化终端的用户交互体验和便捷性也有限，这给基于物联网的数据分析和应用带来了局限。增强现实的出现能够为物联网数据的呈现与使用带来全新的模式。尤其是增强现实与基于位置的服务(LBS)相结合，在便捷性以及人机交互体验方面具有较强的优势。在城市地下管网管理领域，目前已出现了单纯基于三维虚拟现实、增强现实或物联网技术的应用，然而基于增强现实、物联网、虚拟现实技术的融合应用于城市地下管网管理则未见报道。综上所述，现有技术存在的问题是：(1)现有技术没有利用基于增强现实和物联网融合的地下管网智能管控技术，不能将虚拟物体、物联网实时监测信息等融合到真实环境中，没有再借助基于位置的服务LBS，使用户产生真实感的实时交互体验。造成不能提升地下管网的管理的智能性。(2)然而基于增强现实、物联网、虚拟现实技术的融合应用于城市地下管网管理则未见报道。(3)现有技术的城市地下管网管理不能应用于其它物联网监测技术及应用领域。不能将物联网监测系统与虚拟现实、增强现实技术融合，造成不能基于虚拟现实终端和增强现实终端实现监测数据的可视化、分析和基于位置的服务LBS。解决上述技术问题的难度和意义：难度：技术难点，增强现实技术用于辅助管理，实际应用的效果取决于真实场景和虚拟场景配准的精度，也就是三维注册算法的精度。意义：传统的物联网数据的可视化借助LED、仪表、显示屏等，通过组态软件进行数据的管理。然而组态软件的操作具有较强的专业性，LED、仪表、显示屏这类可视化终端的用户交互体验和便捷性也有限，这给基于物联网的数据分析和应用带来了局限。本专利技术采用三维虚拟现实和增强现实技术，对物联网数据进行呈现，能够为物联网数据的呈现与使用带来全新的模式。本专利技术基于三维虚拟现实技术，实现以三维环绕、飞行、漫游、缩放等形式浏览地下管线及其附属设施的全貌，全面把握地下管网的现状，在三维虚拟现实场景中实现对于物理网实时监测系统数据的管理、查询、分析等应用，为智慧城市地下管网管理提供支撑。采用增强现是技术能够将物联网实时监测数据与增强现实终端获取的真实场景图象叠加，将数据投射到真实场景中。尤其是增强现实与基于位置的服务(LBS)相结合，在使用的便捷性以及人机交互体验方面具有较强的优势。在管网巡检过程中使用，实现传感器数据基于位置进行主动推送，提升了数据查询和使用的效率。通过对物联网实时监测系统中历史数据的分析，可以掌握管网运行状态和规律，有利于做到对事故的预测，并通过增强现实终端和三维虚拟现实管控系统主动报警。提高应急响应效率。1.沈克，彭太乐。基于增强现实的物联网物体识别与虚拟交互。计算机工程。2010年9月。2.孙效华，张绳宸。基于增强现实技术的物联网数据呈现与交互。包装工程，2017年10月。3.冀汶莉，马晴。基于物联网技术的市政管网管理系统的设计与实现。电脑知识与技术，2017年10月。4.常勇，何宗宜，基于ARToolKit的地下管网增强现实研究，武汉大学学报信息科学版，2005。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种融合增强现实、虚拟现实的管网智能管控方法及系统。本专利技术是这样实现的，一种融合增强现实、虚拟现实的管网智能管控方法，所述融合增强现实、虚拟现实的管网智能管控方法包括：利用物联网技术进行管网运行指标实时监控，基于三维虚拟现实管控技术，进行管网及管网附属设施、传感器的三维建模、三维场景渲染、管网的三维虚拟现实漫游交互，通过对物联网实时监测系统数据集成，进行管网运行监测数据的可视化和查询统计；并结合大数据的统计分析，提前感知发现问题(管网的跑冒滴漏等异常状况。本专利技术通过物联网监测系统监测管网的实时运行状态，一旦监测数据异常，系统可以报警)；将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加；与基于位置的服务LBS相结合，实时获取用户位置信息，将管网运行监测数据推送至增强现实终端。具体包括：(1)采用所述增强现实终端的摄像模块所拍摄的当前位置和方向上的真实场景的图像信息。(2)基于三维注册算法组件，计算真实管网坐标系与虚拟管网坐标系之间的位置关系，确定要叠加在真实管网坐标系中的内容在虚拟管网坐标系下的位置，实现坐标系的配准。(3)通过所述增强现实终端的定位模块实时的识别增本文档来自技高网...

【技术保护点】
1.一种融合增强现实、虚拟现实的管网智能管控方法，其特征在于，所述融合增强现实、虚拟现实的管网智能管控方法包括：利用物联网技术进行管网运行指标实时监控，基于三维虚拟现实管控技术，进行管网及管网附属设施、传感器的三维建模、三维场景渲染、管网的三维虚拟现实漫游交互，通过对物联网实时监测系统数据集成，进行管网运行监测数据的可视化和查询统计；并结合大数据的统计分析，提前感知发现管网的跑冒滴漏异常状况问题；将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加；与基于位置的服务LBS相结合，实时获取用户位置信息，将管网运行监测数据推送至增强现实终端。

【技术特征摘要】
1.一种融合增强现实、虚拟现实的管网智能管控方法，其特征在于，所述融合增强现实、虚拟现实的管网智能管控方法包括：利用物联网技术进行管网运行指标实时监控，基于三维虚拟现实管控技术，进行管网及管网附属设施、传感器的三维建模、三维场景渲染、管网的三维虚拟现实漫游交互，通过对物联网实时监测系统数据集成，进行管网运行监测数据的可视化和查询统计；并结合大数据的统计分析，提前感知发现管网的跑冒滴漏异常状况问题；将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加；与基于位置的服务LBS相结合，实时获取用户位置信息，将管网运行监测数据推送至增强现实终端。2.如权利要求1所述的融合增强现实、虚拟现实的管网智能管控方法，其特征在于，利用物联网技术进行管网运行指标实时监控中，管网的三维虚拟现实管控方法包括：建立管网及管网附属设施、传感器的三维模型；由管网及管网附属设施、传感器构成的三维虚拟现实场景进行渲染；具体包括:进行三维虚拟现实管控系统单元与物联网实时监测系统单元之间的双向连接和数据传输；对管网及其附属设施、传感器组成的三维虚拟现实场景进行三维渲染，添加光影和特效；进行三维场景的虚拟现实漫游、用户交互、信息查询；三维场景包含管网及管网附属设施、传感器；管网相关信息包括管线埋深、备注、编号、维修记录信息；传感器相关信息包括传感器编号、位置信息；在三维场景中，通过管网模型查看详细属性信息及附属图档；通过传感器三维模型查询设备对应传感器的属性信息、实时监测数据、实时报警信息；在三维虚拟现实场景中，以互动方式进行物联网实时监测数据的可视化、查询和统计分析；通过传传感器三维模型查询设备对应的历史监测数据、同比分析、环比分析形式的统计分析图表，对报警数据的统计分析。3.如权利要求1所述的融合增强现实、虚拟现实的管网智能管控方法，其特征在于，将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加中，包括标识物的检测和提取方法，首先输入原始图像，对标识点图像进行二值化、阈值分割等预处理，然后进行特征检测和特征提取，最终输出结果；将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加中，包括基于三维注册方法：以真实管网坐标系为基准，将虚拟场景坐标系转换到基准坐标系下；两个空间坐标系用一个旋转矩阵、3个平移分量和一个模型缩放系数描述；假定某模型点在摄像机坐标系中的坐标为(X，Y，Z)，对应点在管网的坐标系中的坐标为(XT，YT，ZT)，计算两个坐标系之间相对位置的数学表达式为：其中，X0，Y0，Z0为平移矩阵的元素，缩放系数λ为1；R为旋转矩阵：将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加中，包括数据展示方法，具体包括：管网模型及信息展示，实现将地下管网通过增强现实系统单元与现实场景进行叠加；对管网及管网属性信息进行增强现实呈现，通过增强现实终端进行互动查询；相关信息包括管线埋深、备注、编号、维修记录信息；传感器模型及信息展示，通过增强现实终端，对物联网传传感器三维模型与现实场景图像叠加，进行信息的增强现实呈现，通过增强现实终端进行互动查询；物联网实时监测数据展示，包括：传感器实时监测数据、设备状态、异常状况，实现地下管网三维模型及地下管网三维模型的物联网实时监测数据的融合；通过增强现实终端，进行地下管网及传感器三维场景、现实场景，物联网实时监测系统中地下管网实时运行数据的融合呈现，通过增强现实终端进行互动查询；物联网历史监测数据展示，将现实场景、传感器三维模型与历史监测数据叠加，通过增强现实终端对历史数据进行互动查询；与基于位置的服务LBS相结合，实时获取用户位置信息，将管网运行监测数据推送至增强现实终端，包括：采集当前位置和方向上的图像信息，识别用户所在位置的三维坐标和移动轨迹，并根据定位信息提取相应的用户实时的位置信息，并经通信网络与服务器建立通信连接，获取用户最临近的传感器的数据。基于三维注册方法，计算真实管网坐标系与虚拟管网坐标系之间的位置关系，确定要叠加在管网坐标系中的内容在虚拟管网坐标系下的位置，进行地下管网三维模型、物联网实时监测数据以及用户所在位置数据的融合；在用户位置移动的过程中，将距离用户最临近位置的传感器数据实时推送至增强现实终端，进行地下管网监测数据的主动推送和呈现。4.一种实现权利要求1～3任意一项所述融合增强现实、虚拟现实的管网智能管控方法的计算机程序。5.一种实现权利要求1～3任意一项所述融合增强现实、虚拟现实的管网智能管控方法的信息数据处理终端。6.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1～3任意一项所述的融合增强现实、虚拟现实的管网智能管控方法。7.一种实现权利要求1所述融合增强现实、虚拟现实的管网智能管控方法的融合增强现实、虚拟现实的管网智能管控系统，其特征在于，所述融合增强现实、虚拟现实的管网智能管控系统包括：三维虚拟现实管控系统单元，用于建立管网及其附属设施的三维模型，进行管网及管网附属设施的三维建模、三维场景渲染、管网的三维虚拟现实漫游交互，以及对物联网实时监测系统数据进行可视化和查询统计；物联网实时监测系统单元，利用传感器设备，进行管网实时运行状态的监测，通过网络传输将数据上传至服务器，实现实时数据展示、...

【专利技术属性】
技术研发人员：孙琤，刘东好，刘宝叶，
申请(专利权)人：孙琤，
类型：发明
国别省市：北京,11