一种智能巡检系统、巡检方法技术方案

本发明专利技术公开了一种智能巡检系统、巡检方法。其中，所述系统包括视频子系统、服务器子系统、控制处理子系统和显示子系统；通过所述视频子系统中的相机获得全景视频流和至少两路局部视频流，并且经过融合得到全景融合视频流；然后将上述视频流上传至服务器子系统；所述控制处理子系统通过识别和计算获得告警数据和/或统计数据；最后经过所述显示子系统中比如VR设备对视频流和数据流分别进行显示。通过该技术方案，可以融合红外或高清相机等高分辨率的视频到全景视频中，便于用户对比查看；通过获得的告警数据或统计数据对巡检对象进行相应的维护和调整；对于从全景视频中识别出的关键组件，还可以自适应调整红外或高清相机的拍摄参数进行再次拍摄；进一步地，通过VR设备沉浸式体验，为用户提供亲临其境的视觉感受和更直观的数据展示，从而提升了用户的体验。

An intelligent inspection system and method

The invention discloses an intelligent patrol inspection system and a patrol inspection method. Wherein, the system comprises a video subsystem, a server subsystem, a control processing subsystem and a display subsystem; a panoramic video stream and at least two local video streams are obtained through a camera in the video subsystem, and the panoramic fusion video stream is obtained through fusion; then the video stream is uploaded to the server subsystem; the control processing subsystem is identified and calculated through Finally, the video stream and data stream are displayed respectively by the VR device in the display subsystem. Through the technical scheme, high-resolution video such as infrared or HD camera can be integrated into panoramic video, which is convenient for users to compare and view; patrol inspection objects can be maintained and adjusted through the alarm data or statistical data obtained; key components identified from panoramic video can also be adaptively adjusted to the shooting parameters of infrared or HD camera for re shooting ; further, through the VR device immersive experience, it provides users with a visual experience and more intuitive data display, so as to improve the user experience.

【技术实现步骤摘要】
一种智能巡检系统、巡检方法
本专利技术涉及智能巡检领域，具体涉及一种基于全景视频融合的智能巡检系统、巡检方法。
技术介绍
目前市场上的自动巡检装置大都采用机器人或无人机装载红外等光源相机或高清相机的方式，依照规划的路线进行巡检和视频拍摄，从而达到对诸如变电站、光伏发电站等场所进行监控和检测的目的。然而当前的装置存在如下问题：a)采用的相机视角比较窄，不能监控到场景全貌；b)其相机工作在一个预先规划的路线和角度下，存在着有些关键组件检测不到的情况。因此，如何解决现有的自动巡检装置不能全景查看场所环境和相机不能自适应检测等问题成为当前的技术难点。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种智能巡检系统、巡检方法。依据本专利技术的一个方面，提供了一种智能巡检系统，该系统包括：视频子系统、服务器子系统、控制处理子系统和显示子系统；所述视频子系统，用于获取一路由全景相机采集的全景视频流、至少两路由非全景相机采集的局部视频流；还用于将所述全景视频流和至少一路局部视频流进行融合，得到全景融合视频流；以及用于将所述全景视频流、所述局部视频流和所述全景融合视频流发送给所述服务器子系统；所述服务器子系统，用于接收并存储所述全景视频流、所述局部视频流和所述全景融合视频流；所述控制处理子系统，用于从所述局部视频流中识别出目标对象的参数，在所述参数满足告警条件时生成告警数据，和/或根据所述参数生成相应的统计数据；所述显示子系统，用于从所述服务器子系统获取所述全景视频流、所述局部视频流和所述全景融合视频流中的至少一种，通过至少一类显示设备进行显示。可选的，所述非全景相机包括光源相机和/或高清相机。可选的，所述视频子系统，根据块匹配算法确定各局部视频流在所述全景视频流中的对应块；将各局部视频流融合到全景视频流的对应块上并进行配准；按照规划线路进行遍历拍摄，形成全景融合视频流。可选的，所述控制处理子系统，还用于识别出全景视频中的目标对象，并生成对所述目标对象进行拍摄的控制指令。可选的，所述非全景相机设置在自动巡检设备上，所述控制指令包括如下的至少一种：所述自动巡检设备的巡检路线调整指令、所述非全景相机的位姿调整指令、所述非全景相机的拍摄参数调整指令。可选的，所述自动巡检设备包括地面式巡检机器人和/或巡检无人机。可选的，所述显示设备包括如下的一种或多种：VR设备、PC、手机、平板电脑。可选的，所述系统还包括：交互子系统，用于接收通过交互设备输入的交互信息；所述交互信息包括如下的至少一种：是否进行视频融合的控制信息、视频尺寸调整信息、视频融合位置信息。可选的，所述交互设备包括下述中的一种或几种：VR手柄、麦克风、位置追踪仪、数据手套、三维鼠标、动作捕捉设备、眼动仪、力反馈设备。本专利技术的另一方面，还提供了一种如上述智能巡检系统的巡检方法，所述方法包括：所述视频子系统接收自动巡检设备指令，通过各所述相机采集视频图像，分别获得局部视频流、全景视频流以及全景融合视频流；将各所述视频流上传至所述服务器子系统；所述控制处理子系统识别出全景视频中的目标对象，并生成控制指令以调整非全景相机参数进行再次拍摄；所述控制处理子系统还根据所述局部视频流生成所述告警数据和/或统计数据；所述显示子系统获取各所述视频流和/或各所述数据，通过交互设备在所述显示子系统中的VR设备上进行显示。由上述可知，本专利技术的技术方案，提供了一种智能巡检系统，所述系统包括视频子系统、服务器子系统、控制处理子系统和显示子系统；通过所述视频子系统中的相机获得全景视频流和至少两路局部视频流，并且经过融合得到全景融合视频流；然后将上述视频流上传至服务器子系统；所述控制处理子系统通过识别和计算获得告警数据和/或统计数据；最后经过所述显示子系统中比如VR设备进行显示。通过该技术方案，1)可以融合红外或高清相机等高分辨率的视频到全景视频中，便于用户对比查看；2)可以通过获得的告警数据或统计数据对巡检对象进行相应的维护和调整；3)对于全景视频中的关键组件，还可以自适应调整红外或高清相机的拍摄参数进行再次拍摄；4)进一步地，通过VR设备沉浸式体验，为用户提供亲临其境的视觉感受和更直观的数据展示，从而提升了用户的体验。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的智能巡检系统的结构示意图；图2示出了根据本专利技术一个实施例的智能巡检系统中各子系统的具体结构示意图；图3示出了根据本专利技术一个实施例的视频子系统的流程示意图；图4示出了根据本专利技术一个实施例的控制处理子系统的流程示意图；图5示出了根据本专利技术一个实施例的显示子系统的流程示意图；图6示出了根据本专利技术一个实施例的服务器子系统的流程示意图；图7示出了根据本专利技术一个实施例的显示子系统的显示设备示意图；图8示出了根据本专利技术一个实施例的交互子系统的交互方式示意图；图9示出了根据本专利技术一个实施例的巡检方法的流程示意图。具体实施方式下面将参照附图更详细地描述本专利技术的示例性实施例。虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例的智能巡检系统100的结构示意图；该系统100包括：视频子系统110、服务器子系统120、控制处理子系统130和显示子系统140。在图1的实施例中，为了至少部分地解决本专利技术要解决的上述技术问题，首先设计了实现本专利技术的一个系统框架，具体设置了如下的子系统：视频子系统110主要利用一个全景相机和其他局部光源相机采集视频，并且融合各视频数据形成全景融合视频；服务器子系统120主要用于为其他子系统提供存储安装空间和数据流转控制等支持，其中可以分别设置视频服务器和数据服务器，当然也可以不分别设置，其具体的组成和结构不作具体限定；控制处理子系统130主要用于提供控制、运算等服务，主要包括控制与反馈单元、图像识别处理单元、视频检测与告警单元等，并可接收其他子系统的反馈信息；而显示子系统140则可以将各视频流和数据流向用户等进行展示，并且提供了人机交互的途径。如图2所示，给出了一种能够实现上述各子系统功能的优选结构。具体地，视频子系统110，用于获取一本文档来自技高网...

【技术保护点】
1.一种智能巡检系统，其特征在于，该系统包括：/n视频子系统、服务器子系统、控制处理子系统和显示子系统；/n所述视频子系统，用于获取一路由全景相机采集的全景视频流、至少两路由非全景相机采集的局部视频流；还用于将所述全景视频流和至少一路局部视频流进行融合，得到全景融合视频流；以及用于将所述全景视频流、所述局部视频流和所述全景融合视频流发送给所述服务器子系统；/n所述服务器子系统，用于接收并存储所述全景视频流、所述局部视频流和所述全景融合视频流；/n所述控制处理子系统，用于从所述局部视频流中识别出目标对象的参数，在所述参数满足告警条件时生成告警数据，和/或根据所述参数生成相应的统计数据；/n所述显示子系统，用于从所述服务器子系统获取所述全景视频流、所述局部视频流和所述全景融合视频流中的至少一种，通过至少一类显示设备进行显示。/n

【技术特征摘要】
1.一种智能巡检系统，其特征在于，该系统包括：
视频子系统、服务器子系统、控制处理子系统和显示子系统；
所述视频子系统，用于获取一路由全景相机采集的全景视频流、至少两路由非全景相机采集的局部视频流；还用于将所述全景视频流和至少一路局部视频流进行融合，得到全景融合视频流；以及用于将所述全景视频流、所述局部视频流和所述全景融合视频流发送给所述服务器子系统；
所述服务器子系统，用于接收并存储所述全景视频流、所述局部视频流和所述全景融合视频流；
所述控制处理子系统，用于从所述局部视频流中识别出目标对象的参数，在所述参数满足告警条件时生成告警数据，和/或根据所述参数生成相应的统计数据；
所述显示子系统，用于从所述服务器子系统获取所述全景视频流、所述局部视频流和所述全景融合视频流中的至少一种，通过至少一类显示设备进行显示。


2.如权利要求1所述的系统，其特征在于，所述非全景相机包括光源相机和/或高清相机。


3.如权利要求1所述的系统，其特征在于，所述视频子系统，根据块匹配算法确定各局部视频流在所述全景视频流中的对应块；将各局部视频流融合到全景视频流的对应块上并进行配准；按照规划线路进行遍历拍摄，形成全景融合视频流。


4.如权利要求1所述的系统，其特征在于，所述控制处理子系统，还用于识别出全景视频中的目标对象，并生成对所述目标对象进行拍摄的控制指令。


5.如权利要求4所述的系统，其特征在于，所述非全景相机设置在自动巡检设备...

【专利技术属性】
技术研发人员：贾焕，刘殿超，付万豪，王刚，王晓霞，李壮，杨光伟，
申请(专利权)人：理光软件研究所北京有限公司，
类型：发明
国别省市：北京;11