基于时空信息融合技术的无人机应急快反数据链系统及方法技术方案

本发明专利技术公开一种基于时空信息融合技术的无人机应急快反数据链系统及方法，包括：吊舱系统，搭载有多类型传感器，用于采集多视倾斜影像、采集实时视频和目标追踪；飞控地面站，用于无人机的地面调试、飞行控制和状态监视；图像地面站，用于三维快视图的处理；时空信息融合监控服务平台，用于提供倾斜影像三维实景建模服务、通用三维地图服务、三维分析服务、三维标注标绘、动态模拟推演、地理信息与动态信息融合分析及综合可视化服务；监控终端，用于无人机视频监控信息与电子沙盘信息的融合可视化、交互分析及应急应用。采用本发明专利技术，能够实现实时视频监控信息与空间地理信息的融合应用，并借助互联网与移动互联网技术实现融合监控信息的远程共享。

【技术实现步骤摘要】

本专利技术涉及无人机动态监控技术，尤其涉及一种基于时空信息融合技术的无人机应急快反监控系统及方法，可应用于无人机应急救灾、森林防火、公共安全、维稳处突、态势监控，电力/管线等例行性巡检等领域。
技术介绍
随着无人机等无人飞行技术在民用领域的持续推广应用，无人机应用与应急监控越来越普遍。无人机具有机动灵活、成本低、使用方便的特点，很多传统的非固定区域的监控或巡检工作都在试图用无人机来代替旧的技术手段。目前市场上的无人机平台系统已经基本上解决了视频的采集和短距离传输问题，主要利用微波电台实现从无人机到地面站的实时传输。但在应急情况下，会有多方领导及多方单位参与事件的处理或指导工作，他们都需要了解现场的情况，并需要对现场及周边的空间信息及相关资源进行全方位了解。因此，在应急情况下，只解决实时监控信息到地面站的视频传输是远远不够的，还需要将事件周边的空间信息及实时监控信息传送给位于不同单位或处所得多个相关人员，以便实时全面了解现场情况。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种基于时空信息融合技术的无人机应急快反监控系统及方法，以实现实时视频监控信息与空间地理信息的融合应用，并借助互联网与移动互联网技术实现融合监控信息的远程共享。为达到上述目的，本专利技术的技术方案是这样实现的：一种基于时空信息融合技术的无人机应急快反监控系统，包括无人机平台系统和吊舱系统；该应急快反监控系统还包括：飞控地面站、图像地面站和时空信息融合监控服务平台以及监控终端；其中，所述吊舱系统搭载有传感器系统，用于采集多视倾斜影像、采集实时视频和目标追踪；所述飞控地面站，用于无人机的地面调试、飞行控制和状态监视；所述图像地面站，用于三维快视图的处理；所述时空信息融合监控服务平台，用于提供倾斜影像三维实景建模服务、通用三维地图服务、三维分析服务、三维标注标绘、动态模拟推演、地理信息与动态信息融合分析及综合可视化服务；以及，所述监控终端，用于无人机视频监控信息与电子沙盘信息的融合可视化、交互分析及应急应用。其中，所述无人机平台系统集成有数传发射模块，用于实现无人机飞控控制数字传输链路。所述传感器系统，进一步包含图传发射模块，用于实现实时视频的传输。所述图像地面站，进一步包含：图像信息处理模块，用于完成倾斜影像的三维实景建模处理，受处理能力的限制；视频信息处理模块，用于完成视频和无人机POS信息的采集和同步处理、同步转发及视频信息与电子沙盘信息的融合处理和可视化显示。所述POS信息，包括GPS位置、无人机姿态和吊舱姿态信息。所述无人机平台系统的飞控模块通过RS422接口与吊舱系统相连实现飞控对吊舱的控制和数据传输，所述吊舱系统通过图像跟踪板控制伺服系统实现对目标的跟踪功能，并通过图传电台实时传输给图像地面站。一种基于时空信息融合的无人机应急快反监控方法，包括如下步骤：A、无人机平台系统集成带目标跟踪功能的吊舱系统，该吊舱系统通过图像跟踪板实现目标跟踪功能；B、图像地面站集成吊舱控制摇杆、图像采集单元和吊舱数传电台，实现对吊舱的姿态控制，并可采集吊舱传回的监控视频和吊舱姿态信息；C、视频信息与无人机姿态信息和吊舱信息的同步采集及编码，保证视频与平台姿态参数的时间一致性，有利于后期进行时空融合处理；D、同步编码信息的网络转发和接收，将视频流信息进行重新拆分和编码，然后对视频和POS信息进行同步转发处理；E、监控区域空间信息及电子沙盘的信息获取及可视化，空间信息的获取有多种渠道；F、监控区域空间信息与同步编码后的视频监控信息融合处理，为实时视频赋予清晰的地理位置属性。较佳地，进一步包括步骤G：通过时空信息融合服务平台系统实现时空信息融合后的信息共享的步骤。所述吊舱系统进一步集成有图像跟踪单元，用于自动检测监控区域内的动态目标，并利用图像跟踪单元将自身的姿态信息、图像中的目标位置信息发送给无人机平台的飞行控制器，飞行控制器将这些信息联同无人机的GPS和IMU参数一同发送给无人机飞控地面站。其中，图像地面站对图像、无人机POS、吊舱POS进行融合编码的过程，包括：图像地面站集成图像采集卡对模拟视频进行采集，并进行基于H.264的编码；图像地面站通过图像地面站专用软件从图像采集卡读取压缩后的视频流，通过串口读取吊舱姿态和无人机姿态信息；图像地面站对视频码流按照相应格式拆包分解，在每一包的开头或结尾写入吊舱姿态信息和无人机姿态信息；以及，对新的包信息进行重组打包以后发送给其他模块，并转发出去，发给时空信息融合监控服务平台。所述监控区域空间信息及电子沙盘的信息获取方式，包括：利用三维GIS软件直接加载公共服务平台提供的地图服务；对局部监控区域进行手工建模，将模型导入三维GIS软件；以及，利用无人机平台对监控区域进行倾斜摄影，利用专用软件处理成三维实景模型，再导入三位GIS软件，构建该区域的电子沙盘。所述监控区域空间信息与同步编码后的视频监控信息融合处理，包括如下步骤：F1：利用无人机GPS位置信息、无人机IMU姿态信息及吊舱的姿态信息进行联合解算，获取视频拍摄时的外方位参数；F2：提前对搭载摄像头信息进行内参数标定，获取摄像头内参数信息，并从吊舱姿态里实时获取变焦的焦距信息；F3：以GPS位置点为射线起点，依据内外方位参数形成摄像机对地拍摄的射线，此射线与地面空间信息会有交点，分别计算经过图像四个角点发射的射线根地面的交点，形成无人机监控摄频的拍摄视锥体；F4：在三维GIS软件上实时接收由前端转发过来视频信息，在同一界面上既能够看到实时视频，还能够看到无人机航线和视频拍摄范围；F5：当拍摄区域内有动态目标时，机上吊舱输出动态目标在视频中的位置，此时三维GIS软件收到此目标的图像位置信息，依据此计算得到目标的空间位置和移动轨迹。所述时空信息融合后的信息共享，具体为：时空信息融合监控服务平台为BS架构的基于地理信息服务框架的平台系统，通过3G或4G网络实时接收来自前端图像地面站发送过来的视频信息和姿态信息，或通过电台或其他形式的视频传输网络获得实时视频，时空信息融合监控服务平台通过网络服务能力，向其他连入的终端系统转发监控区域的视频信息及融合后的空间信息，从而实现信息的多方共享。本专利技术基于时空信息融合技术的无人机应急快反监控系统及方法与现有技术相比的优点在于：传统无人机监控仅解决了无人机飞行问题和视频信息的采集问题，而本专利技术侧重于监控信息在空间地理信息平台上的深度融合应用，为视频监控信息赋予大空间的位置属性，且通过时空信息融合监控服务平台实现无人机监控信息的远程传输和信息共享，这在应急快反中至关重要。此外，通过吊舱系统与无人机平台和地理信息系统的集成，还可实现目标的检测、跟踪和地理定位，这在公安应急、处理突发事件、安防应用等方面非常重要。附图说明图1A为本专利技术基于时空信息融合的无人机应急快反监控系统功能方框图；图1B为本专利技术基于时空信息融合的无人机应急快反监控系统结构示意图；图2为无人机平台系统与吊舱系统集成结构示意图；图3、图4为图像地面站示意图；图5为本专利技术的快反时空信息融合监控服务平台及APP应用系统的框架结构示意图；图6为本专利技术的快反监控终端视频监控画面示意图；图7为本专利技术的快反监控终端图像处理画面示意图。具本文档来自技高网...

【技术保护点】
一种基于时空信息融合技术的无人机应急快反数据链系统及方法，包括无人机平台系统和吊舱系统；其特征在于，该应急快反监控系统还包括：飞控地面站、图像地面站和时空信息融合监控服务平台以及监控终端；其中，所述吊舱系统搭载有传感器系统，用于采集多视倾斜影像、采集实时视频和目标追踪；所述飞控地面站，用于无人机的地面调试、飞行控制和状态监视；所述图像地面站，用于三维快视图的处理；所述时空信息融合监控服务平台，用于提供倾斜影像三维实景建模服务、通用三维地图服务、三维分析服务、三维标注标绘、动态模拟推演、地理信息与动态信息融合分析及综合可视化服务；以及，所述监控终端，用于无人机视频监控信息与电子沙盘信息的融合可视化、交互分析及应急应用。

【技术特征摘要】
1.一种基于时空信息融合技术的无人机应急快反数据链系统及方法，包括无人机平台系统和吊舱系统；其特征在于，该应急快反监控系统还包括：飞控地面站、图像地面站和时空信息融合监控服务平台以及监控终端；其中，所述吊舱系统搭载有传感器系统，用于采集多视倾斜影像、采集实时视频和目标追踪；所述飞控地面站，用于无人机的地面调试、飞行控制和状态监视；所述图像地面站，用于三维快视图的处理；所述时空信息融合监控服务平台，用于提供倾斜影像三维实景建模服务、通用三维地图服务、三维分析服务、三维标注标绘、动态模拟推演、地理信息与动态信息融合分析及综合可视化服务；以及，所述监控终端，用于无人机视频监控信息与电子沙盘信息的融合可视化、交互分析及应急应用。2.根据权利要求1所述基于时空信息融合的无人机应急快反监控系统，其特征在于，所述无人机平台系统集成有数传发射模块，用于实现无人机飞行控制数字传输链路。3.根据权利要求1所述基于时空信息融合的无人机应急快反监控系统，其特征在于，所述传感器系统，进一步包含图传发射模块，用于实现实时视频的传输。4.根据权利要求1所述基于时空信息融合的无人机应急快反监控系统，其特征在于，所述图像地面站，进一步包含：图像信息处理模块，用于完成倾斜影像的三维实景建模处理，受处理能力的限制；视频信息处理模块，用于完成视频和无人机POS信息的采集和同步处理、同步转发及视频信息与电子沙盘信息的融合处理和可视化显示。5.根据权利要求4所述基于时空信息融合的无人机应急快反监控系统，其
\t特征在于，所述POS信息，包括GPS位置、无人机姿态和吊舱姿态信息。6.根据权利要求1或3所述基于时空信息融合的无人机应急快反监控系统，其特征在于，所述无人机平台系统的飞控模块通过RS422接口与吊舱系统相连实现飞控对吊舱的控制和数据传输，所述吊舱系统通过图像跟踪板控制伺服系统实现对目标的跟踪功能，并通过图传电台实时传输给图像地面站。7.一种基于时空信息融合的无人机应急快反监控方法，其特征在于，包括如下步骤：A、无人机平台系统集成带目标跟踪功能的吊舱系统，该吊舱系统通过图像跟踪板实现目标跟踪功能；B、图像地面站集成吊舱控制摇杆、图像采集单元和吊舱数传电台，实现对吊舱的姿态控制，并可采集吊舱传回的监控视频和吊舱姿态信息；C、视频信息与无人机姿态信息和吊舱信息的同步采集及编码，保证视频与平台姿态参数的时间一致性，有利于后期进行时空融合处理；D、同步编码信息的网络转发和接收，将视频流信息进行重新拆分和编码，然后对视频和POS信息进行同步转发处理；E、监控区域空间信息及电子沙盘的信息获取及可视化，空间信息的获取有多种渠道；F、监控区域空间信息与同步编码后的视频监控信息融合处理，为实时视频赋予清晰的地理位置属性。8.根据权利要求7所述基于时空信息融合的无人机应急快反监控方法，其特征在于，进一步包括步骤G：通过时空信息融合服务平台系统实现时空信息融合...

【专利技术属性】
技术研发人员：高小伟，李连武，
申请(专利权)人：航天图景北京科技有限公司，
类型：发明
国别省市：北京;11