基于动态图像识别的无人机多目标监测系统及监测方法技术方案

本发明专利技术公开了基于动态图像识别的无人机多目标监测系统及监测方法，监测系统包括地面站系统、飞控系统和光电跟踪子系统，光电跟踪子系统包括图像采集单元、目标识别定位单元、数据处理分析单元、图像数据传输单元和云台控制单元，地面站系统包括信息处理中心和地面显控终端，飞控系统与信息处理中心无线通信连接。本发明专利技术由无人机飞往指定地址实现了对单目标、多目标、单类目标或多类目标进行静态或动态的定位跟踪监视，适用范围广。

Multi target monitoring system and monitoring method for UAVs based on dynamic image recognition

The invention discloses a UAV multi-target monitoring system and monitoring method based on dynamic image recognition. The monitoring system includes a ground station system, a flight control system and a photoelectric tracking subsystem. The photoelectric tracking subsystem includes an image acquisition unit, a target recognition and positioning unit, a data processing and analysis unit, an image data transmission unit and a photoelectric tracking subsystem. The platform control unit and the ground station system include the information processing center and the ground display and control terminal, and the flight control system is connected with the information processing center by wireless communication. The method realizes static or dynamic positioning, tracking and surveillance of single target, multi-target, single target or multi-target by UAV flying to the designated address, and has wide application range.

【技术实现步骤摘要】
基于动态图像识别的无人机多目标监测系统及监测方法
本专利技术涉及无人机领域，具体涉及基于动态图像识别的无人机多目标监测系统及监测方法。
技术介绍
目前，现有技术中无人机监视跟踪技术大多针对的单一目标静态跟踪对于多目标动态监视跟踪还不成熟。中国专利申请201610474279.6公开一种基于机器视觉的无人机自动检测方法及无人机管制方法，该方法是通过设定多个监控点，并对每个监控点进行背景建模提取运动目标，然后识别监测目标。但该方法需要设置多个监控点并且无法对监测目标进行跟踪，无法实现对多目标动态监视和跟踪。
技术实现思路
本专利技术的目的在于提供基于动态图像识别的无人机多目标监测系统及监测方法，以解决现有技术中难以对多目标，包含多类目标进行动态跟踪监测的缺陷。所述的基于动态图像识别的无人机多目标监测系统，包括地面站系统、无人机上的飞控系统和光电跟踪子系统，光电跟踪子系统包括，图像采集单元，设在无人机机体外的云台上受控制电机控制，用于获取外界的环境图像信息并发送到目标识别定位单元；目标识别定位单元，用于从环境图像信息中识别出所有监测目标，获取各监测目标的图像和相对位置信息发送到数据处理分析单元和云台控制单元；数据处理分析单元，将各监测目标的图像和相对位置信息与无人机自身的位置和高度信息结合生成各监测目标的实际位置信息并发送到图像数据传输单元；图像数据传输单元，用于在接收到各监测目标的实际位置信息后再发送到飞控系统，及在从飞控系统获得信息后发送到云台控制单元和数据处理分析单元；云台控制单元，连接到云台上各控制电机，获得监控指令信息后根据各监测目标的图像和相对位置信息，控制云台上的图像采集单元对各监测目标进行跟踪拍摄；地面站系统包括信息处理中心和地面显控终端，飞控系统与信息处理中心无线通信连接，信息处理中心与地面显控终端相连，信息处理中心用于对获取无人机发送的图像信息数据分解修正并发送到地面显控终端和将操作员发出的指令转化为相应的控制信息发送到飞控系统和光电跟踪子系统。优选的，云台上设有绕X、Y、Z轴旋转的三个方向的电控转轴，控制电机设在各电控转轴内。优选的，图像采集单元包括若干摄像头，每个摄像头安装在一个云台上，云台通过控制电机控制的转轴安装在无人机机体外。优选的，飞控系统包括控制无人机各飞行控制电机的飞控计算器、姿态传感器、GPS导航系统和高度计，姿态传感器、GPS导航系统和高度计分别连接到飞控计算器，飞控计算器分别连接到图像数据传输单元和无线收发单元，无线收发单元与信息处理中心无线通信连接。优选的，图像采集单元包括用于采集图像的摄像头，云台控制单元还与摄像头相连，用于向摄像头发送焦距调节信息。本专利技术还提供了一种基于动态图像识别的无人机多目标监测系统的监测方法，其特征在于：包括如下步骤：S1、操作员通过地面显控终端输入监测目标的图像信息和监测地址信息，经信息处理中心处理后发送到无人机的飞控系统；S2、飞控系统控制无人机飞往监测地址，并将监测目标的图像信发送到数据处理分析单元，同时图像数据传输单元从飞控系统不断获取无人机自身的位置和高度信息并发送到数据处理分析单元；S3、无人机到达监测地址后，图像采集单元获得环境图像信息并发送到目标识别定位单元，目标识别定位单元将识别到的监测目标的图像信息和相对位置信息发送到数据处理分析单元和云台控制单元；S4、数据处理分析单元将监测目标的相对位置信息与无人机自身的位置和高度信息结合生成各检测目标的实际位置信息并发送到图像数据传输单元；S5、飞控系统从图像数据传输单元获得的各监测目标的实际位置信息发送到信息处理中心；S6、操作员根据各监测目标的实际位置信息制定跟踪方案，通过信息处理中心转化为可执行的监控指令信息发送到飞控系统，飞控系统将监控指令信息发送到云台控制单元，飞控系统依据监控指令信息对监测目标进行跟踪飞行，云台控制单元也根据监控指令信息调整云台的姿态和摄像头的焦距，跟踪拍摄监测目标。优选的，步骤S6中飞控系统的飞控计算器中存储有定点跟踪模式和环绕跟踪模式的飞行路径生成方法，操作员发出定点跟踪模式或环绕跟踪模式的指令后，无人机依据监测目标的位置自动生成飞行路径。优选的，步骤S6中，在跟踪拍摄状态下，当一个监测目标移动到设定距离外的时候，目标识别定位单元将识别结果经数据处理分析单元发送到飞控系统，触发飞控系统将无人机飞到触发时所拍摄图像的中心点位置。优选的，步骤S6中，在跟踪拍摄状态下，当一个监测目标被遮挡并且无人机移动位置与拍摄角度也无法再识别到该目标，数据处理分析单元向地面站系统发出该目标无法跟踪的信号并继续跟踪其它的监测目标。本专利技术的优点在于：操作员能在地面控制系统发送监测目标的信息由无人机飞往指定地址实现了对单目标、多目标、单类目标或多类目标进行静态或动态的定位跟踪监视。无人机能根据事先存储的跟踪路径生成方法自动飞行，也能根据采集的图像识别后的结果对监测目标进行自动追踪，提高了监视与定位的智能化水平。附图说明图1为本专利技术实施例的系统结构示意图；图2为本专利技术实施例的监测方法流程图。其中，1、信息处理中心，2、地面显控终端，3、飞控计算器，4、无线收发单元，5、云台控制单元，6、图像数据传输单元，7、图像采集单元，8、目标识别定位单元，9、数据处理分析单元。具体实施方式下面对照附图，通过对实施例的描述，对本专利技术具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本专利技术的专利技术构思、技术方案有更完整、准确和深入的理解。实施例本专利技术提供了基于动态图像识别的无人机多目标监测系统及监测方法。如图1-图2所示，基于动态图像识别的无人机多目标监测系统包括包括地面站系统、无人机上的飞控系统和光电跟踪子系统。其中光电跟踪子系统包括图像采集单元7、目标识别定位单元8、数据处理分析单元9、图像数据传输单元6和云台控制单元5。图像采集单元7包括若干摄像头，每个摄像头安装在一个云台上，云台通过控制电机控制的转轴安装在无人机机体外。云台上设有绕X、Y、Z轴旋转的三个方向的电控转轴，控制电机设在各电控转轴内。控制电机转动能调节各摄像头的方向。图像采集单元7用于获取外界的环境图像信息并发送到目标识别定位单元8。目标识别定位单元8与数据处理分析单元9和云台控制单元5相连。目标识别定位单元8用于从环境图像信息中识别出所有监测目标，获取各监测目标的图像和相对位置信息发送到数据处理分析单元9和云台控制单元5。云台控制单元5能根据目标识别定位单元8识别到的监测目标相对距离改变而调整摄像头的方向以跟踪监测目标。数据处理分析单元9与飞控计算器3相连能由此获得无人机自身的位置和高度信息。数据处理分析单元9将各监测目标的图像和相对位置信息与无人机自身的位置和高度信息结合生成各监测目标的实际位置信息并发送到图像数据传输单元6。图像数据传输单元6与飞控计算器3相连，用于在接收到各监测目标的实际位置信息后再发送到飞控系统，及在从飞控系统获得信息后发送到云台控制单元5和数据处理分析单元9。云台控制单元5连接到云台上各控制电机，获得监控指令信息后根据各监测目标的图像和相对位置信息，控制云台上的摄像头转动对各监测目标进行跟踪拍摄。云台控制单元5还与摄像头相连，用于向摄像头发送焦距调节信息。地面站系统包括信息处理中心1和地面本文档来自技高网...

【技术保护点】
1.一种基于动态图像识别的无人机多目标监测系统，其特征在于：包括地面站系统、无人机上的飞控系统和光电跟踪子系统，所述光电跟踪子系统包括，图像采集单元(7)，设在所述无人机机体外的云台上受控制电机控制，用于获取外界的环境图像信息并发送到所述目标识别定位单元(8)；目标识别定位单元(8)，用于从环境图像信息中识别出所有监测目标，获取各监测目标的图像和相对位置信息发送到数据处理分析单元(9)和云台控制单元(5)；数据处理分析单元(9)，将各监测目标的图像和相对位置信息与无人机自身的位置和高度信息结合生成各监测目标的实际位置信息并发送到图像数据传输单元(6)；图像数据传输单元(6)，用于在接收到各监测目标的实际位置信息后再发送到飞控系统，及在从飞控系统获得信息后发送到云台控制单元(5)和数据处理分析单元(9)；云台控制单元(5)，连接到云台上各控制电机，获得监控指令信息后根据各监测目标的图像和相对位置信息，控制云台上的图像采集单元(7)对各监测目标进行跟踪拍摄；所述地面站系统包括信息处理中心(1)和地面显控终端(2)，所述飞控系统与所述信息处理中心(1)无线通信连接，所述信息处理中心(1)与所述地面显控终端(2)相连，所述信息处理中心(1)用于对获取无人机发送的图像信息数据分解修正并发送到所述地面显控终端(2)和将操作员发出的指令转化为相应的控制信息发送到所述飞控系统和光电跟踪子系统。...

【技术特征摘要】
1.一种基于动态图像识别的无人机多目标监测系统，其特征在于：包括地面站系统、无人机上的飞控系统和光电跟踪子系统，所述光电跟踪子系统包括，图像采集单元(7)，设在所述无人机机体外的云台上受控制电机控制，用于获取外界的环境图像信息并发送到所述目标识别定位单元(8)；目标识别定位单元(8)，用于从环境图像信息中识别出所有监测目标，获取各监测目标的图像和相对位置信息发送到数据处理分析单元(9)和云台控制单元(5)；数据处理分析单元(9)，将各监测目标的图像和相对位置信息与无人机自身的位置和高度信息结合生成各监测目标的实际位置信息并发送到图像数据传输单元(6)；图像数据传输单元(6)，用于在接收到各监测目标的实际位置信息后再发送到飞控系统，及在从飞控系统获得信息后发送到云台控制单元(5)和数据处理分析单元(9)；云台控制单元(5)，连接到云台上各控制电机，获得监控指令信息后根据各监测目标的图像和相对位置信息，控制云台上的图像采集单元(7)对各监测目标进行跟踪拍摄；所述地面站系统包括信息处理中心(1)和地面显控终端(2)，所述飞控系统与所述信息处理中心(1)无线通信连接，所述信息处理中心(1)与所述地面显控终端(2)相连，所述信息处理中心(1)用于对获取无人机发送的图像信息数据分解修正并发送到所述地面显控终端(2)和将操作员发出的指令转化为相应的控制信息发送到所述飞控系统和光电跟踪子系统。2.根据权利要求1所述的一种基于动态图像识别的无人机多目标监测系统，其特征在于：所述云台上设有绕X、Y、Z轴旋转的三个方向的电控转轴，所述控制电机设在各电控转轴内。3.根据权利要求1所述的一种基于动态图像识别的无人机多目标监测系统，其特征在于：所述图像采集单元(7)包括若干摄像头，每个摄像头安装在一个云台上，所述云台通过控制电机控制的转轴安装在所述无人机机体外。4.根据权利要求1所述的一种基于动态图像识别的无人机多目标监测系统，其特征在于：所述飞控系统包括控制无人机各飞行控制电机的飞控计算器(3)、姿态传感器、GPS导航系统和高度计，所述姿态传感器、所述GPS导航系统和所述高度计分别连接到所述飞控计算器(3)，所述飞控计算器(3)分别连接到所述图像数据传输单元(6)和无线收发单元(4)，所述无线收发单元(4)与所述信息处理中心(1)无线通信连接。5.根据权利要求1所述的一种基于动态图像识别的无人机多目标监测系统，其特征在于：所述图像采集单元(7)包括用于采集图像的摄像头，所述云台控...

【专利技术属性】
技术研发人员：宋江，刘铭青，叶茂林，陈建伟，
申请(专利权)人：广东容祺智能科技有限公司，
类型：发明
国别省市：广东,44