一种无人机机载目标检测系统及方法技术方案

本申请公开了一种无人机机载目标检测系统及方法，通过摄像机获取视频流，并通过机载的计算模块中设置的深度学习目标检测算法模块检测出待检测目标物，并通过KLT目标跟踪计数算法模块对待检测目标物进行跟踪计数，同时，通过GPS定位模块获取无人机的位置坐标，并通过IMU惯性测量单元获取无人机的加速度与角速度，通过计算模块中的平均值算法模块对加速度与角速度进行数据校准，并通过卡尔曼滤波算法模块获得精准地飞机姿态，并将上述中获得的待测目标物、待测目标物的数据、位置坐标、飞行姿态均进行记录并保存。通过上述技术方案，使得提高了无人机目标检测的实时性，同时，也使得检测效率更加快速。

【技术实现步骤摘要】
一种无人机机载目标检测系统及方法
本申请涉及无人机
，尤其涉及无人机数据处理技术，更具体地，涉及一种无人机机载目标检测系统及方法。
技术介绍
随着人工智能的普及，传统产业也在不断的发生着改变。就无人机而言，越来越多机构借助机器视觉或者深度学习等技术使无人机变得更为智能。但大多数无人机飞控性能的制约，通常需要将拍摄到的图像进行压缩编码，传到地面端，再进行解码，最后再进行相应的处理，同时，通过无人机的地理位置坐标会确定无人机拍摄路径，而无人机的飞行姿态也会影响拍摄图像的平稳，特别是在目标检测过程中，更需要对无人机的地理位置坐标与飞行姿态进行获取。但在获取无人机的地理位置与飞行姿态时，都是需要传输到地面端进行处理并存储。使得整个过程并未对数据进行前端实时处理，导致实时性不强与检测效率不高的问题。
技术实现思路
本申请提供了一种无人机机载目标检测系统及方法，用于解决现有技术中的无人机目标检测以及获取无人机的位置坐标与飞行姿态的实时性不强与检测效率不高的技术问题。有鉴于此，本申请第一方面提供了一种无人机机载目标检测系统，包括：摄像机、计算模块、IMU惯性测量单元、GPS定位模块与传感器信息采集模块；所述摄像机用于实时获取目标视频流；所述GPS定位模块，用于获取所述无人机的位置坐标；所述IMU惯性测量单元，用于获取所述无人机的加速度与角速度；所述传感器信息采集模块，用于采集并向所述计算模块传输所述GPS定位模块所获取的位置坐标与所述IMU惯性测量单元所获取的所述无人机的加速度与角速度；所述计算模块设于所述无人机上，所述计算模块包括深度学习目标检测算法模块、KLT目标跟踪计数算法模块、平均值算法模块与卡尔曼滤波算法模块、数据报表生成模块与存储器；所述深度学习目标检测算法模块，用于检测所述摄像机获取的所述目标视频流中的待检测目标物与相应的视频帧；所述KLT目标跟踪计数算法模块，用于对所述深度学习目标检测算法模块所检测出来的所述待检测目标物在所述目标视频流中进行跟踪，从而统计所述待检测目标物的数量；所述平均值算法模块，用于对所述传感器信息采集模块所传输的所述加速度与所述角速度进行数据校准；所述卡尔曼滤波算法模块，用于对经过所述平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定所述无人机的飞行姿态；所述数据报表生成模块，用于生成数据报表，所述数据报表包括所述待检测目标物、所述待检测目标物对应的视频帧、所述待检测目标物对应的数量、所述无人机的位置坐标与飞行姿态；所述存储器，用于存储所述数据报表生成模块生成的所述数据报表。优选地，所述深度学习目标检测算法模块嵌入tiny-yolo目标检测算法模型。优选地，所述计算模块还包括图像预处理模块，用于对所述摄像机所获取的所述目标视频流进行降噪处理。优选地，所述计算模块采用FPGA芯片集成所述深度学习目标检测算法模块。优选地，所述计算模块采用ARM芯片集成所述KLT目标跟踪计数算法模块、所述平均值算法模块、所述卡尔曼滤波算法模块与所述数据报表生成模块。优选地，所述IMU惯性测量单元包括加速度计与陀螺仪，所述加速度计用于获取所述无人机的加速度，所述陀螺仪用于获取所述无人机的角速度。优选地，所述无人机设有用于所述摄像机运动的三轴云台。第二方面，本专利技术实施例还提供了一种无人机机载目标检测方法，包括以下步骤：步骤S01：通过摄像机获取目标视频流，通过GPS定位模块获取无人机的位置坐标，通过IMU惯性测量单元获取所述无人机的加速度与角速度；步骤S02：通过传感器信息采集模块采集并传输所述GPS定位模块所获取的位置坐标与所述IMU惯性测量单元所获取得所述无人机的加速度与角速度信息；步骤S03：通过深度学习目标检测算法模块基于预存的深度学习目标检测算法检测所述摄像机获取的所述目标视频流中的待检测目标物与相应的视频帧，并通过KLT目标跟踪计数算法模块基于预存的KLT目标跟踪计数算法对所述深度学习目标检测算法模块所检测出来的所述待检测目标物在所述目标视频流中进行跟踪，从而统计所述待检测目标物的数量；通过平均值算法模块，基于预存的平均值算法模块对所述传感器信息采集模块所传输的所述加速度与所述角速度进行数据校准，并通过卡尔曼滤波算法模块，基于预存的卡尔曼滤波算法对经过所述平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定所述无人机的飞行姿态；步骤S04：通过数据报表生成模块生成数据报表，所述数据报表包括所述计算模块获取的所述待检测目标物、所述待检测目标物对应的视频帧、所述待检测目标物对应的数量、所述无人机的位置坐标与飞行姿态；步骤S05：通过存储器存储所述数据报表生成模块生成的所述数据报表。优选地，所述步骤S03中的深度学习目标检测算法采用tiny-yolo目标检测算法，并对tiny-yolo目标检测算法的网络结构模型进行压缩，具体的压缩方式包括：减少卷积层数和/或减少卷积核数目和/或降低图片输入容量。优选地，所述步骤S01之前还包括：对所述传感器信息采集模块、所述深度学习目标检测算法模块与所述KLT目标跟踪计数算法模块进行初始化处理。从以上技术方案可以看出，本申请实施例具有以下优点：本专利技术实施例提供了一种无人机机载目标检测系统及方法，通过摄像机获取视频流，并通过机载的计算模块中设置的深度学习目标检测算法模块检测出待检测目标物，并通过KLT目标跟踪计数算法模块对待检测目标物进行跟踪计数，同时，通过GPS定位模块获取无人机的位置坐标，并通过IMU惯性测量单元获取无人机的加速度与角速度，并通过传感器信息采集模块同时采集并传输位置坐标、无人机的加速度与角速度，随后，通过计算模块中的平均值算法模块对加速度与角速度进行数据校准，并通过卡尔曼滤波算法模块获得精准地飞机姿态，并将上述中获得的待测目标物、待测目标物的数据、位置坐标、飞行姿态均进行记录并保存。通过上述技术方案，可以实现在无人机上直接进行目标检测与飞行数据获取和后续处理，无需传输至地面端进行处理，使得提高了目标检测的实时性，同时，也使得检测效率更加快速。附图说明图1为本申请实施例提供的一种无人机机载目标检测系统的结构示意图；图2为本申请实施例提供的一种无人机机载目标检测系统的原理框图；图3为本申请实施例提供的一种无人机机载目标检测系统所检测的第一帧图像示意图；图4为本申请实施例提供的一种无人机机载目标检测系统所检测的第二帧图像示意图；图5为本申请实施例提供的一种无人机机载目标检测系统所检测的第三帧图像示意图；图6为本申请实施例提供的一种无人机机载目标检测方法的流程图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，本文档来自技高网...

【技术保护点】
1.一种无人机机载目标检测系统，其特征在于，包括：摄像机、计算模块、IMU惯性测量单元、GPS定位模块与传感器信息采集模块；/n所述摄像机用于实时获取目标视频流；/n所述GPS定位模块，用于获取所述无人机的位置坐标；/n所述IMU惯性测量单元，用于获取所述无人机的加速度与角速度；/n所述传感器信息采集模块，用于采集并向所述计算模块传输所述GPS定位模块所获取的位置坐标与所述IMU惯性测量单元所获取的所述无人机的加速度与角速度；/n所述计算模块设于所述无人机上，所述计算模块包括深度学习目标检测算法模块、KLT目标跟踪计数算法模块、平均值算法模块与卡尔曼滤波算法模块、数据报表生成模块与存储器；/n所述深度学习目标检测算法模块，用于检测所述摄像机获取的所述目标视频流中的待检测目标物与相应的视频帧；/n所述KLT目标跟踪计数算法模块，用于对所述深度学习目标检测算法模块所检测出来的所述待检测目标物在所述目标视频流中进行跟踪，从而统计所述待检测目标物的数量；/n所述平均值算法模块，用于对所述传感器信息采集模块所传输的所述加速度与所述角速度进行数据校准；/n所述卡尔曼滤波算法模块，用于对经过所述平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定所述无人机的飞行姿态；/n所述数据报表生成模块，用于生成数据报表，所述数据报表包括所述待检测目标物、所述待检测目标物对应的视频帧、所述待检测目标物对应的数量、所述无人机的位置坐标与飞行姿态；/n所述存储器，用于存储所述数据报表生成模块生成的所述数据报表。/n...

【技术特征摘要】
1.一种无人机机载目标检测系统，其特征在于，包括：摄像机、计算模块、IMU惯性测量单元、GPS定位模块与传感器信息采集模块；
所述摄像机用于实时获取目标视频流；
所述GPS定位模块，用于获取所述无人机的位置坐标；
所述IMU惯性测量单元，用于获取所述无人机的加速度与角速度；
所述传感器信息采集模块，用于采集并向所述计算模块传输所述GPS定位模块所获取的位置坐标与所述IMU惯性测量单元所获取的所述无人机的加速度与角速度；
所述计算模块设于所述无人机上，所述计算模块包括深度学习目标检测算法模块、KLT目标跟踪计数算法模块、平均值算法模块与卡尔曼滤波算法模块、数据报表生成模块与存储器；
所述深度学习目标检测算法模块，用于检测所述摄像机获取的所述目标视频流中的待检测目标物与相应的视频帧；
所述KLT目标跟踪计数算法模块，用于对所述深度学习目标检测算法模块所检测出来的所述待检测目标物在所述目标视频流中进行跟踪，从而统计所述待检测目标物的数量；
所述平均值算法模块，用于对所述传感器信息采集模块所传输的所述加速度与所述角速度进行数据校准；
所述卡尔曼滤波算法模块，用于对经过所述平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定所述无人机的飞行姿态；
所述数据报表生成模块，用于生成数据报表，所述数据报表包括所述待检测目标物、所述待检测目标物对应的视频帧、所述待检测目标物对应的数量、所述无人机的位置坐标与飞行姿态；
所述存储器，用于存储所述数据报表生成模块生成的所述数据报表。


2.根据权利要求1所述的无人机机载目标检测系统，其特征在于，所述深度学习目标检测算法模块嵌入tiny-yolo目标检测算法模型。


3.根据权利要求1所述的无人机机载目标检测系统，其特征在于，所述计算模块还包括图像预处理模块，用于对所述摄像机所获取的所述目标视频流进行降噪处理。


4.根据权利要求1或2所述的无人机机载目标检测系统，其特征在于，所述计算模块采用FPGA芯片集成所述深度学习目标检测算法模块。


5.根据权利要求4所述的无人机机载目标检测系统，其特征在于，所述计算模块采用ARM芯片集成所述KLT目标跟踪计数算法模块、所述平均值算法模块、所述卡尔曼滤波算法模块与所述数据报表生成模块。

【专利技术属性】
技术研发人员：潘岐深，陈慧坤，刘文松，张壮领，陈彩娜，莫一夫，毕明利，郑松源，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：广东;44