一种基于视觉的无人机实时运动目标分类与检测方法技术

技术编号:17706680 阅读:239 留言:0更新日期:2018-04-14 19:07
本发明专利技术公开了一种基于视觉的无人机实时运动目标分类与检测方法,目标识别借助深度学习的前沿技术,无人机通过先进的YOLOv2算法准确识别视频中同类目标物,并对其进行统计和标记,以便用户使用;当用户在地面站选定已识别同类目标物中的某一个特定目标物后,无人机系统用ORB算法提取其特征,之后不断与每帧视频中提取的同类目标物特征进行匹配,并结合选定目标的运动轨迹趋势,综合得到最终匹配的特定目标及其位置。特定目标识别为后续的目标自动跟踪、精准降落等自动化功能提供了保障。通过上述方法解决了无人机在复杂动态背景中的实时机载目标识别和检测,包括同类目标物和特定目标物识别,兼顾检测速度和精度等要求。

【技术实现步骤摘要】
一种基于视觉的无人机实时运动目标分类与检测方法
本专利技术属于无人机图像处理技术和计算机视觉领域,具体而言涉及一种基于视觉和深度学习的无人机对实时运动目标的分类和检测方法。
技术介绍
运动目标在复杂动态背景下的实时识别是无人机朝着全自主应用必经的步骤,而由于应用平台的特殊性,在小型无人机系统下,传统的检测方法如基于分割、基于分类器、基于特征点等,由于基于滑动窗口的区域选择策略没有针对性,时间复杂度高,窗口冗余,对于动态背景的检测鲁棒性不高;而基于深度学习以R-CNN为代表的结合regionproposal和CNN分类的目标检测框架,因为不能在无人机平台上兼顾检测精度和检测速度的应用要求,无法实现对于运动目标在复杂动态背景中的实时机载检测。
技术实现思路
本专利技术的目的在于提供一种基于视觉的无人机实时运动目标分类与检测方法,克服现有技术中无人机在复杂动态背景中的实时机载目标识别和检测,不能兼顾检测速度和精度等要求的技术问题。为了解决上述问题,本专利技术采取如下技术方案:一种基于视觉的无人机实时运动目标分类与检测方法,其特征在于,通过无人机系统完成对目标的识别与检测,所述无人机系统包括无人本文档来自技高网...
一种基于视觉的无人机实时运动目标分类与检测方法

【技术保护点】
一种基于视觉的无人机实时运动目标分类与检测方法,其特征在于,通过无人机系统完成对目标的识别与检测,所述无人机系统包括无人机和地面站系统,其中无人机包括无人机本体和设置在无人机本体上的云台、相机、机载嵌入式处理器、飞行控制器和无线数字传输设备,相机、飞行控制器和无线数字传输设备均与机载嵌入式处理器之间通过导线连接,无人机和地面站系统通过无线数字传输设备进行无线通讯;无人机系统对目标的识别与检测包括如下步骤:1)、控制无人机飞行到目标所在区域后,控制云台和相机对目标所在区域进行视频拍摄;2)、无人机机载嵌入式处理器对所拍摄视频进行畸变校正,并压缩成能够进行目标识别的尺寸;3)、机载嵌入式处理器采用...

【技术特征摘要】
1.一种基于视觉的无人机实时运动目标分类与检测方法,其特征在于,通过无人机系统完成对目标的识别与检测,所述无人机系统包括无人机和地面站系统,其中无人机包括无人机本体和设置在无人机本体上的云台、相机、机载嵌入式处理器、飞行控制器和无线数字传输设备,相机、飞行控制器和无线数字传输设备均与机载嵌入式处理器之间通过导线连接,无人机和地面站系统通过无线数字传输设备进行无线通讯;无人机系统对目标的识别与检测包括如下步骤:1)、控制无人机飞行到目标所在区域后,控制云台和相机对目标所在区域进行视频拍摄;2)、无人机机载嵌入式处理器对所拍摄视频进行畸变校正,并压缩成能够进行目标识别的尺寸;3)、机载嵌入式处理器采用经过训练的YOLOv2算法识别视频中同类目标;4)、无人机将视频和同类目标的识别结果通过无线数字传输设备传输给地面站系统,地面站系统根据识别结果统计、标定视频中的同类目标物,便于用户执行后续操作;5)、当需要无人机执行跟踪或者降落到某一特定目标的任务时,通过人为操作在地面站中选择已标定同类目标中的一个作为特定目标,以进一步识别与跟踪,并将已选定特定目标的结果上传给无人机;6)、机载嵌入式处理器通过ORB算法提取特定目标的特征并保存;7)、无人机进行特定目标识别,采用YOLOv2算法识别所拍摄视频中每一帧图像中所有的同类目标,缩小特征提取范围、提高识别精度;8)、机载嵌入式处理器采用ORB算法提取每一帧中已识别的同类目标的特征,并与特定目标的特征进行特征匹配;同时,预估特定目标的移动轨迹,计算所有同类目标位置与预估特定目标移动轨迹的匹配度;9)、综合特征匹配度和轨迹匹配度:9.1)、当所有同类目标中的一个目标的匹配度满足设定阈值时,则认定该目标为特定目标,然后寻找到每一帧图像中特定目标所在位置,并标注,进而进行后续跟踪、降落处理;9.2)、当所有同类目标的匹配度均不满足设定阈值时,需要在地面站系统上重新选定特定目标。2.根据权利要求1所述的基于视觉的无人机实时运动目标分类与检测方法,其特征在于,所述对视频进行畸变校正的步骤如下:1)、使用无人机所选定相机对标准平面标定板进行多角度拍摄,拍摄图像数量为12~20张;2)、通过MATLAB或OpenCV库对所拍摄标定板视图进行处理,获取相机畸变参数;3)、根据相机畸变参数修正视频畸变误差。3.根据权利要求1或2所述的基于视觉的无人机实时运动目标分类...

【专利技术属性】
技术研发人员:廖振星段文博高月山张伟
申请(专利权)人:南京奇蛙智能科技有限公司
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1