本发明专利技术公开了一种航空图像目标精细识别系统，涉及目标检测技术领域；包括深度学习主机、数据采集器、目标检测算法、操作机构；所述深度学习主机由机箱和内置硬件组成，所述数据采集器采用无人机航拍器，数据采集器使用带屏遥控器搭配HDMI转接线连接深度学习主机；所述的目标检测算法内置于深度学习主机中；本发明专利技术实现对航空遥感图像目标的精细识别，极大的提升了小目标的检测精度和速度，提高了算法的泛用性并增加遥感图像智能解译方法的多样性；具有更好的多样性，不仅限于识别航空图像数据，也可以识别遥感图像公开数据集，极大的拓展了使用价值；具有使用简单，实时推理速度快，检测精度高的特点。精度高的特点。精度高的特点。
【技术实现步骤摘要】
一种航空图像目标精细识别系统
[0001]本专利技术属于目标检测
，具体涉及一种航空图像目标精细识别系统。
技术介绍
[0002]在目标检测场景中，一般有anchor based和anchor free两种思路。在anchor based算法中，如faster RCNN、Yolov3、v4、v5 等模型往往受限于anchor的参数配置，如anchor大小、正负样本采样等等。在anchor free算法中，key
‑
point算法占据主流，其通过检测目标的边界点，然后将其边界点配对组合成目标的检测框，此类算法以CenterNet为代表。目前，anchor based算法精度略高于 anchor free算法，但是anchor设置需要充分的经验，且受限于目标的实际形状。为了实现航空图像中任意方向目标的识别，主流的算法都是基于五参数的旋转检测实现，类似于水平检测中的坐标回归方法，角度参数也是通过回归来预测的。但是基于回归的角度预测往往会引入边界不连续，使得回归和分类不一致。此外，由于航空图像目标尺度分布范围广，长宽比变化剧烈，小目标数量居多并且背景复杂。上述难题使得大多数检测算法无法满足日益增长的航空图像精细识别需求。
[0003]鉴于目前通用目标检测算法难以胜任航空图像检测的实际应用需求，我们提出一种新的航空图像精细识别方法，该方法能够不仅能够捕获任意方向目标的几何信息，并且可以根据目标的宽高比自适应调节正负样本阈值，还依靠transformer和PANet组成的主干网络扩大感受野提升小目标的识别精度。另外，该算法使用便捷(不需要设置anchor参数)，模型推理速度较快。提出的方法首先在特征图的每个location位置，以该location为中心，去预测一个box，注意其预测的是一系列的点集，然后通过把这些点映射为box得到最终的结果，提供了更细粒度的分类和更高精度的定位。这种识别系统对于农业发展、军事目标识别以及稀有动物数量统计等相关领域有极大的推动作用，即该系统具有非常大的实用价值。
技术实现思路
[0004]为解决
技术介绍
中的问题；本专利技术的目的在于提供一种航空图像目标精细识别系统。
[0005]上述的目的通过以下技术方案实现：
[0006]一种航空图像目标精细识别系统，包括深度学习主机、数据采集器、目标检测算法、操作机构；所述深度学习主机由机箱和内置硬件组成，机箱内部安装有CPU、主板、显卡、CPU散热、固态硬盘、内存、电源；所述数据采集器采用无人机航拍器，数据采集器使用带屏遥控器搭配HDMI转接线连接深度学习主机；所述的目标检测算法内置于深度学习主机中；所述操作机构中的显示屏、鼠标和键盘也直接与深度学习主机相连接。
[0007]所述无人机航拍器为大疆air2便携可折叠智能无人机航拍器，其采集的数据图像或视频，通过SDR
‑
OcuSync2.0图传技术无线传输给主机用于模型训练或检测。
[0008]所述深度学习主机CPU、内存、固态硬盘与主板连接，主板后置面板安装到机箱，散
热器和CPU连接，并将风扇安装到CPU，GPU和内存、电源模块安装到主板和机箱。
[0009]所述目标检测算法使用新的目标表示方法(点集)解决分类和回归不一致，根据目标的宽高比自适应调节正负样本阈值应对不同形状目标，结合transformer和PANet组成的主干网络扩大感受野提升小目标的识别精度。
[0010]一种航空图像目标精细识别系统的识别方法，其特征在于：它的识别方法包括如下步骤：
[0011]步骤一：数据的采集和预处理：数据采集使用无人机航拍ROI区域图像或者视频并传输到主机；数据预处理首先将视频拆分为图片，然后使用标注软件labelme手动标注图片中的目标，标注目标的参数包括四个点坐标(以目标的头部方向为起点顺时针标注)和类别并保存标签为文本格式；使用算法程序中的prepare_data.py将图片和标签转换为检测算法需要的图像大小(1024*1024)和标签格式(x，y，w，h，θ，classname_id)用于模型训练。其中x，y，w，h，classname_id分别表示目标的中心x，y坐标，宽高以及类别名的索引编号；
[0012]步骤二：使用算法项目中的train.py在终端环境训练模型：本算法采用开源的orientedreppoints为基线，通过加入动态IoU阈值IoU_out＝exp(
‑
aw/r)*IoU_threshold+α来提高目标的检测精度，其中aw表示目标长宽比，r表示归一化系数，IoU_threshold表示正样本阈值，α是补偿尝试，确保大长宽比时期望的IoU值不为0。模型训练配置如下：学习率设为0.005，训练次数60，数据增强采用随机旋转方式。最后，在终端激活创建的虚拟环境，环境创建要求如算法中的readme.md所述，输入pythontrain.py用于训练算法模型。
[0013]步骤三：使用训练出的模型检测待检测区域图像或视频：检测方法分为实时检测和离线检测。实时检测使用无人机航拍图像或视频数据通过OcuSync无线图像传输技术传送到检测系统实现实时检测，并在显示屏上实时显示检测结果。离线检测则是通过上传待检测的图像或视频到检测系统测试文件实现离线检测。注意，实时检测和离线检测均会自动保存可视化结果和检测结果文本文件(包括置信度得分和目标位置及类别)便于用户分析。
[0014](1)算法环境搭建：
[0015]Requirements:Linux，python3.7+，Pytorch1.3orhigher，CUDA9.0orhigher，mmdet＝＝1.1.0，mmcv＝＝0.3.1，GCC4.9orhigher，NCCL2.1.15orhigher；
[0016]step1:condacreate
‑
norientedpython＝3.7
‑
y
[0017]step2:sourceactivateoriented
[0018]step3:condainstallpytorch＝1.4torchvisioncudatoolkit
‑
10.0
‑
cpytorch
[0019]step4:pipinstall
‑
rrequirements.txt
[0020]step5:pythonsetup.pydevelop
[0021]step6:sudoapt
‑
getinstallswig
[0022]swig
‑
c++
‑
pythonpolyiou.i
[0023]pythonsetup.pybuild.ext
–
inplace；
[0024](2)算法实现原理：
[0025]输入一张1024x1024的图片，在经过trans本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种航空图像目标精细识别系统，其特征在于：包括深度学习主机、数据采集器、目标检测算法、操作机构；所述深度学习主机由机箱和内置硬件组成，机箱内部安装有CPU、主板、显卡、CPU散热、固态硬盘、内存、电源；所述数据采集器采用无人机航拍器，数据采集器使用带屏遥控器搭配HDMI转接线连接深度学习主机；所述的目标检测算法内置于深度学习主机中；所述操作机构中的显示屏、鼠标和键盘也直接与深度学习主机相连接。2.根据权利要求1所述的一种航空图像目标精细识别系统，其特征在于：所述无人机航拍器为大疆air2便携可折叠智能无人机航拍器，其采集的数据图像或视频，通过SDR
‑
OcuSync2.0图传技术无线传输给主机用于模型训练或检测。3.根据权利要求1所述的一种航空图像目标精细识别系统，其特征在于：所述深度学习主机CPU、内存、固态硬盘与主板连接，主板后置面板安装到机箱，散热器和CPU连接，并将风扇安装到CPU，GPU和内存、电源模块安装到主板和机箱。4.根据权利要求1所述的一种航空图像目标精细识别系统，其特征在于：所述目标检测算法使用新的目标表示方法(点集)解决分类和回归不一致，根据目标的宽高比自适应调节正负样本阈值应对不同形状目标，结合transformer和PANet组成的主干网络扩大感受野提升小目标的识别精度。5.一种航空图像目标精细识别系统的识别方法，其特征在于：它的识别方法包括如下步骤：步骤一：数据的采集和预处理：数据采集使用无人机航拍ROI区域图像或者视频并传输到主机；数据预处理首先将视频拆分为图片，然后使用标注软件labelme手动标注图片中的目标，标注目标的参数包括四个点坐标(以目标的头部方向为起点顺时针标注)和类别并保存标签为文本格式；使用算法程序中的prepare_data.py将图片和标签转换为检测算法需要的图像大小(1024*1024)和标签格式(x，y，w，h，θ，classname_id)用于模型训练；其中x，y，w，h，classname_id分别表示目标的中心x，y坐标，宽高以及类别名的索引编号；步骤二：使用算法项目中的train.py在终端环境训练模型：本算法采用开源的oriented reppoints为基线，通过加入动态IoU阈值IoU_out＝exp(
‑
aw/r)*IoU_threshold+α来提高目标的检测精度，其中aw表示目标长宽比，r表示归一化系数，IoU_threshold表示正样本阈值，α是补偿尝试，确保大长宽比时期望的IoU值不为0；模型训练配置如下：学习率设为0.005，训练次数60，数据增强采用随机旋转方式；最后，在终端激活创建的虚拟环境，环境创建要求如算法中的readme.md所述，输入python train.py用于训练算法模型；步骤三：使用训练出的模型检测待检测区域图像或视频：检测方法分为实时检测和离线检测；实时检测使用无人机航拍图像或视频数据通过OcuSync无线图像传输技术传送到检测系统实现实时检测，并在显示屏上实时显示检测结果；离线检测则是通过上传待检测的图像或视频到检测系统测试文件实...
【专利技术属性】
技术研发人员：张锐，谢聪，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。