一种无人机海洋图像检测用轻量神经网络搭建方法及设备技术

本发明专利技术提供了一种无人机海洋图像检测用轻量神经网络搭建方法及设备，搭建方法的大体过程为：获取高分辨率的海洋图像数据；搭建轻量化神经网络模型；训练轻量化神经网络模型；测试轻量化神经网络模型。模型搭建完成之后，将轻量化神经网络模型搭载在无人机平台上，在具体应用场景中，通过无人机拍摄获取海洋图像数据，将图像数据输入到所搭建的轻量化目标检测神经网络模型中，得到检测完成的图像数据。本发明专利技术提供了一种轻量化的、精测精度高且可以直接应用于无人机海洋检测的神经网络模型，可以完成图像实时在线分析，快速有效的处理短时间内产生的海量海洋图像信息，对海洋图像的采集和处理以及对海洋生物的自动分析具有很好的应用前景。的应用前景。的应用前景。

【技术实现步骤摘要】
一种无人机海洋图像检测用轻量神经网络搭建方法及设备


[0001]本专利技术属于无人机海洋检测
，尤其涉及一种无人机海洋图像检测用轻量神经网络搭建方法及设备。

技术介绍

[0002]无人机获取当下场景的图像后，无人机和计算机视觉结合检测图像中的物体属性成为当下工业和学术界研究热点。无人机海洋图像的目标检测在海洋救援、海洋漂浮垃圾清理、精确制导和威胁预警等民用及军事领域有重要应用。海洋环境复杂,近海岸区域存在高辐射虚警源，纯海洋(远海岸)区域存在海洋杂波及云雾干扰。且微弱目标信杂比低，图像视场面积占比小，缺少目标检测可利用的纹理信息及形态学特征。因此无人机海洋图像目标检测充满挑战，研究高鲁棒性及高普适性的算法具有显著意义。
[0003]无人机视角广能够搭载相机等设备和设计飞行路线获取地面信息，而无人机节点组网可以进一步扩大节点覆盖范围，高效率的完成各种场景下的任务。然而现有的网络框架往往权值数量特别庞大，导致推理开销大和检测速率慢，当前使用深度学习物体检测的优秀网络不适合在无人机上应用。
[0004]深度学习的快速发展使得神经网络也朝着更深的层数，更大的宽度和更复杂的模型的方向发展，这虽然在一定程度上提高了对目标物体检测精度，但毫无疑问使得模型变得庞大，增加了对计算机算力的考验。由于对计算机计算能力的要求，这就导致了这些网络不能在像无人机这种计算能力弱的小型移动端设备上进行部署。因此对于轻量化卷积神经网络的设计尤为重要，在设计优化的网络结构的同时对相同任务的精度不造成影响，才能实现在无人机等移动端或嵌入式设备上部署和运行，实现真正的卷积神经网络的应用价值。当然，此工作也吸引了大量的研究人员探索。目前对于轻量化卷积神经网络的设计主要有三种方法，基于紧性卷积结构设计，基于模型压缩的轻量化卷积神经网络和基于神经网络结构搜索的方法。
[0005]现有的基于紧性卷积结构设计卷积神经网络虽然可以有效的减少网络的计算量和参数量，但这需要设计人员大量的理论知识和先验技能，这些网络的特殊结构造成模型的泛化能力较差；而现有基于模型压缩的轻量化卷积神经网络，低秩分解和参数量化方法模型精度都会有一定的损失，模型剪枝方法需要花费很大的时间成本制定对应的剪枝策略，知识蒸馏方法一般只能应用于在分类任务中，应用场景有限。
[0006]因此，现有技术中缺乏一种轻量化的、精测精度高且可以直接应用于无人机海洋检测的神经网络模型，以实现无人机海洋图像的实时在线分析。

技术实现思路

[0007]针对上述问题，本专利技术通过合理规划，先获取无人机海洋图像并进行预处理，然后将图像载入预先建立并训练好的轻量化卷积神经网络模型中，使得设计优化网络结构的同时对相同任务的精度不造成影响，最终输出检测完成的图像。实现对无人机高分辨率海洋
图像实时在线地分析，实现在无人机海洋图像检测中的实际应用价值。
[0008]本专利技术第一方面提供了一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，包括以下步骤：
[0009]步骤1，获取海洋原始图像数据，对原始图像数据进行预处理获得图像数据集，并划分训练集、验证集和测试集；
[0010]步骤2，搭建轻量化神经网络模型；采用Shuffle
‑
Net V2作为轻量化神经网络结构基本单元进行改进，并定义步长为1的基本模块为Unit1，定义步长为2的下采样模块为Unit2；将Shuffle
‑
Net V2的1
×
1点卷积替换为Ghost卷积，通过一系列廉价的线性变换生成更多的特征图；在Unit1部分额外添加1
×
1Ghost
‑
Conv卷积操作；在Shuffle
‑
Net V2上添加深度可分离卷积操作；将RELU函数替换为h
‑
Swish函数；添加SE模块，完成轻量化卷积神经网络基本模块结构Ghost
‑
Shuffle的搭建；
[0011]基于Zen
‑
NAS神经网络搜索算法，添加参数量和计算量的约束条件，在轻量化的搜索空间内进行网络架构的搜索，并根据Zen
‑
Score的分数搜索出最终的网络Ghost
‑
Shuffle Net；
[0012]对搜索得到的轻量化主干网络Ghost
‑
Shuffle Net使用Ghost
‑
PAN进行特征融合，最终得到可以直接在海洋检测无人机上使用的轻量化目标检测神经网络模型Ghost
‑
Shuffle Net
‑
L；
[0013]步骤3，将步骤1中的得到图像数据集对步骤2中获得的轻量化目标检测神经网络模型进行训练并完成测试。
[0014]优选的，所述步骤1中图像数据集的目标类别标签包括人、船、车、溢油、海、陆地、植被、建筑物和天空。
[0015]优选的，所述步骤2中基于Zen
‑
NAS神经网络搜索算法的具体搜索步骤为：
[0016]S1，使用初始结构F0随机生成10个结构作为初始的进化种子，加入到进化空间P；
[0017]S2，随机选择步骤S1中一个结构并选择一个Ghost
‑
Shuffle模块进行突变，使用突变算法生成新的突变结构，替换原来的网络结构F生成新的网络结构F
′
；
[0018]S3，计算F
′
的计算量是否小于预设计算量B，参数量是否小于预设参数量C，并且网络深度是否小于预设网络深度L；如果同时满足要求则计算F
′
的Zen
‑
Score，并把F
′
加入到进化空间P；
[0019]S4，如果进化空间P的数量超过了进化保留数量N，移除Zen
‑
Score值最小的网络结构，始终保持进化空间不超过进化保留数量N；
[0020]S5，不断重复上述步骤S2至S4，直到达到进化算法迭代次数T，停止搜索；
[0021]S6，从进化空间P中取Zen
‑
Score值最大的网络结构作为最后的搜索结果。
[0022]优选的，所述步骤S2中的突变算法具体为：
[0023]S21，随机选择网络结构F中一个Ghost
‑
Shuffle模块；
[0024]S22，从搜索空间S中的卷积核大小、输出通道数量、瓶颈层通道数量或堆叠次数中任意选择一项进行改变，得到新的突变结构；
[0025]S23，返回新的突变结构。
[0026]优选的，所述步骤2中将Shuffle
‑
Net V2的1
×
1点卷积替换为Ghost卷积，通过一系列廉价的线性变换生成更多的特征图具体为：
[0027]采用正常卷积生成m个原始特征图Y∈R
h
’×
w
’×
m...

【技术保护点】

【技术特征摘要】
1.一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于，包括以下步骤：步骤1，获取海洋原始图像数据，对原始图像数据进行预处理获得图像数据集，并划分训练集、验证集和测试集；步骤2，搭建轻量化神经网络模型；采用Shuffle
‑
Net V2作为轻量化神经网络结构基本单元进行改进，并定义步长为1的基本模块为Unit1，定义步长为2的下采样模块为Unit2；将Shuffle
‑
Net V2的1
×
1点卷积替换为Ghost卷积，通过一系列廉价的线性变换生成更多的特征图；在Unit1部分额外添加1
×
1Ghost
‑
Conv卷积操作；在Shuffle
‑
Net V2上添加深度可分离卷积操作；将RELU函数替换为h
‑
Swish函数；添加SE模块，完成轻量化卷积神经网络基本模块结构Ghost
‑
Shuffle的搭建；基于Zen
‑
NAS神经网络搜索算法，添加参数量和计算量的约束条件，在轻量化的搜索空间内进行网络架构的搜索，并根据Zen
‑
Score的分数搜索出最终的网络Ghost
‑
Shuffle Net；对搜索得到的轻量化主干网络Ghost
‑
Shuffle Net使用Ghost
‑
PAN进行特征融合，最终得到可以直接在海洋检测无人机上使用的轻量化目标检测神经网络模型Ghost
‑
Shuffle Net
‑
L；步骤3，将步骤1中的得到图像数据集对步骤2中获得的轻量化目标检测神经网络模型进行训练并完成测试。2.如权利要求1所述的一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于：所述步骤1中图像数据集的目标类别标签包括人、船、车、溢油、海、陆地、植被、建筑物和天空。3.如权利要求1所述的一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于：所述步骤2中基于Zen
‑
NAS神经网络搜索算法的具体搜索步骤为：S1，使用初始结构F0随机生成10个结构作为初始的进化种子，加入到进化空间P；S2，随机选择步骤S1中一个结构并选择一个Ghost
‑
Shuffle模块进行突变，使用突变算法生成新的突变结构，替换原来的网络结构F生成新的网络结构F
′
；S3，计算F
′
的计算量是否小于预设计算量B，参数量是否小于预设参数量C，并且网络深度是否小于预设网络深度L；如果同时满足要求则计算F
′
的Zen
‑
Score，并把F
′
加入到进化空间P；S4，如果进化空间P的数量超过了进化保留数量N，移除Zen
‑
Score值最小的网络结构，始终保持进化空间不超过进化保留数量N；S5，不断重复上述步骤S2至S4，直到达到进化算法迭代次数T，停止搜索；S6，从进化空间P中取Zen
‑
Score值最大的网络结构作为最后的搜索结果。4.如权利要求3所述的一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于，所述步骤S2中的突变算法具体为：S21，随机选择网络结构F中一个Ghost
‑
S...

【专利技术属性】
技术研发人员：魏玲，赵天旭，胥志伟，杨晓刚，丁来辉，
申请(专利权)人：山东巍然智能科技有限公司，
类型：发明
国别省市：