基于R2Net的水下鱼类目标检测方法、装置及存储介质制造方法及图纸

本发明专利技术提出一种基于R2Net的水下鱼类目标检测方法、装置及存储介质，涉及目标检测技术领域。在进行水下鱼类目标检测时，首先获取训练用水下鱼类图像；将所述训练用水下鱼类图像输入R2Net模型的复杂网络结构进行训练，得到R2Net模型的复杂网络结构的网络参数；根据R2Net模型的复杂网络结构的网络参数，对R2Net模型的复杂网络结构进行等效变换，得到R2Net模型的简化网络结构；R2Net模型的简化网络结构为Kmax

【技术实现步骤摘要】
基于R2Net的水下鱼类目标检测方法、装置及存储介质


[0001]本专利技术涉及目标检测
，特别是涉及基于R2Net的水下鱼类目标检测方法、装置及存储介质。

技术介绍

[0002]在水下鱼类目标检测过程中，主干网络为目标检测网络中最为重要的部分。主干网络是目标检测网络中用来负责特征提取的网络，一般用于前端提取不同层次、不同尺度的图像特征，并生成特征图以供后面的网络使用。Resnet的出现改变了之前的主干网络(如Alexnet、VGG等)在达到一定深度之后继续增加层数导致性能不增反降的缺陷，水下图像存在图像细节特征模糊，可利用特征细节少，目标尺度变化范围大等特点，因此在目标检测网络中需要更加强大的主干网络提取更加深层次的细节特征，增强水下目标检测效果。
[0003]Res2net在Resnet原有的残差单元结构中通过添加更小的残差块，增加了每一层感受野的大小，在保持计算负载不增加的前提下，使得网络提取特征能力更加强大。Res2Net是考虑多尺度的一类主干网络，使用该网络进行分类及目标检测均取得很好的效果。
[0004]然而，Res2Net将原ResNet结构中的3x3卷积模块替换为考虑多尺度特性的复杂结构，虽然有效提升了模型的检测精度，但模型规模增加，计算参数增多，从而导致模型推理时间增加，严重影响了水下鱼类目标检测的效率。

技术实现思路

[0005]有鉴于此，本专利技术提出一种基于R2Net(Re
‑
parameterized ResNet)的水下鱼类目标检测方法、装置及存储介质，以实现不降低检测精度条件下的模型轻量化设计，高效的进行水下鱼类目标检测。
[0006]为此，本专利技术提供了以下技术方案：
[0007]一方面，本专利技术提供了一种基于R2Net的水下鱼类目标检测方法，所述方法包括：
[0008]获取训练用水下鱼类图像；
[0009]将所述训练用水下鱼类图像输入R2Net模型的复杂网络结构进行训练，得到R2Net模型的复杂网络结构的网络参数；R2Net模型在训练时的复杂网络结构包括：输入特征图按通道数分为多个部分，每个部分具有1
×
1卷积和BN层，除第一部分以外的其余各个部分还级联有K
×
K卷积和BN层，各个部分中的K分别为从3开始依次递增的奇数，将各个部分的输出叠拼，叠拼结果再与输入特征图经1
×
1卷积之后的输出相加，得到最终的输出结果；
[0010]根据R2Net模型的复杂网络结构的网络参数，对R2Net模型的复杂网络结构进行等效变换，得到R2Net模型的简化网络结构；R2Net模型的简化网络结构为Kmax
×
Kmax等效卷积核；Kmax为K的最大值；
[0011]获取待检测水下鱼类图像；
[0012]将所述待检测水下鱼类图像输入R2Net模型的简化网络结构，得到特征提取结果；
[0013]基于特征提取结果进行水下鱼类目标检测，得到水下鱼类目标检测结果。
[0014]进一步地，根据R2Net模型的复杂网络结构的网络参数，对R2Net模型的复杂网络结构进行等效变换，得到R2Net模型的简化网络结构，包括：
[0015]将R2Net模型的复杂网络结构中的K
×
K卷积与BN层简化变换为K
×
K卷积，变换公式如下：
[0016][0017]Out
j
＝(In*K
′
)
j
+b
′
j
[0018][0019][0020]其中，Out
j
为第j个等效特征图，In和K分别为输入特征图和原模型卷积核权重，μ
j
和σ
j
分别为BN层计算所得均值和方差，γ
j
和β
j
为BN层学习所得的缩放因子和偏差参数，K
′
j
与b
′
j
为等效变换后的卷积核与偏差权重参数；
[0021]将所得1
×
1和K
×
K的级联卷积简化为K
×
K卷积，简化公式如下：
[0022]Out
′
＝(In*K
(1)
+b
(1)
)*K
(2)
+b
(2)
[0023]Out
′
＝In*K
′
+b
′
[0024]K
′
＝K
(2)
*TRANS(K
(1)
)
[0025][0026][0027]其中，Out
′
为等价变换后所得特征图，K
(1)
，K
(2)
，b
(1)
以及b
(2)
分别为级联结构的第一个和第二个卷积核权重及偏执权重；TRANS为转置操作，K
′
和b
′
分别为等效简化后的卷积核权重及偏执参数；
[0028]将并联的不同大小卷积核利用零填充技术，变换为大小为Kmax
×
Kmax的卷积核；
[0029]利用下式，将并联卷积核进行叠拼操作，进一步简化模型结构：
[0030]Concat(In*K
(1)
+b
(1)
,In*K
(2)
+b
(2)
,
……
,In*K
(s)
+b
(s)
)＝In*K
′
+b
′
；
[0031]其中K
(1)
，K
(2)
，K
(s)
和b
(1)
，b
(2)
，b
(s)
分别为并联卷积核权重及偏执参数，K
′
，b
′
为等效卷积核与偏执参数，In为输入特征图，Concat(
·
)为叠拼操作；s为通道数；
[0032]将简化模型结构中的1
×
1卷积核进行零填充为Kmax
×
Kmax尺寸，然后与叠拼操作得到的Kmax
×
Kmax卷积核进行逐元素相加，完成卷积核参数融合，获得最终单Kmax
×
Kmax等效卷积核。
[0033]进一步地，R2Net模型在训练时的复杂网络结构包括：输入特征图按通道数分为四部分，第一部分为1
×
1卷积和BN层，第二部分为1
×
1卷积和BN层级联3
×
3卷积和BN层，第三部分为1
×
1卷积和BN层级联5
×
5卷积和BN层，第四部分为1
×
1卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于R2Net的水下鱼类目标检测方法，其特征在于，所述方法包括：获取训练用水下鱼类图像；将所述训练用水下鱼类图像输入R2Net模型的复杂网络结构进行训练，得到R2Net模型的复杂网络结构的网络参数；R2Net模型在训练时的复杂网络结构包括：输入特征图按通道数分为多个部分，每个部分具有1
×
1卷积和BN层，除第一部分以外的其余各个部分还级联有K
×
K卷积和BN层，各个部分中的K分别为从3开始依次递增的奇数，将各个部分的输出叠拼，叠拼结果再与输入特征图经1
×
1卷积之后的输出相加，得到最终的输出结果；根据R2Net模型的复杂网络结构的网络参数，对R2Net模型的复杂网络结构进行等效变换，得到R2Net模型的简化网络结构；R2Net模型的简化网络结构为Kmax
×
Kmax等效卷积核；Kmax为K的最大值；获取待检测水下鱼类图像；将所述待检测水下鱼类图像输入R2Net模型的简化网络结构，得到特征提取结果；基于特征提取结果进行水下鱼类目标检测，得到水下鱼类目标检测结果。2.根据权利要求1所述的一种基于R2Net的水下鱼类目标检测方法，其特征在于，根据R2Net模型的复杂网络结构的网络参数，对R2Net模型的复杂网络结构进行等效变换，得到R2Net模型的简化网络结构，包括：将R2Net模型的复杂网络结构中的K
×
K卷积与BN层简化变换为K
×
K卷积，变换公式如下：Out
j
＝(In*K
′
)
j
+b
′
jj
其中，Out
j
为第j个等效特征图，In和K分别为输入特征图和原模型卷积核权重，μ
j
和σ
j
分别为BN层计算所得均值和方差，γ
j
和β
j
为BN层学习所得的缩放因子和偏差参数，K
′
j
与b
′
j
为等效变换后的卷积核与偏差权重参数；将所得1
×
1和K
×
K的级联卷积简化为K
×
K卷积，简化公式如下：Out
′
＝(In*K
(1)
+b
(1)
)*K
(2)
+b
(2)
Out
′
＝In*K
′
+b
′
K
′
＝K
(2)
*TRANS(K
(1)
))其中，Out
′
为等价变换后所得特征图，K
(1)
，K
(2)
，b
(1)
以及b
(2)
分别为级联结构的第一个和第二个卷积核权重及偏执权重；TRANS为转置操作，K
′
和b
′
分别为等效简化后的卷积核权重及偏执参数；
将并联的不同大小卷积核利用零填充技术，变换为大小为Kmax
×
Kmax的卷积核；利用下式，将并联卷积核进行叠拼操作，进一步简化模型结构：Concat(In*K
(1)
+b
(1)
,In*K
(2)
+b
(2)
,
……
,In*K
(s)
+b
(s)
)＝In*K
′
+b
′
；其中K
(1)
，K
(2)
，K
(s)
和b
(1)
，b
(2)
，b
(s)
分别为并联卷积核权重及偏执参数，K
′
，b
′
为等效卷积核与偏执参数，In为输入特征图，Concat(
·
)为叠拼操作；s为通道数；将简化模型结构中的1
×
1卷积核进行零填充为Kmax
×
Kmax尺寸，然后与叠拼操作得到的Kmax
×
Kmax卷积核进行逐元素相加，完成卷积核参数融合，获得最终单Kmax
×
Kmax等效卷积核。3.根据权利要求2所述的一种基于R2Net的水下鱼类目标检测方法，其特征在于，R2Net模型在训练时的复杂网络结构包括：输入特征图按通道数分为四部分，第一部分为1
×
1卷积和BN层，第二部分为1
×
1卷积和BN层级联3
×
3卷积和BN层，第三部分为1
×
1卷积和BN层级联5
×
5卷积和BN层，第四部分为1
×
1卷积和BN层级联7
×
7卷积和BN层，将各部分的输出叠拼，叠拼结果再与输入特征图经1
×
1卷积之后的输出相加，得到最终的输出结果；R2Net模型的简化网络结构为7
×
7等效卷积核。4.根据权利要求1所述的一种基于R2Net的水下鱼类目标检测方法，其特征在于，获取训练用水下鱼类图像之后，还包括：对训练用水下鱼类图像进行图像增强处理；相应地，获取待检测水下鱼类图像之后，还包括：对待检测水下鱼类图像进行图像增强处理。5.一种基于R2Net的水下鱼类目标检测装置，其特征在于，所述装置包括：训练数据获取单元，用于获取训练用水下...

【专利技术属性】
技术研发人员：蔡克卫，庞洪帅，刘敏，刘鹰，
申请(专利权)人：大连智慧渔业科技有限公司，
类型：发明
国别省市：