一种基于多尺度级联感知深度学习网络的幼鱼肢体识别方法技术

本发明专利技术提供了一种基于多尺度级联感知深度学习网络的幼鱼肢体识别方法，采集幼鱼的视频序列后，鱼体分为五个不重叠的部分并分别进行语义标注，作为多尺度级联感知深度学习网络的输入；使用卷积层作为特征提取器，对输入的包含各肢体标注的图像进行特征提取，提取的特征输入到Attention

【技术实现步骤摘要】
一种基于多尺度级联感知深度学习网络的幼鱼肢体识别方法


[0001]本专利技术属于深度学习
，尤其涉及一种基于多尺度级联感知深度学习网络的幼鱼肢体识别方法。

技术介绍

[0002]水产养殖的一个核心问题是量化养殖环境与鱼类表型的相关性，换句话说，鱼的表型拥有关于生活质量的重要信息。在水产养殖过程中，鱼类对水环境的变化和外部环境的刺激高度敏感；不合适的养殖环境会影响鱼类的正常发育，并伴随着一系列的表型表征。因此，连续检测和量化鱼类表型的方法是评估鱼类生活状态的一个潜在措施。
[0003]近年来，虽然有学者研发了一些鱼类表型表征方法，如识别鱼类的轮廓、平面投影等，在一定程度上满足了水产从业者的使用需求。但是这些方法都聚焦于成鱼的表型识别，不能应用到幼鱼的表型识别中；幼鱼的肢体，例如左、右胸鳍，其像素数量较小，传统的识别网络不能较好地对该类像素点进行分类。因此，需要设计一种更高效、更准确、适合幼鱼的新型肢体识别方法。

技术实现思路

[0004]针对现有技术中存在不足，本专利技术提供了一种基于多尺度级联感知深度学习网络的幼鱼肢体识别方法，能够有效应用于幼鱼的表型识别中，识别效率高、准确性好。
[0005]本专利技术是通过以下技术手段实现上述技术目的的。
[0006]一种基于多尺度级联感知深度学习网络的幼鱼肢体识别方法，包括如下步骤：
[0007]步骤1：采集幼鱼视频序列，获取原始图像，识别并分离原始图像中的每条个体鱼，删除不完整的个体鱼，归一化原始图像大小；
[0008]步骤2：将原始图像中的鱼体分为多个不重叠的部分，并分别进行语义标注后作为多尺度级联感知深度学习网络的输入；
[0009]步骤3：利用多尺度级联感知深度学习网络对输入图像依次进行图像特征提取、候选区域生成以及鱼肢体掩膜生成处理；
[0010]图像特征提取时，通过一个卷积层、一个最大池化层以及四个卷积结构来提取输入图像的特征，输出全局特征图；
[0011]候选区域生成处理基于Attention
‑
RPN网络，利用图像特征提取过程所输出的特征图作为Attention
‑
RPN网络的共享特征层并融合成一个1024维的特征图，通过滑动窗口对输入的特征图进行卷积操作，每个滑动窗口将特征图映射到更低的维度进行二分类，确定输入的特征是背景还是鱼体，并对其边框坐标进行回归；以每个像素为中心，生成多个大小和比例不同的锚框和对应的标注，每个锚框使用其中心像素对应的256维特征来表示，在训练的时候采用梯度下降和误差反向传播算法；
[0012]进行鱼肢体掩膜生成处理时，用3*3的卷积核处理融合了所有窗口后的输出，与全局特征图融合形成感兴趣区域，将感兴趣区域像素进行上采样以获得更精细的表示，使用
多尺度输入来处理不同尺寸的特征，然后确定相应像素点的分类，并对其像素坐标进行回归，来生成鱼肢体掩膜；
[0013]步骤4：重新映射步骤3生成的鱼肢体掩膜的目标像素，去除噪音，获取平滑的鱼肢体掩模。
[0014]进一步地，所述步骤3中，图像特征提取所使用的卷积层结构布置如下：
[0015]第一层为卷积层，用于提取图像特征，卷积核大小为7*7，步长为2，通道数为64；第二层为最大池化层，用于降维，池化层大小为3*3，步长为2；
[0016]第三层至第十一层为卷积结构conv2_X，包括卷积核大小为1*1，通道数为64，卷积核大小为3*3，通道数为64，卷积大小为1*1，通道数为256的3组卷积结构；第十二层至第二十三层为卷积结构conv3_X，包括卷积核大小1*1，通道数为128，卷积核大小为3*3，通道数为128，卷积核大小为1*1，通道数为512的4组卷积结构；第二十四层至第九十二层为卷积结构conv4_X，包括卷积核大小为1*1，通道数为256，卷积核大小为3*3，通道数为256，卷积核大小为1*1，通道数为1024的23组卷积结构；第九十三层值第一百零一层为卷积结构conv5_X，包括卷积核大小为1*1，通道数为512，卷积核大小为3*3，通道数为512，卷积核大小为1*1，通道数为2048的3组卷积结构。
[0017]进一步地，所述步骤3中，基于Attention
‑
RPN网络的候选区域生成的具体过程如下：
[0018]初始化连接权重、阈值、学习速率，设置激活函数，计算隐藏层输出和网络输出，计算网络误差，计算网络误差对输出层连接权重和隐藏层连接权值的偏导；进行网络参数更新；计算网络全局误差，判断网络全局误差是否满足设定的要求值，满足则判定网络收敛，不满足则返回进行下一次迭代；通过步骤2人工标注出的真实值计算IOU，选择正负样本集进行训练，保留IOU>0.7的像素点，丢弃IOU<0.3的像素点；然后通过逐深度的方法计算Attention
‑
RPN网络生成的特征值与标签的相似性，通过相似性用来选择性保留相似度较高的锚框生成候选区域。
[0019]进一步地，所述隐藏层的输出H
j
的计算公式为：
[0020][0021]其中ω
ij
为隐藏层连接权值，x
i
为Attention
‑
RPN网络的第i个输入，i＝1,...,n， a
i
为隐藏层的阈值，H
j
为第j个隐藏层的输出，l为隐藏层的总数；
[0022]Attention
‑
RPN网络的输出y
k
的计算公式为：
[0023][0024]其中，ω
jk
为输出层连接权重，b
k
为输出层阈值，k为输出层的序号，m为输出层的总数；
[0025]网络误差为：e
k
＝y
k
‑
d
k
，其中，e
k
为网络误差，d
k
为第k个期望输出。
[0026]进一步地，所述网络参数更新的公式分别为：和
其中，η为动量因子，和均表示网络误差对权重的偏导，为第n个输出层连接权重，为更新后的第n+1个输出层连接权重，为第n个隐藏层权重，为更新后的第n+1个隐藏层连接权重。
[0027]进一步地，所述网络全局误差E的计算公式为：其中， k为输出层的序号，m为输出层的总数，d
k
为第k个期望输出，y
k
为Attention
‑
RPN 网络的输出；
[0028]损失函数为：
[0029][0030]其中，N
cls
表示类别个数；L
cls
表示二分类的对数损失；arc表示每一批次的所有锚框；p
arc
表示的是锚框属于正类锚框的概率，当锚框为正类锚框时，为1，反之为0；N
reg
表示锚框的回归个数；λ表示回归函本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度级联感知深度学习网络的幼鱼肢体识别方法，其特征在于，包括如下步骤：步骤1：采集幼鱼视频序列，获取原始图像，识别并分离原始图像中的每条个体鱼，删除不完整的个体鱼，归一化原始图像大小；步骤2：将原始图像中的鱼体分为多个不重叠的部分，并分别进行语义标注后作为多尺度级联感知深度学习网络的输入；步骤3：利用多尺度级联感知深度学习网络对输入图像依次进行图像特征提取、候选区域生成以及鱼肢体掩膜生成处理；图像特征提取时，通过一个卷积层、一个最大池化层以及四个卷积结构来提取输入图像的特征，输出全局特征图；候选区域生成处理基于Attention
‑
RPN网络，利用图像特征提取过程中某一卷积结构所输出的特征图作为Attention
‑
RPN网络的共享特征层并融合成一个1024维的特征图，通过滑动窗口对输入的特征图进行卷积操作，每个滑动窗口将特征图映射到更低的维度进行二分类，确定输入的特征是背景还是鱼体，并对其边框坐标进行回归；以每个像素为中心，生成多个大小和比例不同的锚框和对应的标注，每个锚框使用其中心像素对应的256维特征来表示，在训练的时候采用梯度下降和误差反向传播算法；进行鱼肢体掩膜生成处理时，用3*3的卷积核处理融合了所有窗口后的输出，然后与全局特征图融合形成感兴趣区域，将感兴趣区域像素进行上采样以获得更精细的表示，使用多尺度输入来处理不同尺寸的特征，然后确定相应像素点的分类，并对其像素坐标进行回归，来生成鱼肢体掩膜；步骤4：重新映射步骤3生成的鱼肢体掩膜的目标像素，去除噪音，获取平滑的鱼肢体掩模。2.根据权利要求1所述的基于多尺度级联感知深度学习网络的幼鱼肢体识别方法，其特征在于，所述步骤3中，图像特征提取所使用的卷积层结构布置如下：第一层为卷积层，用于提取图像特征，卷积核大小为7*7，步长为2，通道数为64；第二层为最大池化层，用于降维，池化层大小为3*3，步长为2；第三层至第十一层为卷积结构conv2_X，包括卷积核大小为1*1，通道数为64，卷积核大小为3*3，通道数为64，卷积大小为1*1，通道数为256的3组卷积结构；第十二层至第二十三层为卷积结构conv3_X，包括卷积核大小1*1，通道数为128，卷积核大小为3*3，通道数为128，卷积核大小为1*1，通道数为512的4组卷积结构；第二十四层至第九十二层为卷积结构conv4_X，包括卷积核大小为1*1，通道数为256，卷积核大小为3*3，通道数为256，卷积核大小为1*1，通道数为1024的23组卷积结构；第九十三层值第一百零一层为卷积结构conv5_X，包括卷积核大小为1*1，通道数为512，卷积核大小为3*3，通道数为512，卷积核大小为1*1，通道数为2048的3组卷积结构。3.根据权利要求1所述的基于多尺度级联感知深度学习网络的幼鱼肢体识别方法，其特征在于，所述步骤3中，基于Attention
‑
RPN网络的候选区域生成的具体过程如下：初始化连接权重、阈值、学习速率，设置激活函数，计算隐藏层输出和网络输出，计算网络误差，计算网络误差对输出层连接权重和隐藏层连接权值的偏导；进行网络参数更新；计算网络全局误差，判断网络全局误差是否满足设定的要求值，满足则判定网络收敛，不满足
则返回进行下一次迭代；通过步骤2人工标注出的真实值计算IOU，选择正负样本集进行训练，保留IOU>0.7的像素点，丢弃IOU<0.3的像素点；然后通过逐深度的方法计算Attention
‑
RPN网络生成的特征值与标签的相似性，通过相似性用来选择性保留相似度较高的锚框生成候选区域。4.根据权利要求3所述的基于多尺度级联感知深度学习网络的幼鱼肢体识别方法，其特征在于，所述隐藏层的输出H
j
的计算公式为：其中ω
ij
为隐藏层连接权值，x
i
为Attention
‑
RPN网络的第i个输入，i＝1,...,n，a
i
为隐藏层的阈值，H
j
为第j个隐藏层的输出，l为隐藏层的总数；Attention
‑
RPN网络的输出y
k
的计算公式为：其中，ω
jk
为输出层连接权重，b
k
为输出层阈值，k为输出层的序号，m为输出层的总数；网络误差为：e
k
＝y
k
‑
d
k
，其中，e
k
为网络误差，d
k
为第k个期望输出。5.根据权利要求3所述的基于多尺度级联感知深度学习网络的幼鱼肢体识别方法，其特征在于，所述网络参数更新的公式分别为：和其中，η为动量因子，和均表示网络误差对权重的偏导，为第n个输出层连接权重，为更新后的第n+1个输出层连接...

【专利技术属性】
技术研发人员：汪小旵，武尧，施印炎，张晓蕾，徐乃旻，李为民，王得志，
申请(专利权)人：南京农业大学，
类型：发明
国别省市：