基于辅助学习网络的竹条缺陷检测方法技术

本发明专利技术涉及一种基于辅助学习网络的竹条缺陷检测方法，包括以下步骤：步骤S1:采集竹条缺陷数据，并通过标定，生成数据集；步骤S2:对数据集进行预处理，并将预处理后的数据集作为训练集；步骤S3：基于训练集训练骨干网络和辅助定位检测网络，进一步得到物体预测矩阵、边框尺寸预测矩阵和边框偏移预测矩阵；步骤S4:根据得到的物体预测矩阵、边框尺寸预测矩阵和边框偏移预测矩阵，分别计算物体预测损失、边框尺寸预测损失、边框偏移预测损失，并进一步计算网络总损失；步骤S5:将待测图像经过预处理后输入训练后的训练骨干网络和辅助定位检测网络，得到检测结果。本发明专利技术能够准确的检测出竹条的缺陷。

【技术实现步骤摘要】
基于辅助学习网络的竹条缺陷检测方法
本专利技术涉及目标检测领域，具体涉及一种基于辅助学习网络的竹条缺陷检测方法。
技术介绍
现有基于传统机器学习的方法，由于存在大量人为设计超参数且面对千变万化的竹条缺陷形状，存在以下缺点：检测效率低下且检测效果不是很理想；不能根据竹条缺陷形状自适应调整检测方案。且现实中，由于采集标定数据的成本较高，往往只能拿到较少的数据。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于辅助学习网络的竹条缺陷检测方法，能够针对在较少的竹条缺陷数据和对不同来源类型的竹条数据的情况下检测得到较好的检测结果。为实现上述目的，本专利技术采用如下技术方案：一种基于辅助学习网络的竹条缺陷检测方法，包括以下步骤：步骤S1:采集竹条缺陷数据，并通过标定，生成数据集；步骤S2:对数据集进行预处理，并将预处理后的数据集作为训练集；步骤S3：基于训练集训练骨干网络和辅助定位检测网络，进一步得到物体预测矩阵、边框尺寸预测矩阵和边框偏移预测矩阵；步骤S4:根据得到的物体预测矩阵、边框尺寸预测矩阵和边框偏移预测矩阵，分别计算物体预测损失、边框尺寸预测损失、边框偏移预测损失，并进一步计算网络总损失；步骤S5:将待测图像经过预处理后输入训练后的训练骨干网络和辅助定位检测网络，得到检测结果。进一步的，所述预处理具体为:对不同产地的竹条和不同批次的竹条所呈现的颜色差别，在每次训练前随机的在图像的HSV空间进行微调，并加上随机颜色抖动。进一步的，所述步骤S3具体为：步骤S31:输入竹条图像I经过辅助定位检测网络的降采样特征提取表示模块、多尺度特征融合模块、特征传递输出模块分别得到竹条图像特征FdI、FmI、FLI；步骤S32:输入竹条图像I经过骨干网络的下采样模块、上采样模块特征融合部分、特征结合传递输出模块，得到特征结合传递输出模块特征F1I、F2I、F3I；步骤S33:冻结骨干网络，将骨干网络的参数进行传递到下一步，但不进行更新，只训练辅助定位检测网络；步骤S34:训练辅助定位检测网络至损失loss趋于稳定后，放开冻结，将骨干网络与辅助定位检测网络一同训练；步骤S35:将竹条特征图FdI、FmI、FLI分别与特征F1I、F2I、F3I进行融合传递；步骤S36:采取以中心点检测为目标的网络,以预测热力图中心点视为检测目标,将步骤S35融合得到的特征图经过一个3×3的卷积后，经过rule激活函数激活后再经过一个1×1的卷积，得到物体预测矩阵；步骤S37:将步骤S35融合得到的特征图经过一个3×3的卷积后，经过rule激活函数激活后再经过一个1×1的卷积得到边框尺寸预测矩阵.步骤S38:将步骤S35融合得到的特征图经过一个3×3的卷积后，经过rule激活函数激活后再经过一个1×1的卷积得到边框偏移预测矩阵。进一步的，所述步骤S4具体为：步骤S41:将物体预测矩阵与实际物体矩阵进行比较，计算两个矩阵之间的focal损失focalloss步骤S42:将物体边框预测矩阵与实际物体边框矩阵进行比较，计算两个矩阵之间的梯度均衡损失(GHMloss)Lsize；步骤S43:将物体偏移框预测矩阵与实际物体边框矩阵进行比较，计算两个矩阵之间的L1损失Loff步骤S44:将物体预测矩阵的损失focalloss、边框尺寸预测矩阵的损失Lsize、边框偏移预测矩阵的损失Loff赋予不同的权重，作为网络更新的总损失，其计算公式为其中β＝0.1，γ＝1。进一步的，所述步骤S5具体为：步骤S51:将待测图像经过预处理后输入训练后的训练骨干网络和辅助定位检测网络，得到物体预测矩阵、尺寸预测矩阵和边框预测矩阵；步骤S52:遍历物体预测矩阵的所有通道，然后找到每个通道的物体预测矩阵的激活点，即每个矩阵不为零的点，那么这个点所在的坐标即物体坐标，这个点所在的通道即其所属的类别；步骤S53:将得到的物体坐标代入尺寸预测矩阵中，所得到的值即为检测到的目标的大小；步骤S54:将得到物体坐标、所属的类别和标的大小输出，得到检测结果。本专利技术与现有技术相比具有以下有益效果：1、本专利技术采用可变形卷积结合空洞卷积的方法来提取竹条缺陷特征，可变形卷积能够针对竹条多变的缺陷形状做出响应的卷积形状调整，能够更加精确的定位缺陷的特征，且为了能够得到多尺度的竹条缺陷特征；2、本专利技术针对骨干网络具有的分类特征提取能力采用通过通道注意力机制的方式来获得缺陷类别特征的权重，而针对辅助定位检测网络则通过采用空间注意机制的方式来提取竹条缺陷的位置信息，通过将两网络得到的具有大权重信息的特征进行结合，大大降低了冗余特征信息，加快了缺陷特征处理效率3、本专利技术针对竹条数据缺陷样本中，数据正负样本不均衡的问题采取使用Focal-Loss来计算竹条预测物体与实际物体的偏差，在竹条缺陷形状大小回归问题，采取对其进行梯度均衡，衡量其预测大小与实际大小的偏差。附图说明图1是本专利技术网络结构示意图；图2是本专利技术一实施例中自学习权重模块示意图；图3是本专利技术一实施例中多尺度特征融合示意图；图4是本专利技术一实施例中竹条缺陷检测效果图图5是本专利技术一实施例中本专利技术与一种基于三重损失网络的竹条缺陷检测方法的检测效果图。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。请参照图1，本专利技术提供一种基于辅助学习网络的竹条缺陷检测方法，包括以下步骤：步骤S1:将相机安装在竹条分选机器人上，实时采集竹条缺陷数据，并通过标定，生成数据集；步骤S2:对不同产地的竹条和不同批次的竹条所呈现的颜色差别，在每次训练前随机的在图像的HSV空间进行微调，并加上随机颜色抖动，并将预处理后的数据集作为训练集；步骤S3：基于训练集训练骨干网络和辅助定位检测网络，进一步得到物体预测矩阵、边框尺寸预测矩阵和边框偏移预测矩阵；所述步骤S3具体为：步骤S31:输入竹条图像I经过辅助定位检测网络的降采样特征提取表示模块、多尺度特征融合模块、特征传递输出模块分别得到竹条图像特征FdI、FmI、FLI；步骤S32:输入竹条图像I经过骨干网络的下采样模块、上采样模块特征融合部分、特征结合传递输出模块，得到特征结合传递输出模块特征F1I、F2I、F3I；步骤S33:冻结骨干网络，将骨干网络的参数进行传递到下一步，但不进行更新，只训练辅助定位检测网络；步骤S34:训练辅助定位检测网络至损失loss趋于稳定后，放开冻结，将骨干网络与辅助定位检测网络一同训练；步骤S35:将竹条特征图FdI、FmI、FLI分别与特征F1I、F2I、F3I进行融合传递；步骤S36:采取以中心点检测为目标的网络,以预测热力图中心点视为检测目标,将步骤S35融合得到的特征图经过一个3×3的卷积后，经过rul本文档来自技高网...

【技术保护点】
1.一种基于辅助学习网络的竹条缺陷检测方法，其特征在于，包括以下步骤：/n步骤S1:采集竹条缺陷数据，并通过标定，生成数据集；/n步骤S2:对数据集进行预处理，并将预处理后的数据集作为训练集；/n步骤S3：基于训练集训练骨干网络和辅助定位检测网络，进一步得到物体预测矩阵、边框尺寸预测矩阵和边框偏移预测矩阵；/n步骤S4:根据得到的物体预测矩阵、边框尺寸预测矩阵和边框偏移预测矩阵，分别计算物体预测损失、边框尺寸预测损失、边框偏移预测损失，并进一步计算网络总损失；/n步骤S5:将待测图像经过预处理后输入训练后的训练骨干网络和辅助定位检测网络，得到检测结果。/n

【技术特征摘要】
1.一种基于辅助学习网络的竹条缺陷检测方法，其特征在于，包括以下步骤：
步骤S1:采集竹条缺陷数据，并通过标定，生成数据集；
步骤S2:对数据集进行预处理，并将预处理后的数据集作为训练集；
步骤S3：基于训练集训练骨干网络和辅助定位检测网络，进一步得到物体预测矩阵、边框尺寸预测矩阵和边框偏移预测矩阵；
步骤S4:根据得到的物体预测矩阵、边框尺寸预测矩阵和边框偏移预测矩阵，分别计算物体预测损失、边框尺寸预测损失、边框偏移预测损失，并进一步计算网络总损失；
步骤S5:将待测图像经过预处理后输入训练后的训练骨干网络和辅助定位检测网络，得到检测结果。


2.根据权利要求1所述的基于辅助学习网络的竹条缺陷检测方法，其特征在于，所述预处理具体为:对不同产地的竹条和不同批次的竹条所呈现的颜色差别，在每次训练前随机的在图像的HSV空间进行微调，并加上随机颜色抖动。


3.根据权利要求1所述的基于辅助学习网络的竹条缺陷检测方法，其特征在于，所述步骤S3具体为：
步骤S31:输入竹条图像I经过辅助定位检测网络的降采样特征提取表示模块、多尺度特征融合模块、特征传递输出模块分别得到竹条图像特征FdI、FmI、FLI；
步骤S32:输入竹条图像I经过骨干网络的下采样模块、上采样模块特征融合部分、特征结合传递输出模块，得到特征结合传递输出模块特征F1I、
步骤S33:冻结骨干网络，将骨干网络的参数进行传递到下一步，但不进行更新，只训练辅助定位检测网络；
步骤S34:训练辅助定位检测网络至损失loss趋于稳定后，放开冻结，将骨干网络与辅助定位检测网络一同训练；
步骤S35:将竹条特征图FdI、FmI、FLI分别与特征F1I、进行融合传递；
步骤S36:采取以中心点检测为目标的网络,以预测热力图中心点视为检测目标,将步骤S35融合得到的特征图经过一...

【专利技术属性】
技术研发人员：刘文哲，黄炳城，童同，高钦泉，
申请(专利权)人：三明帝视机器人科技有限公司，
类型：发明
国别省市：福建;35