基于卷积神经网络的智能视觉检测设备及其方法技术

公开了一种基于卷积神经网络的智能视觉检测设备及其方法，其考虑到水面漂浮物属于小尺寸对象，且RGB图像易受光照条件的影响，因此，在本申请的技术方案中，选择合成孔径雷达(synthetic aperture radar，SAR)所采集的SAR图像作为网络的输入，并使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器提取所述SAR图像的前景部分中的高维局部图像特征，再利用残差双注意力机制模型进行特征数据增强，这样，提升分类特征图整体上的信息聚合度，提高分类结果的准确性，进而提高对于水面漂浮物的智能检测的精准度。提高对于水面漂浮物的智能检测的精准度。提高对于水面漂浮物的智能检测的精准度。

【技术实现步骤摘要】
基于卷积神经网络的智能视觉检测设备及其方法


[0001]本申请涉及视觉检测
，且更为具体的涉及基于卷积神经网络的智能视觉检测设备及其方法。

技术介绍

[0002]目前，随着工业化、农业化及城镇化建设步伐加速，人为因素对环境造成严重污染，在湖泊、河流、水库及水厂等水面上出现大量漂浮物，这些漂浮物含有大量对人体有害的物质。为了人类的可持续发展，必须解决水污染问题，必须从污染物的排放进行控制，于是，对水面漂浮物的视觉监控成为了一个迫切需要解决的课题。
[0003]目前，对水面(特别是饮用水源、水库、河流等)的监控主要是通过安排专人监看来实现的。这需要投入大量的人力物力资源。为了解决这些问题，有一些场景中也使用了摄像机进行实时监控，但是依然需要人坚守在终端设备旁，这种做法还是需要大量的人工辅助工作，而且无法实时、准确地对监控情况做出反应。
[0004]因此，期待一种更为优化的智能视觉检测设备，其能够对水面进行智能化监控，即在不需要人为干预的情况下对监控场景进行自动分析，及时做出反应。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于卷积神经网络的智能视觉检测设备及其方法，其考虑到水面漂浮物属于小尺寸对象，且RGB图像易受光照条件的影响，因此，在本申请的技术方案中，选择合成孔径雷达(synthetic aperture radar，SAR)所采集的SAR图像作为网络的输入，并使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器提取所述SAR图像的前景部分中的高维局部图像特征，再利用残差双注意力机制模型进行特征数据增强，这样，提升分类特征图整体上的信息聚合度，提高分类结果的准确性，进而提高对于水面漂浮物的智能检测的精准度。
[0006]根据本申请的一个方面，提供了一种基于卷积神经网络的智能视觉检测设备，其包括：
[0007]SAR图像采集模块，用于获取待监控水域的SAR图像；
[0008]前景部分采集模块，用于提取所述SAR图像中的前景部分；
[0009]前景特征提取模块，用于将所述前景部分通过作为特征提取器的第一卷积神经网络模型以得到检测特征图；
[0010]特征感知增强模块，用于将所述检测特征图通过残差双注意力机制模型以得到分类特征图；以及
[0011]检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在水面漂浮物。
[0012]在上述基于卷积神经网络的智能视觉检测设备中，所述前景部分采集模块，包括：
背景识别单元，用于通过背景建模法识别所述SAR图像的背景部分；和，去背景单元，用于去除所述SAR图像中的背景部分以得到所述前景部分。
[0013]在上述基于卷积神经网络的智能视觉检测设备中，所述前景特征提取模块，包括：所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述检测特征图，所述第一卷积神经网络模型的第一层的输入为所述前景部分。
[0014]在上述基于卷积神经网络的智能视觉检测设备中，所述特征感知增强模块，包括：通道注意力单元，用于将所述检测特征图通过所述残差双注意力机制模型的通道注意力层以得到通道注意力特征图；空间注意力单元，用于将所述检测特征图通过所述残差双注意力机制模型的空间注意力层以得到空间注意力特征图；混合注意力单元，用于融合所述空间注意力特征图和所述通道注意力特征图以得到混合注意力特征图；注意力激活单元，用于将所述混合注意力特征图输入Sigmoid激活函数以得到混合注意力权重特征图；混合注意力施加单元，用于将所述混合注意力权重特征图作用于所述检测特征图以得到深层特征图；以及，深浅残差融合单元，用于融合所述深层特征图和所述检测特征图以得到所述分类特征图。
[0015]在上述基于卷积神经网络的智能视觉检测设备中，所述通道注意力单元，包括：所述残差双注意力机制模型的通道注意力层的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；计算所述激活特征图的沿通道维度的各个特征矩阵的全局均值以获得通道特征向量；计算所述通道特征向量中各个位置的特征值相对于所述通道特征向量的所有位置的特征值的加权和的比值以获得通道加权特征向量；以及，以所述通道加权特征向量的各个位置的特征值作为权重对所述激活特征图的沿通道维度的特征矩阵进行点乘以获得生成特征图；其中，所述残差双注意力机制模型的通道注意力层的最后一层输出的所述生成特征图为所述通道注意力特征图。
[0016]在上述基于卷积神经网络的智能视觉检测设备中，所述空间注意力单元，进一步用于：使用所述残差双注意力机制模型的空间注意力层对所述检测特征图进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述残差双注意力机制模型的空间注意力层的空间注意力部分以得到空间注意力图；将所述空间注意力图通过Softmax激活函数以得到空间注意力激活图；以及，计算所述空间注意力激活图和所述初始卷积特征图的按位置点乘以得到空间注意力特征图。
[0017]在上述基于卷积神经网络的智能视觉检测设备中，所述深浅残差融合单元，包括：增强因子计算子单元，用于以如下公式来计算所述检测特征图和所述深层特征图的类小波函数族能量聚合的高频增强蒸馏因数；其中，所述公式为：
[0018][0019]其中，f
i,j,k
表示所述深层特征图或所述检测特征图的第(i,j,k)位置的特征值，|f
i,j,k
|2表示各个特征值绝对值的平方，且W、H和C分别是所述深层特征图或所述检测特征图的宽度、高度和通道数，log表示以2为底的对数；以及，增强融合子单元，用于以所述检测特征图和所述深层特征图的类小波函数族能量聚合的高频增强蒸馏因数为权重，计算所述检测特征图和所述深层特征图的按位置加权和以得到所述分类特征图。
[0020]在上述基于卷积神经网络的智能视觉检测设备中，所述检测结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：
[0021]O＝softmax{(W
n
,B
n
):
…
:(W1,B1)|Project(F)}
[0022]其中Project(F)表示将所述分类矩阵图投影为向量，W1至W
n
为各层全连接层的权重矩阵，B1至B
n
表示各层全连接层的偏置向量。
[0023]根据本申请的另一方面，还提供了一种基于卷积神经网络的智能视觉检测方法，其包括：
...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的智能视觉检测设备，其特征在于，包括：SAR图像采集模块，用于获取待监控水域的SAR图像；前景部分采集模块，用于提取所述SAR图像中的前景部分；前景特征提取模块，用于将所述前景部分通过作为特征提取器的第一卷积神经网络模型以得到检测特征图；特征感知增强模块，用于将所述检测特征图通过残差双注意力机制模型以得到分类特征图；以及检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在水面漂浮物。2.根据权利要求1所述的基于卷积神经网络的智能视觉检测设备，其特征在于，所述前景部分采集模块，包括：背景识别单元，用于通过背景建模法识别所述SAR图像的背景部分；和去背景单元，用于去除所述SAR图像中的背景部分以得到所述前景部分。3.根据权利要求2所述的基于卷积神经网络的智能视觉检测设备，其特征在于，所述前景特征提取模块，包括：所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述检测特征图，所述第一卷积神经网络模型的第一层的输入为所述前景部分。4.根据权利要求3所述的基于卷积神经网络的智能视觉检测设备，其特征在于，所述特征感知增强模块，包括：通道注意力单元，用于将所述检测特征图通过所述残差双注意力机制模型的通道注意力层以得到通道注意力特征图；空间注意力单元，用于将所述检测特征图通过所述残差双注意力机制模型的空间注意力层以得到空间注意力特征图；混合注意力单元，用于融合所述空间注意力特征图和所述通道注意力特征图以得到混合注意力特征图；注意力激活单元，用于将所述混合注意力特征图输入Sigmoid激活函数以得到混合注意力权重特征图；混合注意力施加单元，用于将所述混合注意力权重特征图作用于所述检测特征图以得到深层特征图；以及深浅残差融合单元，用于融合所述深层特征图和所述检测特征图以得到所述分类特征图。5.根据权利要求4所述的基于卷积神经网络的智能视觉检测设备，其特征在于，所述通道注意力单元，包括：所述残差双注意力机制模型的通道注意力层的各层在层的正向传递中对输入数据进行：
对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；计算所述激活特征图的沿通道维度的各个特征矩阵的全局均值以获得通道特征向量；计算所述通道特征向量中各个位置的特征值相对于所述通道特征向量的所有位置的特征值的加权和的比值以获得通道加权特征向量；以及以所述通道加权特征向量的各个位置的特征值作为权重对所述激活特征图的沿通道维度的...

【专利技术属性】
技术研发人员：马荣飞，
申请(专利权)人：台州科技职业学院，
类型：发明
国别省市：