一种基于改进的DETR河面漂流物检测方法、装置及相关组件制造方法及图纸

本发明专利技术公开了一种基于改进的DETR河面漂流物检测方法、装置及相关组件，本发明专利技术利用改进的DETR算法对河面漂浮物进行检测，利用Transformer的注意力机制在编码部分时重点提取河面漂浮物的特征，减少河面倒影等背景干扰和误识别情况的发生，提升了检测精度；并且本实施例由于采用了DETR模型，所以不需要非极大值抑制后处理和anchor等先验知识和束缚，所以可实现端到端的目标检测，可完成河面垃圾、落叶和泡沫等漂浮物的检测。叶和泡沫等漂浮物的检测。叶和泡沫等漂浮物的检测。

【技术实现步骤摘要】
一种基于改进的DETR河面漂流物检测方法、装置及相关组件


[0001]本专利技术涉及河流治理
，特别涉及一种基于改进的DETR河面漂浮物检测方法、装置、一种计算机可读存储介质及一种计算机设备。

技术介绍

[0002]现有技术中，针对河面漂浮物检测问题，一般采用以下两种方案：第一，利用三维建模的方法，计算河面的中断点或者凸起点，并据此判断是否为河面漂浮物，此方法在检测对象方面未考虑河面出现无凸起情况的漂浮物，如泡沫或者油污等情况。第二，利用Yolov3算法对河面的漂浮物进行检测，此方法虽可实现水面漂浮物的检测，但存在模型流程较为复杂，需要进行先验框生成和非极大值抑制计算等问题，并且此方法未考虑光照不足时对检测的干扰，当对图像标注矩形标注框时经常出现河面漂浮物与河面倒影重叠情况时，此时Yolov3模型不仅得到漂浮物的图像特征，还得到河面倒影的图像特征，所以检测得出的结果易出现将河面倒影检测为河面漂浮物的误检测。

技术实现思路

[0003]本专利技术实施例提供一种基于改进的DETR河面漂浮物检测方法、装置、一种计算机可读存储介质及一种计算机设备，旨在解决现有河面漂浮物检测方法存在的检测精度低、流程复杂等问题。
[0004]第一方面，本专利技术实施例提供了一种基于改进的DETR河面漂浮物检测方法，其包括：
[0005]对采集到的河道监控视频数据进行抽帧，得到图像，并对所述图像进行预处理；
[0006]利用EfficientNet网络提取所述图像的特征图，将提取到的特征图输入多尺度均值漂移聚类融合模块进行聚类融合处理后得到特征向量；
[0007]记录聚类融合处理后簇的位置，并替换所述簇在所述特征图中的位置，并对聚类融合处理后簇的位置进行位置编码，得到位置向量；
[0008]将所述特征向量与所述位置向量融合得到融合向量，再将所述融合向量输入至Transformer编码器，然后，将得到的编码信息传输至Transformer解码器，最后，将Transformer解码器的输出传递到前馈网络，预测得到目标或背景类，构建得到改进的DETR模型；
[0009]通过损失函数不断优化所述改进的DETR模型，并利用最终输出的改进的DETR模型检测河道内的漂浮物，输出推理结果，并生成告警信息。
[0010]第二方面，本专利技术实施例又提供了一种基于改进的DETR河面漂浮物检测装置，其中，包括：
[0011]预处理单元，用于对采集到的河道监控视频数据进行抽帧，得到图像，并对所述图像进行预处理；
[0012]聚类融合单元，用于利用EfficientNet网络提取所述图像的特征图，将提取到的
特征图输入多尺度均值漂移聚类融合模块进行聚类融合处理后得到特征向量；
[0013]位置编码单元，用于记录聚类融合处理后簇的位置，并替换所述簇在所述特征图中的位置，并对聚类融合处理后簇的位置进行位置编码，得到位置向量；
[0014]构建模型单元，用于将所述特征向量与所述位置向量融合得到融合向量，再将所述融合向量输入至Transformer编码器，然后，将得到的编码信息传输至Transformer解码器，最后，将Transformer解码器的输出传递到前馈网络，预测得到目标或背景类，构建得到改进的DETR模型；
[0015]检测推理单元，用于通过损失函数不断优化所述改进的DETR模型，并利用最终输出的改进的DETR模型检测河道内的漂浮物，输出推理结果，并生成告警信息。
[0016]第三方面，本专利技术实施例再提供了一种计算机设备，其中，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于改进的DETR河面漂浮物检测方法。
[0017]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于改进的DETR河面漂浮物检测方法。
[0018]本专利技术实施例提供了一种基于改进的DETR河面漂浮物检测方法、装置及相关组件。本实施例利用改进的DETR算法对河面漂浮物进行检测，利用Transformer的注意力机制在编码部分时重点提取河面漂浮物的特征，减少河面倒影等背景干扰和误识别情况的发生，提升了检测精度；并且本实施例由于采用了DETR模型，所以不需要非极大值抑制后处理和anchor等先验知识和束缚，所以可实现端到端的目标检测，可完成河面垃圾、落叶和泡沫等漂浮物的检测。
附图说明
[0019]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术实施例所提供的一种基于改进的DETR河面漂流物检测方法的流程示意图；
[0021]图2为本专利技术实施例所提供的一种基于改进的DETR河面漂流物检测方法的算法设计流程图；
[0022]图3为本专利技术实施例所提供的原始DETR模型结构图；
[0023]图4为本专利技术实施例所提供的改进的DETR模型结构图；
[0024]图5为本专利技术实施例所提供的Efficientnet网络结构图；
[0025]图6为本专利技术实施例所提供的聚类融合后特征图的划分示意图；
[0026]图7为本专利技术实施例提供的基于改进的DETR河面漂流物检测装置的示意性框图；
[0027]图8为本专利技术实施例提供的基于改进的DETR河面漂流物检测装置的子单元示意性框图；
[0028]图9为本专利技术实施例提供的基于改进的DETR河面漂流物检测装置的另一子单元示意性框图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0031]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0032]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0033]下面请参见图1，并结合图2，图1为本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进的DETR河面漂浮物检测方法，其特征在于，包括：对采集到的河道监控视频数据进行抽帧，得到图像，并对所述图像进行预处理；利用EfficientNet网络提取所述图像的特征图，将提取到的特征图输入多尺度均值漂移聚类融合模块进行聚类融合处理后得到特征向量；记录聚类融合处理后簇的位置，并替换所述簇在所述特征图中的位置，并对聚类融合处理后簇的位置进行位置编码，得到位置向量；将所述特征向量与所述位置向量融合得到融合向量，再将所述融合向量输入至Transformer编码器，然后，将得到的编码信息传输至Transformer解码器，最后，将Transformer解码器的输出传递到前馈网络，预测得到目标或背景类，构建得到改进的DETR模型；通过损失函数不断优化所述改进的DETR模型，并利用最终输出的改进的DETR模型检测河道内的漂浮物，输出推理结果，并生成告警信息。2.根据权利要求1所述的基于改进的DETR河面漂浮物检测方法，其特征在于，所述对所述图像数据进行预处理包括：按如下公式计算图像曝光率E：其中，h(k)表示所述图像中灰阶k的像素个数，L表示所述图像的灰阶数；再利用亮度因子公式计算所述图像的曝光度f
d
：f
d
＝λ
×
E+η
×
Dλ＝1
‑
η(λ,η∈(0,1))比较所述图像的曝光度f
d
与预先设定的暗场景参数F1和亮场景参数F2的关系，若f
d
≤F1，则判定为暗场景图像；F1<f
d
<F2，则判定为正常场景图像；f
d
≥F2，则判定为高亮度场景图像；其中，D＝f
l
+f
m
表示暗态画面暗系数，f
l
表示低曝光率，f
m
表示中曝光率；利用SCI算法对判断结果为暗场景图像进行低光增强处理：其中，x
t
和u
t
分别表示第t阶段的光照与残差，H
θ
表示光照估计网络，y表示初始图像光照；通过自校正模块计算所述暗场景图像前后两次迭代之间的关系，使训练过程中的输出均能够收敛到相同状态：其中，V
t
是校正后的结果，用于下一阶段的输入，z
t
表示第t阶段光照向量与原始光照向量的差值，s
t
是z
t
经过权重计算后的结果值，K
θ
是参数化运算符，用于更新参数θ，和分别表示向量相加和相减运算。
3.根据权利要求1所述的基于改进的DETR河面漂浮物检测方法，其特征在于，所述利用EfficientNet网络提取所述图像的特征图包括：将所述图像输入至MB Conv模块进行处理；其中，所述MB Conv模块的处理过程包括：对所述图像进行升维卷积，并进行深度卷积，得到卷积特征；将所述卷积特征输入至SE模块进行处理，得到融合特征；对所述融合特征进行降维卷积，并按预定概率进行丢弃，得到特征图；其中，所述SE模块的处理过程包括：将所述卷积特征进行全局池化处理，并与第一全连接层相连后使用Swish激活函数处理，得到第一处理特征；将所述第一处理特征输入至第二全连接层并使用Sigmoid激活函数处理，得到第二处理特征；将所述第二处理特征与所述卷积特征融合，得到融合特征。4.根据权利要求1所述的基于改进的DETR河面漂浮物检测方法，其特征在于，所述将提取到的特征图输入多尺度均值漂移聚类融合模块进行聚类融合处理后得到特征...

【专利技术属性】
技术研发人员：吕勤学，周长源，袁戟，
申请(专利权)人：深圳市万物云科技有限公司，
类型：发明
国别省市：