一种堆填土图像的识别方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种堆填土图像的识别方法、装置、电子设备及存储介质，涉及图像识别技术领域。其中，该方法包括：获取目标区域的待检测图像；将待检测图像输入至特征提取网络分别得到待检测图像的全局特征图和局部特征图，特征提取网络是基于自注意力机制进行改进得到；对全局特征图和局部特征图进行特征融合得到融合特征图；将融合特征图输入至堆填土检测模型得到待检测图像的检测结果。本申请提供的技术方案，可以解决数据集样本稀缺瓶颈问题，还能够提高识别检测效果。够提高识别检测效果。够提高识别检测效果。

【技术实现步骤摘要】
一种堆填土图像的识别方法、装置、电子设备及存储介质


[0001]本申请涉及图像识别
，尤其涉及一种堆填土图像的识别方法、装置、电子设备及存储介质。

技术介绍

[0002]在监测违法堆填土预警检测的应用场景中，通常采用传统的卷积神经网络(Convolutional Neural Networks，CNN)和self
‑
attention机制进行识别检测。CNN的卷积层在长期依赖关系方面的建模能力不是很好，即使采用不断的卷积池化层能够增加感受野效果，但会堆叠很多层。因此，采用传统CNN卷积会存在感受野的问题，识别检测效果一般。self
‑
attention机制在长期依赖关系方面具有良好的性能，虽然可以在浅层就可以获取比较不错的感受野，但是需要很多的数据集样本才会有比较好的识别检测效果，然而带标注的违法堆填土数据稀缺是一个瓶颈问题。因此，设计一种不仅可以解决数据集样本稀缺瓶颈问题还能够提高识别检测效果的堆填土图像的识别方法成为了亟待解决的问题。

技术实现思路

[0003]本申请提供了一种堆填土图像的识别方法、装置、电子设备及存储介质，可以解决数据集样本稀缺瓶颈问题，还能够提高识别检测效果。
[0004]第一方面，本申请提供了一种堆填土图像的识别方法，该方法包括：
[0005]获取目标区域的待检测图像；
[0006]将所述待检测图像输入至特征提取网络分别得到所述待检测图像的全局特征图和局部特征图，所述特征提取网络是基于自注意力机制进行改进得到；
[0007]对所述全局特征图和所述局部特征图进行特征融合得到融合特征图；
[0008]将所述融合特征图输入至堆填土检测模型得到待检测图像的检测结果。
[0009]本申请实施例提供了一种堆填土图像的识别方法，本申请为了在堆填土检测中避免传统CNN卷积感受野的问题，以及解决堆填土数据集样本稀缺瓶颈问题，在自注意力机制中加入待学习的权利向量参数和隶属度矩阵参数等约束机制以得到特征提取网络，通过特征提取网络分别提取出全局特征图和局部特征图，再融合全局特征图和局部特征图得到融合特征图，进而通过堆填土检测模型对融合特征图进行识别得到待检测图像的检测结果。本申请不仅可以解决数据集样本稀缺瓶颈问题，还能够提高识别检测效果。
[0010]进一步的，所述自注意力机制包括矩阵运算模块和变种运算模块，所述矩阵运算模块中包括查询矩阵、关键字矩阵和值矩阵；通过如下方式对所述自注意力机制进行改进得到所述特征提取网络：在所述矩阵运算模块中设置待学习的第一权利向量参数和待学习的第一隶属度矩阵参数，以使通过所述第一权利向量参数对所述查询矩阵和所述关键字矩阵进行自主学习，并通过所述第一隶属度矩阵参数对所述查询矩阵和所述关键字矩阵的自主学习能力进行抑制，从而得到改进型矩阵运算模块；在所述变种运算模块中设置待学习的第二权利向量参数和待学习的第二隶属度矩阵参数，以使通过所述第二权利向量参数对
所述改进型矩阵运算模块的输出结果进行自主学习，再通过所述第二隶属度矩阵参数对所述改进型矩阵运算模块的输出结果和所述值矩阵的自主学习能力进行抑制，从而得到改进型变种运算模块。
[0011]进一步的，所述将所述待检测图像输入至特征提取网络分别得到所述待检测图像的全局特征图，包括：根据预设的第一权重矩阵、第二权重矩阵和第三权重矩阵确定待检测图像对应的目标查询矩阵、目标关键字矩阵和目标值矩阵；通过所述改进型矩阵运算模块对所述目标查询矩阵和所述目标关键字矩阵进行数据处理得到初始全局特征；通过所述改进型变种运算模块对所述初始全局特征和所述目标值矩阵进行数据处理得到全局特征图。
[0012]进一步的，所述通过所述改进型矩阵运算模块对所述目标查询矩阵和所述目标关键字矩阵进行数据处理得到初始全局特征，包括：计算所述目标查询矩阵和所述目标关键字矩阵的相似度矩阵；将所述目标查询矩阵和所述第一权利向量参数进行矩阵相乘得到权力查询矩阵，将所述目标关键字矩阵和所述第一权利向量参数进行矩阵相乘得到权力关键字矩阵；将所述权力查询矩阵和所述第一隶属度矩阵参数进行矩阵相乘得到隶属度查询矩阵，将所述权力关键字矩阵和所述第一隶属度矩阵参数进行矩阵相乘得到隶属度关键字矩阵；将所述相似度矩阵、所述权力查询矩阵、所述权力关键字矩阵、所述隶属度查询矩阵和所述隶属度关键字矩阵进行相加得到所述初始全局特征。
[0013]进一步的，所述通过所述改进型变种运算模块对所述初始全局特征和所述目标值矩阵进行数据处理得到全局特征图，包括：通过Softmax函数对所述初始全局特征进行归一化处理得到初始特征张量；将所述初始特征张量、所述第二权利向量参数和所述第二隶属度矩阵参数进行矩阵相乘得到第一中间矩阵；将所述目标值矩阵和所述第二隶属度矩阵参数进行矩阵相乘得到第二中间矩阵；将所述第一中间矩阵和所述第二中间矩阵进行相加得到所述全局特征图。
[0014]进一步的，所述计算所述目标查询矩阵和所述目标关键字矩阵的相似度矩阵，包括：根据所述目标查询矩阵中每行的元素依次与所述目标关键字矩阵中所有行的元素进行点乘得到行相似矩阵；根据所述目标查询矩阵中每列的元素依次与所述目标关键字矩阵中所有列的元素进行点乘得到列相似矩阵；将所述行相似矩阵和所述列相似矩阵相加得到所述相似度矩阵。
[0015]进一步的，所述对所述全局特征图和所述局部特征图进行特征融合得到融合特征图，包括：通过第一编码网络对所述全局特征图进行编码得到全局特征向量，所述第一编码网络包括3个attention层、shotcut&norm层和feed forward层；通过第二编码网络对所述局部特征图进行编码得到局部特征向量，所述第二编码网络包括9个attention层、shotcut&norm层和feed forward层；通过concat函数对所述全局特征向量和所述局部特征向量进行特征融合得到所述融合特征图。
[0016]第二方面，本申请提供了一种堆填土图像的识别装置，该装置包括：
[0017]图像获取模块，用于获取目标区域的待检测图像；
[0018]特征提取模块，用于将所述待检测图像输入至特征提取网络分别得到所述待检测图像的全局特征图和局部特征图，所述特征提取网络是基于自注意力机制进行改进得到；
[0019]特征融合模块，用于对所述全局特征图和所述局部特征图进行特征融合得到融合特征图；
[0020]图像识别模块，用于将所述融合特征图输入至堆填土检测模型得到待检测图像的检测结果。
[0021]第三方面，本申请提供了一种电子设备，该电子设备包括：
[0022]至少一个处理器；以及
[0023]与所述至少一个处理器通信连接的存储器；其中，
[0024]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的堆填土图像的识别方法。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种堆填土图像的识别方法，其特征在于，所述方法包括：获取目标区域的待检测图像；将所述待检测图像输入至特征提取网络分别得到所述待检测图像的全局特征图和局部特征图，所述特征提取网络是基于自注意力机制进行改进得到；对所述全局特征图和所述局部特征图进行特征融合得到融合特征图；将所述融合特征图输入至堆填土检测模型得到待检测图像的检测结果。2.根据权利要求1所述的堆填土图像的识别方法，其特征在于，所述自注意力机制包括矩阵运算模块和变种运算模块，所述矩阵运算模块中包括查询矩阵、关键字矩阵和值矩阵；通过如下方式对所述自注意力机制进行改进得到所述特征提取网络：在所述矩阵运算模块中设置待学习的第一权利向量参数和待学习的第一隶属度矩阵参数，以使通过所述第一权利向量参数对所述查询矩阵和所述关键字矩阵进行自主学习，并通过所述第一隶属度矩阵参数对所述查询矩阵和所述关键字矩阵的自主学习能力进行抑制，从而得到改进型矩阵运算模块；在所述变种运算模块中设置待学习的第二权利向量参数和待学习的第二隶属度矩阵参数，以使通过所述第二权利向量参数对所述改进型矩阵运算模块的输出结果进行自主学习，再通过所述第二隶属度矩阵参数对所述改进型矩阵运算模块的输出结果和所述值矩阵的自主学习能力进行抑制，从而得到改进型变种运算模块。3.根据权利要求2所述的堆填土图像的识别方法，其特征在于，所述将所述待检测图像输入至特征提取网络分别得到所述待检测图像的全局特征图，包括：根据预设的第一权重矩阵、第二权重矩阵和第三权重矩阵确定待检测图像对应的目标查询矩阵、目标关键字矩阵和目标值矩阵；通过所述改进型矩阵运算模块对所述目标查询矩阵和所述目标关键字矩阵进行数据处理得到初始全局特征；通过所述改进型变种运算模块对所述初始全局特征和所述目标值矩阵进行数据处理得到全局特征图。4.根据权利要求3所述的堆填土图像的识别方法，其特征在于，所述通过所述改进型矩阵运算模块对所述目标查询矩阵和所述目标关键字矩阵进行数据处理得到初始全局特征，包括：计算所述目标查询矩阵和所述目标关键字矩阵的相似度矩阵；将所述目标查询矩阵和所述第一权利向量参数进行矩阵相乘得到权力查询矩阵，将所述目标关键字矩阵和所述第一权利向量参数进行矩阵相乘得到权力关键字矩阵；将所述权力查询矩阵和所述第一隶属度矩阵参数进行矩阵相乘得到隶属度查询矩阵，将所述权力关键字矩阵和所述第一隶属度矩阵参数进行矩阵相乘得到隶属度关键字矩阵；将所述相似度矩阵、所述权力查询矩阵、所述权力关键字矩阵、所述隶属度查询矩阵和所述隶属度关键字矩阵进行相加得到所述初始全局特征。5.根据权利要求3所述的堆填土图像的识别方法，其特征在于...

【专利技术属性】
技术研发人员：甘兵，张茂华，廖瑞毅，
申请(专利权)人：数字广东网络建设有限公司，
类型：发明
国别省市：