基于图像的缺陷检测方法技术

本发明专利技术公开了一种基于图像的缺陷检测方法

【技术实现步骤摘要】
基于图像的缺陷检测方法、装置、终端设备和存储介质


[0001]本专利技术涉及无人机航拍图像的检测
，尤其涉及一种基于图像的缺陷检测方法
、
装置
、
终端设备和存储介质
。

技术介绍

[0002]在对新能源领域的各设备进行定期运维检查的主要手段是利用无人机拍摄机器设备的外观，并将无人机拍摄设备的外观图像结合基于深度学习的目标检测方法自动地检测出相关表面的异常情况，即识别出无人机拍摄的外观图像的缺陷部位
。
目前，一般采用通用的目标检测方法为
Faster RCNN
和
YOLO
系列算法，而这些算法忽略了无人机拍摄的图像具有超高分辨率
、
存在细微目标和小目标等特点，均直接将无人机拍摄的原始图像缩小后便开始来训练和检测图像中设备的缺陷了，导致无人机拍摄的原始图像被缩小后图像中的小目标特征和细微的目标特征变得不易被检测到，则采用现有技术的方案容易出现细微的缺陷特征提取效果不佳的问题，使得对无人机拍摄的图像进行缺陷特征提取时提取精度不高
。

技术实现思路

[0003]本专利技术实施例提供了一种基于图像的缺陷检测方法
、
装置
、
终端设备和存储介质，能有效解决现有技术中对无人机拍摄的图像进行缺陷特征提取时提取精度不高的问题
。
[0004]本专利技术一实施例提供一种基于图像的缺陷检测方法，包括：
[0005]获取无人机拍摄的目标图像；
[0006]将所述目标图像输入到图像缺陷检测网络中，以使所述图像缺陷检测网络输出若干目标缺陷坐标；其中，所述图像缺陷检测网络包括组件检测头部网络和缺陷检测头部网络，所述组件检测头部网络用于提取目标图像中的若干目标组件区域图，所述缺陷检测头部网络用于提取每一目标组件区域图中的若干目标缺陷坐标；
[0007]根据每一目标缺陷坐标提取所述目标图像中每一缺陷坐标所对应的目标缺陷特征
。
[0008]优选地，所述图像缺陷检测网络的训练，包括：
[0009]获取无人机拍摄的若干样本图像；
[0010]将所述若干样本图像输入到图像缺陷检测网络中的组件检测头部网络，以使组件检测头部网络输出若干样本组件区域图；
[0011]将所述若干样本组件区域图输入到图像缺陷检测网络中的缺陷检测头部网络，以使缺陷检测头部网络输出每一样本组件区域图中的若干样本缺陷坐标
。
[0012]优选地，在所述图像缺陷检测网络的训练过程中，还包括：
[0013]在训练组件检测头部网络或训练缺陷检测头部网络时，采用线性操作得到查询项
、
键项和值项；
[0014]将所述键项进行标准化得到标准键项，并根据所述标准键项与所述值项建立内容
上下文的关系；
[0015]根据预设学习参数与所述值项建立每一组件区域图的像素之间的位置关系；
[0016]将内容上下文关系
、
像素之间的位置关系和所述查询项建立长距离依赖关系
。
[0017]优选地，在所述图像缺陷检测网络的训练过程中，还包括：
[0018]获取每一样本组件区域图的样本组件区域坐标以及每一样本缺陷坐标；
[0019]获取样本图像中的每一缺陷对应的人工标注的真实坐标；
[0020]根据每一样本组件区域坐标
、
每一样本缺陷坐标和每一缺陷对应的真实坐标建立对偶损失函数；
[0021]根据所述对偶损失函数产生的监督信号对所述图像缺陷检测网络的参数进行更新
。
[0022]在上述的方法实施例的基础上，本专利技术对应提供了装置项实施例
。
[0023]本专利技术一实施例提供了一种基于图像的缺陷检测装置，包括：图像获取模块
、
缺陷坐标输出模块和缺陷特征提取模块；
[0024]所述图像获取模块，用于获取无人机拍摄的目标图像；
[0025]所述缺陷坐标输出模块，用于将所述目标图像输入到图像缺陷检测网络中，以使所述图像缺陷检测网络输出若干目标缺陷坐标；其中，所述图像缺陷检测网络包括组件检测头部网络和缺陷检测头部网络，所述组件检测头部网络用于提取目标图像中的若干目标组件区域图，所述缺陷检测头部网络用于提取每一目标组件区域图中的若干目标缺陷坐标；
[0026]所述缺陷特征提取模块，用于根据每一目标缺陷坐标提取所述目标图像中每一缺陷坐标所对应的目标缺陷特征
。
[0027]优选地，所述图像缺陷检测网络的训练，包括：
[0028]获取无人机拍摄的若干样本图像；
[0029]将所述若干样本图像输入到图像缺陷检测网络中的组件检测头部网络，以使组件检测头部网络输出若干样本组件区域图；
[0030]将所述若干样本组件区域图输入到图像缺陷检测网络中的缺陷检测头部网络，以使缺陷检测头部网络输出每一样本组件区域图中的若干样本缺陷坐标
。
[0031]优选地，还包括：长距离依赖关系建立模块；
[0032]所述长距离依赖关系建立模块，用于在训练组件检测头部网络或训练缺陷检测头部网络时，采用线性操作得到查询项
、
键项和值项；
[0033]将所述键项进行标准化得到标准键项，并根据所述标准键项与所述值项建立内容上下文的关系；
[0034]根据预设学习参数与所述值项建立每一组件区域图的像素之间的位置关系；
[0035]将内容上下文关系
、
像素之间的位置关系和所述查询项建立长距离依赖关系
。
[0036]优选地，还包括：图像缺陷检测网络更新模块；
[0037]所述图像缺陷检测网络更新模块，用于在所述图像缺陷检测网络的训练过程中，获取每一样本组件区域图的样本组件区域坐标以及每一样本缺陷坐标；
[0038]获取样本图像中的每一缺陷对应的人工标注的真实坐标；
[0039]根据每一样本组件区域坐标
、
每一样本缺陷坐标和每一缺陷对应的真实坐标建立
对偶损失函数；
[0040]根据所述对偶损失函数产生的监督信号对所述图像缺陷检测网络的参数进行更新
。
[0041]在上述的方法实施例的基础上，本专利技术对应提供了终端设备项实施例
。
[0042]本专利技术另一实施例提供了一种终端设备，包括处理器
、
存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述专利技术实施例所述的基于图像的缺陷检测方法
。
[0043]在上述的方法实施例的基础上，本专利技术对应提供了存储介质项实施例
。
[0044]本专利技术另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图像的缺陷检测方法，其特征在于，包括：获取无人机拍摄的目标图像；将所述目标图像输入到图像缺陷检测网络中，以使所述图像缺陷检测网络输出若干目标缺陷坐标；其中，所述图像缺陷检测网络包括组件检测头部网络和缺陷检测头部网络，所述组件检测头部网络用于提取目标图像中的若干目标组件区域图，所述缺陷检测头部网络用于提取每一目标组件区域图中的若干目标缺陷坐标；根据每一目标缺陷坐标提取所述目标图像中每一缺陷坐标所对应的目标缺陷特征
。2.
如权利要求1所述的一种基于图像的缺陷检测方法，其特征在于，所述图像缺陷检测网络的训练，包括：获取无人机拍摄的若干样本图像；将所述若干样本图像输入到图像缺陷检测网络中的组件检测头部网络，以使组件检测头部网络输出若干样本组件区域图；将所述若干样本组件区域图输入到图像缺陷检测网络中的缺陷检测头部网络，以使缺陷检测头部网络输出每一样本组件区域图中的若干样本缺陷坐标
。3.
如权利要求2所述的一种基于图像的缺陷检测方法，其特征在于，在所述图像缺陷检测网络的训练过程中，还包括：在训练组件检测头部网络或训练缺陷检测头部网络时，采用线性操作得到查询项
、
键项和值项；将所述键项进行标准化得到标准键项，并根据所述标准键项与所述值项建立内容上下文的关系；根据预设学习参数与所述值项建立每一组件区域图的像素之间的位置关系；将内容上下文关系
、
像素之间的位置关系和所述查询项建立长距离依赖关系
。4.
如权利要求2所述的一种基于图像的缺陷检测方法，其特征在于，在所述图像缺陷检测网络的训练过程中，还包括：获取每一样本组件区域图的样本组件区域坐标以及每一样本缺陷坐标；获取样本图像中的每一缺陷对应的人工标注的真实坐标；根据每一样本组件区域坐标
、
每一样本缺陷坐标和每一缺陷对应的真实坐标建立对偶损失函数；根据所述对偶损失函数产生的监督信号对所述图像缺陷检测网络的参数进行更新
。5.
一种基于图像的缺陷检测装置，其特征在于，包括：图像获取模块
、
缺陷坐标输出模块和缺陷特征提取模块；所述图像获取模块，用于获取无人机拍摄的目标图像；所述缺陷坐标输出模块，用于将所述目标图像输入到图像缺陷检测网络中，以使所述图像缺陷检测网络输出若干目标缺陷坐标；其中，所述图像缺陷检测网络包括组件检测头部网络和缺陷检测头部网...

【专利技术属性】
技术研发人员：许慧青，陈旭，肖思恒，
申请(专利权)人：广东能源集团科学技术研究院有限公司，
类型：发明
国别省市：