生成缺陷样本的方法及装置制造方法及图纸

本申请提供了一种生成缺陷样本的方法及装置。该方法包括：在缺陷样本生成模型内部：通过VAE网络中的编码网络处理目标图像，得到图像潜在特征；通过扩散模型采样器对图像潜在特征添加噪声，得到图像噪声特征；通过文本编码器处理目标文本，得到文本特征；通过UNet网络处理图像噪声特征和文本特征，得到图像破损特征；通过VAE网络中的解码网络处理图像破损特征，得到目标文本对应的目标部件的破损图像；通过图像融合网络处理破损图像和目标背景图像，得到目标缺陷样本。采用上述技术手段，解决现有技术中生成的电力系统中输电线路上的各种部件缺陷样本质量差的问题。

【技术实现步骤摘要】

本申请涉及图像生成，尤其涉及一种生成缺陷样本的方法及装置。

技术介绍

1、近年来，基于人工智能的无人机输电设备缺陷实时识别技术已成为输电线路中重要的巡检手段。无人机对输电线路进行拍照摄像，获取大量的图片及视频资料，以通过目标检测的方法从这些资料中定位锈蚀、损坏、异物等设备异常状态。目标检测模型的精度需要依赖训练时缺陷样本的数量，所以输电设备缺陷识别需要大量的缺陷样本。

2、然而在收集的资料中，大部分为正常样本的图片，有缺陷部件的图片样本只占少部分，在此情况下，各种类型的缺陷部件的样本在整个有缺陷部件的图片样本中的比例又是各不相同的，甚至相差悬殊。也就是说，不仅正常样本图片数据集与缺陷样本图片数据集之间存在类别不平衡问题，缺陷样本数据集本身内部缺陷样本部件的分布也存在着差异，即类间不平衡与类内不平衡。所以训练前需要生成大量的缺陷样本。但是数据增强产生的缺陷样本质量差，有时不符合客观现实。

技术实现思路

1、有鉴于此，本申请实施例提供了一种生成缺陷样本的方法、装置、电子设备及计算机可读存储介质，以解决本文档来自技高网...

【技术保护点】

1.一种生成缺陷样本的方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，通过所述UNet网络处理所述图像噪声特征和所述文本特征，得到图像破损特征，包括：

3.根据权利要求1所述方法，其特征在于，通过所述图像融合网络处理所述破损图像和所述目标背景图像，得到目标缺陷样本，包括：

4.根据权利要求3所述方法，其特征在于，依据所述融合梯度场生成所述目标缺陷样本，包括：

5.根据权利要求4所述方法，其特征在于，依据所述稀疏矩阵和所述散度求解所述目标缺陷样本的像素点，以得到所述目标缺陷样本，包括：

6.根据权利要求4所述方法...

【技术特征摘要】

1.一种生成缺陷样本的方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，通过所述unet网络处理所述图像噪声特征和所述文本特征，得到图像破损特征，包括：

3.根据权利要求1所述方法，其特征在于，通过所述图像融合网络处理所述破损图像和所述目标背景图像，得到目标缺陷样本，包括：

4.根据权利要求3所述方法，其特征在于，依据所述融合梯度场生成所述目标缺陷样本，包括：

5.根据权利要求4所述方法，其特征在于，依据所述稀疏矩阵和所述散度求解所述目标缺陷样本的像素点，以得到所述目标缺陷样本，包括：

6.根据权利要求4所述方法，其特征在于，将所述目标图像、所述目标背景图...

【专利技术属性】
技术研发人员：曹澍，郭江涛，肖靖峰，王楷，孟欣欣，杨柳，沈佳，贾俊强，
申请(专利权)人：国网新疆电力有限公司信息通信公司，
类型：发明
国别省市：