【技术实现步骤摘要】
本申请涉及人工智能和机器视觉的，具体而言，涉及一种基于稳定扩散模型的缺陷图像样本生成方法和装置。
技术介绍
1、在产品表面缺陷检测的工业视觉领域，用于训练缺陷图像检测模型的带有缺陷标注的缺陷图像样本不足一直是制约人工智能算法应用的瓶颈之一。一方面，工业生产是一个多因素耦和的复杂过程，生产中的任何异常都会影响产品质量，而且生产过程的复杂性也将导致产品缺陷种类繁多，缺陷的表现形态也千差万别。另一方面，随着工业产线自动化的提升，生产中出现缺陷产品的概率大幅降低，从而导致要收集到充足的缺陷图像样本非常耗时。
2、为此，业内出现了基于人工智能算法来扩充缺陷图像样本的技术。一种现有的技术方案是基于生成对抗网络（generative adversarial network, 简称gan），从少量经过缺陷标注的缺陷图像样本训练集来自动生成扩充的缺陷图像样本。但是，这种方案中生成对抗网络的训练非常不稳定，并且可能产生模式坍塌问题，即模型生成的缺陷图像样本无法学习复杂的真实缺陷数据的分布，缺乏多样性。
3、随着人工智能生成内容（ai-generated content，简称aigc）技术的发展，尤其是基于扩散模型（diffusion model）的aigc技术的图生图技术的发展，业内逐渐出现了基于扩散模型（diffusion model）的aigc技术来生成大规模缺陷图像样本的探索尝试。然而，由于电子工业产品的缺陷图像，例如裂纹、凹陷、划痕等微小缺陷，通常存在缺陷轮廓模糊、形状不规则、大小随机等复杂形态，基于扩散模型的大规模
技术实现思路
1、有鉴于此，本申请提出一种基于稳定扩散模型的缺陷图像样本生成方法和装置，以便基于预训练的稳定扩散模型生成新缺陷图像样本时，使得生成的新缺陷图像样本可以自动生成缺陷标注数据，无需额外的人工缺陷标注工作，且增强新缺陷图像样本的缺陷区域与背景图像之间的特征连续性，并且可以显著降低对输入图像样本的采样计算量，提高生成新缺陷图像样本的计算效率。
2、第一方面，本申请提出一种基于稳定扩散模型的缺陷图像样本生成方法，包括：
3、根据原始缺陷图像样本集的缺陷标注数据获取每个缺陷类型分别对应的一组缺陷特征映射图；
4、根据输入预训练的稳定扩散模型的目标缺陷类型，从所述每个缺陷类型分别对应的一组缺陷特征映射图获得所述目标缺陷类型对应的一组缺陷特征映射图，并从所述目标缺陷类型对应的一组缺陷特征映射图中随机选择目标缺陷特征映射图，基于随机生成的缺陷位置矩阵在非缺陷图像样本集中的任一非缺陷图像样本上随机生成缺陷区域，将所述目标缺陷特征映射图填充至所述缺陷区域；
5、基于所述稳定扩散模型，通过向所述任一非缺陷图像样本上的所述缺陷区域添加随机高斯噪声进行稳定扩散，生成包含所述目标缺陷类型的缺陷特征的新缺陷图像样本。
6、在优选的实施方式中，所述根据原始缺陷图像样本集的缺陷标注数据获取每个缺陷类型分别对应的一组缺陷特征映射图，包括：
7、根据原始缺陷图像样本集的缺陷标注数据，从所述原始缺陷图像样本集中每个缺陷类型对应的一组缺陷图像样本分割得到一组缺陷特征图像；
8、对所述一组缺陷特征图像分别进行归一化处理，得到一组归一化缺陷特征图像，保留所述归一化缺陷特征图像中的显著特征，从而形成每个缺陷类型分别对应的一组缺陷特征映射图。
9、在优选的实施方式中，所述基于随机生成的缺陷位置矩阵在非缺陷图像样本集中的任一非缺陷图像样本上随机生成缺陷区域，包括：
10、从所述原始缺陷图像样本集中每个缺陷类型对应的一组缺陷图像样本中得到所述目标缺陷类型对应的一组候选网格位置；
11、从所述目标缺陷类型对应的一组候选网络位置中随机选择目标网格位置，基于所述目标网格位置指示的网格区域生成所述缺陷位置矩阵。
12、在优选的实施方式中，所述从所述原始缺陷图像样本集中每个缺陷类型对应的一组缺陷图像样本中得到所述目标缺陷类型对应的一组候选网格位置，包括：
13、对所述原始缺陷图像样本集中所述目标缺陷类型对应的一组缺陷图像样本中的缺陷特征的网格位置进行聚类，得到所述目标缺陷类型对应的一组网格位置，所述一组网格位置中的每个网格位置具有关联的出现概率；
14、将所述目标缺陷类型对应的一组网格位置中出现概率大于第一阈值的至少一个网格位置作为所述目标缺陷类型对应的一组候选网格位置。
15、在优选的实施方式中，所述根据输入预训练的稳定扩散模型的目标缺陷类型，从所述每个缺陷类型分别对应的一组缺陷特征映射图获得所述目标缺陷类型对应的一组缺陷特征映射图，并从所述目标缺陷类型对应的一组缺陷特征映射图中随机选择目标缺陷特征映射图，包括：
16、根据输入预训练的稳定扩散模型的第一目标缺陷类型和第二目标缺陷类型，从所述第一目标缺陷类型对应的第一组缺陷特征映射图中随机选择第一目标缺陷特征映射图，从所述第二目标缺陷类型对应的第二组缺陷特征映射图中随机选择第二目标缺陷特征映射图。
17、在优选的实施方式中，所述方法还包括：
18、计算得到所述原始缺陷图像样本集中任意两个缺陷类型的缺陷特征同时出现在同一个缺陷图像样本中的共现概率；
19、将同时出现在同一个缺陷图像样本中的共现概率大于第二阈值的任意两个缺陷类型作为所述第一目标缺陷类型和第二目标缺陷类型。
20、在优选的实施方式中，所述基于随机生成的缺陷位置矩阵在非缺陷图像样本集中的任一非缺陷图像样本上随机生成缺陷区域，将所述目标缺陷特征映射图填充至所述缺陷区域，包括：
21、从所述原始缺陷图像样本集得到所述第一目标缺陷类型对应的第一组候选网格位置和所述第二目标缺陷类型对应的第二组候选网格位置；
22、分别从所述第一组候选网格位置和第二组候选网格位置中随机选择第一目标网格位置和第二目标网格位置，基于所述第一目标网格位置和第二目标网格位置指示的网格区域生成所述缺陷位置矩阵；
23、基于所述缺陷位置矩阵在所述任一非缺陷图像样本上同时生成第一缺陷区域和第二缺陷区域，将所述第一目标缺陷特征映射图和第二目标缺陷特征映射图分别填充至所述第一缺陷区域和第二缺陷区域。
24、在优选的实施方式中，所述将所述目标缺陷特征映射图填充至所述缺陷区域，包括：将所述目标缺陷特征映射图以特征覆盖或者加权融合的方式填充至所述缺陷区域。
25、在优选的实施方式中，所述方法还包括：根据所述目标缺陷类型和缺陷区域为所述新缺陷图像样本自动生成缺陷标注数据。
26本文档来自技高网...
【技术保护点】
1.一种基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，包括：
2.根据权利要求1所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述根据原始缺陷图像样本集的缺陷标注数据获取每个缺陷类型分别对应的一组缺陷特征映射图，包括：
3.根据权利要求1或2所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述基于随机生成的缺陷位置矩阵在非缺陷图像样本集中的任一非缺陷图像样本上随机生成缺陷区域，包括：
4.根据权利要求3所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述从所述原始缺陷图像样本集中每个缺陷类型对应的一组缺陷图像样本中得到所述目标缺陷类型对应的一组候选网格位置，包括：
5.根据权利要求4所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述根据输入预训练的稳定扩散模型的目标缺陷类型，从所述每个缺陷类型分别对应的一组缺陷特征映射图获得所述目标缺陷类型对应的一组缺陷特征映射图，并从所述目标缺陷类型对应的一组缺陷特征映射图中随机选择目标缺陷特征映射图，包括：
6.根据权利要求5所述的基
7.根据权利要求6所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述基于随机生成的缺陷位置矩阵在非缺陷图像样本集中的任一非缺陷图像样本上随机生成缺陷区域，将所述目标缺陷特征映射图填充至所述缺陷区域，包括：
8.根据权利要求7所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述将所述目标缺陷特征映射图填充至所述缺陷区域，包括：将所述目标缺陷特征映射图以特征覆盖或者加权融合的方式填充至所述缺陷区域。
9.根据权利要求8所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述方法还包括：根据所述目标缺陷类型和缺陷区域为所述新缺陷图像样本自动生成缺陷标注数据。
10.一种基于稳定扩散模型的缺陷图像样本生成装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，包括：
2.根据权利要求1所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述根据原始缺陷图像样本集的缺陷标注数据获取每个缺陷类型分别对应的一组缺陷特征映射图，包括：
3.根据权利要求1或2所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述基于随机生成的缺陷位置矩阵在非缺陷图像样本集中的任一非缺陷图像样本上随机生成缺陷区域，包括：
4.根据权利要求3所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述从所述原始缺陷图像样本集中每个缺陷类型对应的一组缺陷图像样本中得到所述目标缺陷类型对应的一组候选网格位置，包括：
5.根据权利要求4所述的基于稳定扩散模型的缺陷图像样本生成方法，其特征在于，所述根据输入预训练的稳定扩散模型的目标缺陷类型，从所述每个缺陷类型分别对应的一组缺陷特征映射图获得所述目标缺陷类型对应的一组缺陷特征映射图，并从所述目...
【专利技术属性】
技术研发人员：韩旭，颜聪，陈彦龙，
申请(专利权)人：东声苏州智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。