本申请涉及缺陷图像样本生成技术领域，特别地涉及一种基于神经网络的虚拟食品盒缺陷生成方法及系统。该方法包括：通过预先训练得到的生成对抗网络，获取图像数据；筛选图像数据，获取第一样本、第二样本；获取原始贴图；其中，原始贴图，由图像分割网络模型接收生成对抗网络输出的模拟缺陷图像，并提取特征获得；基于原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。通过生成对抗网络生成图像数据，然后筛选出第一样本、第二样本分别来训练图像分割网络、生成对抗网络，图像分割网络模型可以输出大量的模拟缺陷图像，实现生成大量食品盒缺陷数据集，克服了缺陷模型样本需求不足的问题。题。题。
【技术实现步骤摘要】
基于神经网络的虚拟食品盒缺陷生成方法及系统
[0001]本申请涉及缺陷图像样本生成
，特别地涉及一种基于神经网络的虚拟食品盒缺陷生成方法及系统。
技术介绍
[0002]缺陷图像常用于工业仿真中进行模拟。工业仿真就是对实体工业的一种虚拟，将实体工业中的各个模块转化成数据整合到一个虚拟的体系中去，在这个体系中模拟实现工业作业中的每一项工作和流程，并与之实现各种交互。
[0003]近些年来，随着工业物联网的快速发展，对工业仿真技术中模型的逼真度要求越来越高。但是利用传统方法获取的高精度带有缺陷的模型样本仍然存在诸多问题。例如：目前，手工建模工作量巨大，且绘制出的缺陷类型单一，无法满足模型样本中缺陷的多样性和随机性，同时手工建模效率低下，尤其针对无规则缺陷的绘制耗时耗力，往往效果并不佳，无法满足缺陷模型样本大量需求的情况。
技术实现思路
[0004]为了解决或至少部分地解决上述技术问题，本申请提供了一种基于神经网络的虚拟食品盒缺陷生成方法，其中，该方法包括以下步骤：通过预先训练得到的生成对抗网络，获取图像数据；筛选所述图像数据，获取第一样本、第二样本；其中，所述第一样本用于训练图像分割网络，以获取图像分割网络模型；第二样本用于迭代训练所述生成对抗网络；获取原始贴图；其中，所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得；基于所述原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。
[0005]通过生成对抗网络生成图像数据，然后筛选出第一样本、第二样本分别来训练图像分割网络、生成对抗网络，图像分割网络模型可以输出大量的模拟缺陷图像，实现生成大量食品盒缺陷数据集，克服了缺陷模型样本需求不足的问题；而原始贴图将转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，避免因图像背景差异较大造成模型仿真度下降，影响使用。
[0006]可选的，所述生成对抗网络的预先训练过程包括：将所述食品盒的真实缺陷图像和缺陷类型标签编码后输入到鉴别器中进行训练，并通过损失函数更新所述鉴别器；将随机噪声z与随机缺陷类型标签输入生成器，由所述生成器生成随机的模拟缺陷图像，同时所述生成器指定与输入数据相同的模拟缺陷类型标签，将所述模拟缺陷图像
与所述模拟缺陷类型标签输入到所述鉴别器中进行训练，并通过所述损失函数更新所述鉴别器。
[0007]通过真实缺陷样本训练的生成对抗网络可以根据指定缺陷类型和输入随机噪声得到大量可用的不同类型的模拟缺陷图像，提高了可用缺陷样本的获取效率，同时生成的缺陷纹理与真实缺陷相似度高，同时又具备随机性，符合现实中缺陷样本的生成规律。
[0008]可选的，所述生成对抗网络的预先训练过程还包括：训练所述生成器：将所述随机噪声z与所述随机缺陷类型标签输入所述生成器后，由所述生成器生成随机图像并指定与输入数据相同的缺陷类型标签，将实时随机图像与所述缺陷类型标签输入到所述生成器中进行训练，最后通过损失反向传播更新所述生成器权重。
[0009]可选的，所述第一样本包括所筛选出符合预设要求的模拟缺陷图像数据集、真实缺陷图像；所述第二样本包括不符合预设要求的模拟缺陷图像。
[0010]可选的，所述筛选所述图像数据包括以下步骤：基于真实缺陷图像、模拟缺陷图像，获取RGB彩色特征图；将RGB彩色特征图转化为灰度图；根据灰度图相邻像素的差异值，获取哈希序列；基于哈希序列，获取食品盒模拟缺陷图像与真实缺陷图像的相似度数值；当所述相似度数值小于预设的相似度阈值，则符合预设要求；否则，不符合预设要求。
[0011]可选的，所述获取哈希序列具体包括：首先按照像素位置先后顺序依次遍历灰度图像素，判断每行后面像素大于与前面一行像素的大小；当每行后面像素大于与前面一行像素时，输出数字1；反之，输出数字0，形成哈希序列。
[0012]基于卷积特征图的哈希序列快速准确的识别生成图像的质量，保证分割网络的训练有效，提高模拟缺陷区域的分割精度，避免因图像背景差异较大造成模型仿真度下降，影响使用。
[0013]可选的，所述获取RGB彩色特征图包括：将真实缺陷图像与模拟缺陷图像投喂给已有的卷积神经网络中，通过卷积神经网络处理生成RGB彩色特征图。
[0014]可选的，所述获取原始贴图包括：首先所述生成对抗网络模型输出模拟缺陷图像，所述图像分割网络模型接收模拟缺陷图像，并生成模拟缺陷图像的彩色掩码，然后所述图像分割网络模型将彩色掩码进行二值化，并利用彩色掩码与原图像的叠加，提取缺陷掩码区域的实例图片，最后图像分割网络模型将分割后缺陷示例图片保存作为原始贴图。
[0015]利用法线贴图转换技术使得三维虚拟食品盒的缺陷模型更加逼真，精度更高，满足渲染需求。
[0016]本申请还提供一种基于神经网络的虚拟食品盒缺陷生成系统，包括：
第一获取模块，用于通过预先训练得到的生成对抗网络，获取图像数据；筛选模块，用于筛选所述图像数据，获取第一样本、第二样本；其中，所述第一样本用于训练图像分割网络，以获取图像分割网络模型；第二样本用于迭代训练所述生成对抗网络；第二获取模块，用于获取原始贴图；其中，所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得；贴图模块，用于基于所述原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。
[0017]本申请还提供一种电子设备，包括存储器和处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现任一项所述的基于神经网络的虚拟食品盒缺陷生成方法。
[0018]有益效果：1、本申请提供的基于神经网络的虚拟食品盒缺陷生成方法，生成对抗网络生成图像数据，然后筛选出第一样本、第二样本分别来训练图像分割网络、生成对抗网络，图像分割网络输出大量的模拟缺陷图像，实现生成大量食品盒缺陷数据集，克服了缺陷模型样本需求不足的问题；而原始贴图将转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，避免因图像背景差异较大造成模型仿真度下降，影响使用。
[0019]2、本申请提供的一种基于神经网络的虚拟食品盒缺陷生成方法，可以高效的生成多样性、无规则的缺陷模拟图像，同时利用法线贴图转换技术使得三维虚拟食品盒的缺陷模型更加逼真，精度更高，满足渲染需求。同时利用基于卷积特征图的哈希序列快速准确的识别生成图像的质量，保证分割网络的训练有效，提高模拟缺陷区域的分割精度，避免因图像背景差异较大造成模型仿真度下降，影响使用。
[0020]3、通过真实缺陷样本训练的生成对抗网络可以根据指定缺陷类型和输入随机噪声得到大量可用的不同类型的模拟缺陷图像，提高了可用缺陷样本的获取效率，同时生成的缺陷纹理与真实缺陷相似度高，同时又具备随机性，符合现实中缺陷样本的生成规律。
[0021]4、通过卷积神经网络与哈希序列的结合，实现生成的模拟缺陷样本与正式缺陷样本的相似度检测，尤其该方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，该方法包括以下步骤：通过预先训练得到的生成对抗网络，获取图像数据；筛选所述图像数据，获取第一样本、第二样本；其中，所述第一样本用于训练图像分割网络，以获取图像分割网络模型；所述第二样本用于迭代训练所述生成对抗网络；获取原始贴图；其中，所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得；基于所述原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。2.根据权利要求1所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述生成对抗网络的预先训练过程包括：将所述食品盒的真实缺陷图像和缺陷类型标签编码后输入到鉴别器中进行训练，并通过损失函数更新所述鉴别器；将随机噪声z与随机缺陷类型标签输入生成器，由所述生成器生成随机的模拟缺陷图像，同时所述生成器指定与输入数据相同的模拟缺陷类型标签，将所述模拟缺陷图像与所述模拟缺陷类型标签输入到所述鉴别器中进行训练，并通过所述损失函数更新所述鉴别器。3.根据权利要求2所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述生成对抗网络的预先训练过程还包括：训练所述生成器：将所述随机噪声z与所述随机缺陷类型标签输入所述生成器后，由所述生成器生成随机图像并指定与输入数据相同的缺陷类型标签，将实时随机图像与所述缺陷类型标签输入到所述生成器中进行训练，最后通过损失反向传播更新所述生成器权重。4.根据权利要求1所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述第一样本包括所筛选出符合预设要求的模拟缺陷图像数据集、真实缺陷图像；所述第二样本包括不符合预设要求的模拟缺陷图像。5.根据权利要求3或4任一项所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述筛选所述图像数据包括以下步骤：基于真实缺陷图像、模拟缺陷图像，获取RGB彩色特征图；将RGB彩色特征图转化为灰度图；根据灰度图相邻像素的差异值，获取哈希序...
【专利技术属性】
技术研发人员：李晋芳，何明桐，苏健聪，郑泽胜，李博，
申请(专利权)人：广州易道智慧信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。