基于深度神经网络的酒瓶缺陷样本生成方法及系统技术方案

本申请涉及缺陷样本生成技术领域，特别地涉及一种基于深度神经网络的酒瓶缺陷样本生成方法及系统。该方法包括：获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，扩充后的数据集输入预搭建的对抗神经生成网络，扩充后的数据集输入预搭建的对抗神经生成网络，生成虚拟样本；并输入至所述生成网络结构，通过生成网络结构生成虚拟样本；以及将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面。本申请的缺陷生成方法通过对抗神经生成网络输出大量的酒瓶缺陷虚拟样本，并贴合于3D酒瓶模型，提高酒瓶缺陷样本的生成效率、生成稳定性以及真实度。成稳定性以及真实度。成稳定性以及真实度。

【技术实现步骤摘要】
基于深度神经网络的酒瓶缺陷样本生成方法及系统


[0001]本申请涉及缺陷样本生成
，特别地涉及一种基于深度神经网络的酒瓶缺陷样本生成方法及系统。

技术介绍

[0002]虚拟样本主要应用于生产线布局、生产过程物流仿真。随着VR虚拟现实技术和数字孪生技术的的快速发展，利用计算机进行产线仿真、预测和优化工业生产系统的虚拟技术日益成熟。而数字化工厂技术的快速发展，虚拟产线仿真技术作为验证实体工业产线稳定性和可用性的关键技术，也已日趋成熟。
[0003]酒瓶生产线是数字孪生虚拟仿真的重点行业，采用虚拟酒瓶缺陷样本来攻击和测试虚拟酒瓶生产线的稳定性的过程中有很多问题亟待解决。
[0004]目前虚拟酒瓶缺陷样本主要靠手工制作或者产线采集两种方式，即通过手工制作表面瑕疵表面模型，或者将真实拍照的瑕疵图片贴至酒瓶的三维模型上来达到仿真的效果。
[0005]而手工制作的方式中：通过手工制作表面瑕疵缺陷模型的方法主要依赖于三维模型建模师的建模经验，该方法做出来的表面缺陷与真实的酒瓶表面缺陷会有一些差距，无法达到以假乱真的地步，且制作模型的过程中耗时耗力，无法达到大规模制作酒瓶表面缺陷检测的要求。
[0006]生产线采集的方式中：通过产线拍摄瑕疵照片，再通过人工向三维模型贴合的方法虽然可以达到使缺陷样本看起来很逼真的目的，但是由于真实酒瓶生产环境中的缺陷样本较少，无法大量采集，所以也无法进行高效和大量的酒瓶缺陷样本生成，并不适用于大规模制作酒瓶表面缺陷检测。

技术实现思路

[0007]为了解决或至少部分地解决上述技术问题，本申请提供了一种基于深度神经网络的酒瓶缺陷样本生成方法，其中，该方法包括以下步骤：获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，所述样本集包括训练样本；扩充后的数据集输入预搭建的对抗神经生成网络，生成虚拟样本；其中，预搭建的所述对抗神经生成网络，通过所述训练样本进行训练得到；所述对抗神经生成网络中包括随机噪声网络结构、生成网络结构，输入数据通过所述随机噪声网络结构进行处理生成特征图，并输入至所述生成网络结构，通过生成网络结构生成虚拟样本；以及将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面。
[0008]通过采集真实酒瓶缺陷图片数据集，训练对抗神经生成网络，使用对抗神经网络
缺陷样本生成技术，用少量真实采集的酒瓶缺陷样本图片来生成大量的酒瓶缺陷样本，并贴合于3D酒瓶模型，提高酒瓶缺陷样本的生成效率、生成稳定性以及真实度。
[0009]可选的，所述真实酒瓶缺陷图片数据集包括：针对具有缺陷的酒瓶，拍照得到的图片；以及针对无任缺陷的酒瓶，拍照得到的图片。
[0010]可选的，所述预处理包括：将所述真实酒瓶缺陷图片数据集进行配准、裁切。
[0011]可选的，所述扩充操作包括：将真实酒瓶缺陷图片数据集中的各个样本进行平移操作，所述平移操作后空出的区域进行填充颜色，得到第一样本集；将真实酒瓶缺陷图片数据集中的各个样本进行旋转操作，所述旋转操作后空出的区域进行填充颜色，得到第二样本集；将真实酒瓶缺陷图片数据集中的各个样本进行镜像操作，所述镜像操作后空出的区域进行填充颜色，得到第三样本集；将真实酒瓶缺陷图片数据集中的各个样本添加高斯噪声，得到第四样本集；将所述第一样本集、所述第二样本集、所述第三样本集、所述第四样本集、未进行预处理操作的所述原始样本集进行合并。
[0012]可选的，所述对抗神经生成网络中：所述随机噪声网络结构接收输入的随机噪声图像，将所述随机噪声图像进行形变操作，得到第一特征图；所述生成网络结构获取所述第一特征图，进行卷积操作得到第二特征图，第二特征图即虚拟样本。
[0013]可选的，所述形变操作包括：在所述随机噪声图像中的第一控制点上拖拽轨迹；将拉伸后的所述随机噪声图像，利用移动最小二乘法对第一控制点周围的像素进行平移，再通过变换函数进行变换；变换函数如下：其中，该式中为当前需要移动的像素点， ，，，，，其中，T表示矩阵转置，为第i个移动前的第一控制点，为第i个移动后的第一控制点， 为第j个移动后的图像像素点，为第j个移动后的图像像素点，为移动权重，为移动权重。
[0014]可选的，所述进行卷积操作得到第二特征图的步骤中；所述生成网络结构中包括第一反卷积核、第二反卷积核、第三反卷积核、第四反卷积核；
当所述第一特征图输入至所述生成网络结构中时；所述第一反卷积核对所述第一特征图进行卷积上采样，得到第一采样特征图；所述第二反卷积核对所述第一采样特征图进行卷积上采样，得到第二采样特征图；所述第三反卷积核对所述第二采样特征图进行卷积上采样，得到第三采样特征图；所述第四反卷积核对所述第三采样特征图进行卷积上采样，得到第二特征图。
[0015]可选的，所述生成网络结构还包括判别网络结构，所述判别网络结构中包括第五反卷积核、第六反卷积核、第七反卷积核、第八反卷积核；所述第二特征图、作为标签的预先采集的真实缺陷样本输入至所述判别网络结构，通过所述判别网络结构合成得到第三特征图；所述第三特征图通过第五反卷积核卷积操作得到第一卷积特征图；所述第一卷积特征图通过第六反卷积核卷积操作得到第二卷积特征图；所述第二卷积特征图通过第七反卷积核卷积操作得到第三卷积特征图；所述第三卷积特征图通过第八反卷积核卷积操作得到回归值；其中，所述回归值用于判别生成的第二特征图与真实样本之间的相似度。
[0016]可选的，所述将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面的步骤中；采用第二控制点对预先构建的3D酒瓶表面坐标的估计，得到3D酒瓶的展开图；将所述第二特征图，根据所述展开图进行裁切，将每个独立的坐标进行参数化；将裁剪部分图像分割为小于n1*n1的图像面片，并进行标记；其中n1为≤5的正整数；将所述图像面片的角点集合，与所述3D酒瓶表面上位置对应的四个角点集合进行仿射变换计算得到映射矩阵；根据所述3D酒瓶表面的形状，将所述第二特征图进行仿射变换，并根据对应位置贴至所述3D酒瓶表面。
[0017]本申请还提供了一种基于深度神经网络的酒瓶缺陷样本生成系统，包括：获取模块，用于获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，样本集包括训练样本；生成模块，用于将扩充后的数据输入预搭建的对抗神经生成网络，生成虚拟样本；其中，预搭建的对抗神经生成网络，通过训练样本进行训练得到；对抗神经生成网络中包括随机噪声网络结构、生成网络结构，输入数据通过随机噪声网络结构进行处理生成特征图，并输入至生成网络结构，通过生成网络结构生成虚拟样本；贴合模块，用于将虚拟样本自适应贴合至预先构建的3D酒瓶模型表面。
[0018]有益效果：1. 本申请提供的基于深度神经网络的酒瓶缺陷样本生成方法，通过采集真实酒瓶缺陷图片数据集，训练对抗神经生成网络，使用对抗神经网络缺陷样本生成技术，用少量真实采集的酒瓶缺陷样本图片来生成大量的酒瓶缺陷样本，并贴合于3D酒瓶模型，提高酒
瓶缺陷样本的生成效率、生成稳定性以及真实度。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，该方法包括以下步骤：获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，所述样本集包括训练样本；扩充后的数据集输入预搭建的对抗神经生成网络，生成虚拟样本；其中，预搭建的所述对抗神经生成网络，通过所述训练样本进行训练得到；所述对抗神经生成网络中包括随机噪声网络结构、生成网络结构，输入数据通过所述随机噪声网络结构进行处理生成特征图，并输入至所述生成网络结构，通过生成网络结构生成虚拟样本；以及将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面。2.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述真实酒瓶缺陷图片数据集包括：针对具有缺陷的酒瓶，拍照得到的图片；以及针对无任缺陷的酒瓶，拍照得到的图片。3.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述预处理包括；将所述真实酒瓶缺陷图片数据集进行配准、裁切。4.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述扩充操作包括：将真实酒瓶缺陷图片数据集中的各个样本进行平移操作，所述平移操作后空出的区域进行填充颜色，得到第一样本集；将真实酒瓶缺陷图片数据集中的各个样本进行旋转操作，所述旋转操作后空出的区域进行填充颜色，得到第二样本集；将真实酒瓶缺陷图片数据集中的各个样本进行镜像操作，所述镜像操作后空出的区域进行填充颜色，得到第三样本集；将真实酒瓶缺陷图片数据集中的各个样本添加高斯噪声，得到第四样本集；将所述第一样本集、所述第二样本集、所述第三样本集、所述第四样本集、未进行预处理操作的所述样本集进行合并。5.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述对抗神经生成网络中：所述随机噪声网络结构接收输入的随机噪声图像，将所述随机噪声图像进行形变操作，得到第一特征图；所述生成网络结构获取所述第一特征图，进行卷积操作得到第二特征图，第二特征图即虚拟样本。6.根据权利要求5所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述形变操作包括：在所述随机噪声图像中的第一控制点上拖拽轨迹；将拉伸后的所述随机噪声图像，利用移动最小二乘法对第一控制点周围的像素进行平移，再通过变换函数进行变换；变换函数如下：
其中，该式中为当前需要移动的像素点，，，，，，其中，T表示矩阵转置，为第i个移动前的第一控制点，为第i个移动后的第一控制点， 为第j个移动后的图像像素点，为第j个移动后的图像像素点，为移动权重，为移动权重。7.根据权利要求6所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述进行卷积操作得到第二特征图的步...

【专利技术属性】
技术研发人员：李博，郑泽胜，
申请(专利权)人：广州易道智慧信息科技有限公司，
类型：发明
国别省市：