【技术实现步骤摘要】
本专利技术涉及纺织缺陷检测，更具体地说，它涉及一种坯布缺陷生成方法、系统、介质及计算机。
技术介绍
1、深度神经网络因具备自动提取图像特征的能力，在图像识别、目标检测等计算机视觉领域逐步取代手工制作特征的传统视的提取方法，在工业质检领域的缺陷样本难易收集，对于缺陷样本的自动生成的需求也越来越广泛。布匹缺陷检测是纺织工业领域一项重要任务，随着数字化产业升级这一国家战略的推进，自动化坯布瑕疵缺陷检测替代人工检测成了一种趋势，深度学习也成了工业视觉缺陷检测的一种重要方法，然而深度学习需要大量的缺陷样本，在没有缺陷样本的情况下，如何快速的收集或者生成缺陷样本成为坯布缺陷检测的阻碍性问题。
2、深度学习模型的有监督训练需要依赖人工标注的数据，而坯布缺陷类别在实际生产场景中的形态众多，部分缺陷出现的频次很低，缺陷数据的采集存在较大的困难，此外，对于预训练模型，面对千变万化的新布种，如果要求在每一个新布种都要先采集疵点数据再进行模型再训练，则对实际产品应用的阻碍是非常大的。因此，利用软件或模型造疵点的技术成为落地过程中的一个重要环节。
3、目前传统用于坯布缺陷目标检测的数据合成方法，主要是在已有的坯布图片上，通过一些图片融合方法，或者做一些颜色、几何变换增强实现新疵点图片的合成。这些合成方案要么容易留下比较明显的合成痕迹，要么合成的缺陷形态与数据集里已有的形态过于相似，这些情况使得所合成的缺陷图片对模型的迁移泛化性的优化提升都非常有限。
技术实现思路
1、针对现有技术存在
2、本专利技术的上述技术目的是通过以下技术方案得以实现的：一种坯布缺陷生成方法，包括：
3、s1、获取若干第一坯布照片，为每一个第一坯布照片制作第一提示词，得到若干与若干第一坯布照片一一对应的图像文本对，将若干图像文本对记作全量数据集；
4、s2、从全量数据集中随机抽取预定数量的带有缺陷的图像文本对，记作缺陷图文对；在每一个所述缺陷图文对的第一坯布照片的缺陷位置处增加掩码图片，得到对应的不包含缺陷的掩码照片；
5、s3、为每一个所述掩码照片制作第二提示词，得到若干与若干掩码照片一一对应的掩码图文对，将若干掩码图文对记作条件控制数据集；
6、s4、将若干所述全量数据集输入到预先建立的stable diffusion模型中进行训练，得到基础扩散模型；将所述条件控制数据集输入到所述基础扩散模型中，对基础扩散模型进行调整，得到对应的条件扩散模型；
7、s5、获取用于描述坯布缺陷的第三提示词以及不包含缺陷的第二坯布照片，将所述第三提示词和第二坯布照片均输入到所述条件扩散模型中，得到对应的包含缺陷的坯布图片。
8、可选的，所述为每一个第一坯布照片制作第一提示词，包括：
9、所述第一提示词包含若干类别信息标签，所述类别信息标签包括：坯布的布种类型、坯布的组织结构、坯布的关键原料信息、坯布的经纱d数、坯布的纬纱d数以及坯布的缺陷类型。
10、可选的，所述为每一个第一坯布照片制作第一提示词，还包括：
11、获取每一个类别信息标签中包含的所有子类别，为每一个子类别分别建立一个token id。
12、可选的，所述将若干所述全量数据集输入到预先建立的stable diffusion模型中进行训练，得到基础扩散模型，还包括：
13、将所有的所述第一坯布照片输入到所述stable diffusion模型中进行训练，禁用所述stable diffusion模型中的vae层的编码器和解码器，所述vae层仅用于对图像信息进行压缩和解压缩；
14、将所有的第一提示词输入到所述stable diffusion模型中进行训练，获取所述stable diffusion模型输出的mes函数；
15、利用所述mes函数对所述文本编码层以及unet层进行约束，得到对应的基础扩散模型。
16、可选的，所述将所述条件控制数据集输入到所述基础扩散模型中，对基础扩散模型进行调整，得到对应的条件扩散模型，包括：
17、启用所述基础扩散模型中的vae层的编码器和解码器；冻结所述基础扩散模型中的unet层的可训练参数；
18、将所有的所述掩码照片输入到所述基础扩散模型中，并获取所述基础扩散模型中的vae层的编码器输出的第一图片参数；
19、将所有的所述掩码照片对应的第一坯布照片输入到所述基础扩散模型中，并获取所述基础扩散模型中的vae层的编码器输出的第二图片参数；
20、将所述第一图片参数输入到预设的controlnet层中进行处理，得到第三图片参数；
21、将所述第二图片参数输入到基础扩散模型的unet层中进行处理，得到第四图片参数；
22、计算所述第三图片参数的噪声与第四图片参数的噪声之间的均方误差，将所述均方误差作为损失函数；
23、使用所述损失函数对所述controlnet层进行约束，得到条件扩散模型。
24、可选的，所述全量数据集中包含的图像文本对的数量大于100万个；
25、所述从全量数据集中随机抽取预定数量的带有缺陷的图像文本对，所述预定数量大于10万个。
26、可选的，所述利用所述mes函数对所述文本编码层以及unet层进行约束，得到对应的基础扩散模型，包括：
27、所述stable diffusion模型的学习率介于10-6至10-5，所述stable diffusion模型的训练轮数大于50轮。
28、一种坯布缺陷生成方系统，包括：
29、图像文本对生成模块：用于获取若干第一坯布照片，为每一个第一坯布照片制作第一提示词，得到若干与若干第一坯布照片一一对应的图像文本对，将若干图像文本对记作全量数据集；
30、掩码照片生成模块：用于从全量数据集中随机抽取预定数量的带有缺陷的图像文本对，记作缺陷图文对；在每一个所述缺陷图文对的第一坯布照片的缺陷位置处增加掩码图片，得到对应的不包含缺陷的掩码照片；
31、掩码图文对生成模块：用于为每一个所述掩码照片制作第二提示词，得到若干与若干掩码照片一一对应的掩码图文对，将若干掩码图文对记作条件控制数据集；
32、条件扩散模型生成模块：用于将若干所述全量数据集输入到预先建立的stablediffusion模型中进行训练，得到基础扩散模型；将所述条件控制数据集输入到所述基础扩散模型中，对基础扩散模型进行调整，得到对应的条件扩散模型；
33、缺陷图片合成模块：用于获取用于描述坯布缺陷的第三提示词以及不包含缺陷的第二坯布照片，将所述第三提示词和第二坯布照片均输入到所述条件扩散模型中，得到对应的包本文档来自技高网...
【技术保护点】
1.一种坯布缺陷生成方法，其特征在于，包括：
2.根据权利要求1所述的一种坯布缺陷生成方法，其特征在于，所述为每一个第一坯布照片制作第一提示词，包括：
3.根据权利要求2所述的一种坯布缺陷生成方法，其特征在于，所述为每一个第一坯布照片制作第一提示词，还包括：
4.根据权利要求1所述的一种坯布缺陷生成方法，其特征在于，所述将若干所述全量数据集输入到预先建立的stablediffusion模型中进行训练，得到基础扩散模型，还包括：
5.根据权利要求1所述的一种坯布缺陷生成方法，其特征在于，所述将所述条件控制数据集输入到所述基础扩散模型中，对基础扩散模型进行调整，得到对应的条件扩散模型，包括：
6.根据权利要求1所述的一种坯布缺陷生成方法，其特征在于，所述全量数据集中包含的图像文本对的数量大于100万个；
7.根据权利要求4所述的一种坯布缺陷生成方法，其特征在于，所述利用所述MES函数对所述文本编码层以及Unet层进行约束，得到对应的基础扩散模型，包括：
8.一种坯布缺陷生成系统，其特征在于，包括：p>
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种坯布缺陷生成方法，其特征在于，包括：
2.根据权利要求1所述的一种坯布缺陷生成方法，其特征在于，所述为每一个第一坯布照片制作第一提示词，包括：
3.根据权利要求2所述的一种坯布缺陷生成方法，其特征在于，所述为每一个第一坯布照片制作第一提示词，还包括：
4.根据权利要求1所述的一种坯布缺陷生成方法，其特征在于，所述将若干所述全量数据集输入到预先建立的stablediffusion模型中进行训练，得到基础扩散模型，还包括：
5.根据权利要求1所述的一种坯布缺陷生成方法，其特征在于，所述将所述条件控制数据集输入到所述基础扩散模型中，对基础扩散模型进行调整，得到对应的条件扩散模型，包括：
【专利技术属性】
技术研发人员：朱锦祥，邹建法，姚鹏飞，
申请(专利权)人：上海致景信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。