模型训练方法技术

本发明专利技术提供了一种模型训练方法

【技术实现步骤摘要】
模型训练方法、缺陷图像生成方法及相关装置


[0001]本专利技术涉及图像领域，具体而言，涉及一种模型训练方法
、
缺陷图像生成方法及相关装置
。

技术介绍

[0002]随着工业的迅速发展，工业产品的缺陷检测问题也越来越受到重视，当下大多采用
AI(Artificial Intelligence
，人工智能
)
进行工业质检，而在进行
AI
模型训练时需要大量的缺陷样本图片，需要大量的缺陷数据图片，特别是一些实际发生率很低但属于重大缺陷的缺陷样本，才能够保证
AI
工业质检的准确性，否则会导致模型训练效果差进而导致质检效果差
。
[0003]但小样本是当前许多行业缺陷检测方向上普遍存在的难题，这一问题在工业检测流程中尤为明显
。
目前存在以下两种方式来解决工业产品缺陷检测中的小样本问题：第一种是工程途径，工程途径方式中，第一种是通过在真实产品上人为的手动制造缺陷，来得到缺陷样本，但是这样效率低下，并且存在对产品造成不可逆的破坏导致耗损的风险，成本高昂；第二种是基于真实图像手动制造仿真缺陷，但是这种方式同样效率低下，并且不能保证与真实缺陷特征相符；第二种是通过传统
OpenCV
模板匹配的手段得到缺陷样本，但是这种方式泛用性低下，容易导致高误检率
。

技术实现思路

[0004]本专利技术的目的在于提供一种模型训练方法
、
缺陷图像生成方法及相关装置，以改善现有技术存在的问题
。
[0005]本专利技术的实施例可以这样实现：第一方面，本专利技术提供一种模型训练方法，包括：获得训练集，所述训练集包括属于指定缺陷类型的多张真实缺陷图像样本，所述真实缺陷图像样本携带有缺陷描述标签；获取指定的图像生成基底模型；基于所述图像生成基底模型，利用所述训练集进行
LoRA
训练，得到符合所述指定缺陷类型的
LoRA
模型；所述
LoRA
模型用于对所述图像生成基底模型进行局部权重调整，使得调整后的图像生成基底模型用于生成符合所述指定缺陷类型的缺陷图像
。
[0006]在可选的实施方式中，所述获得训练集的步骤包括：获取多张原始缺陷图像；对每张所述原始缺陷图像进行预处理；对每张预处理后的原始缺陷图像进行标注，得到所述训练集
。
[0007]在可选的实施方式中，所述基于所述图像生成基底模型，利用所述训练集进行
LoRA
训练，得到符合所述指定缺陷类型的
LoRA
模型的步骤，包括：
构建初始
LoRA
模型；所述初始
LoRA
模型包括第一权重矩阵和第二权重矩阵；对所述初始
LoRA
模型与所述图像生成基底模型进行参数叠加，得到初始图像生成模型；将所述训练集输入所述初始图像生成模型，在所述缺陷描述标签的控制下输出每张所述真实缺陷图像样本对应的预测缺陷图像；基于每张所述真实缺陷图像样本及其对应的预测缺陷图像，计算损失值；利用所述损失值对所述第一权重矩阵和所述第二权重矩阵进行更新，以得到所述
LoRA
模型
。
[0008]第二方面，本专利技术提供一种缺陷图像生成方法，包括：获取
LoRA
模型；所述
LoRA
模型是基于前述实施方式所述的模型训练方法得到的；获取基础图像；所述基础图像包括黑色的指定区域；加载指定的图像生成基底模型；利用所述
LORA
模型对所述图像生成基底模型进行局部权重调整，得到图像生成模型；将所述基础图像输入所述图像生成模型，得到至少一张缺陷图像，所述缺陷图像的指定区域处包括符合指定缺陷类型的物品缺陷
。
[0009]在可选的实施方式中，在所述获取基础图像的步骤之后，还包括：获取符合所述指定缺陷类型的描述标签；所述将所述基础图像输入所述图像生成模型，得到至少一张缺陷图像的步骤，包括：将所述基础图像输入所述图像生成模型，以在所述描述标签的控制下输出所述至少一张缺陷图像
。
[0010]第三方面，本专利技术提供一种模型训练装置，包括：数据收集模块，用于获得训练集，所述训练集包括属于指定缺陷类型的多张真实缺陷图像样本，所述真实缺陷图像样本携带有缺陷描述标签；训练模块，用于：获取指定的图像生成基底模型；基于所述图像生成基底模型，利用所述训练集进行
LoRA
训练，得到符合所述指定缺陷类型的
LoRA
模型；所述
LoRA
模型用于对所述图像生成基底模型进行局部权重调整，使得调整后的图像生成基底模型用于生成符合所述指定缺陷类型的缺陷图像
。
[0011]在可选的实施方式中，所述数据收集模块具体用于：获取多张原始缺陷图像；对每张所述原始缺陷图像进行预处理；对每张预处理后的原始缺陷图像进行标注，得到所述训练集
。
[0012]第四方面，本专利技术提供一种缺陷图像生成装置，包括：获取模块，用于：获取
LoRA
模型；所述
LoRA
模型是基于前述第一方面所述的模型训练方法得到的；获取基础图像；所述基础图像包括黑色的指定区域；加载指定的图像生成基底模型；
生成模块，用于：利用所述 LoRA
模型对所述图像生成基底模型进行局部权重调整，得到图像生成模型；将所述基础图像输入所述图像生成模型，得到至少一张缺陷图像，所述缺陷图像的指定区域处包括符合指定缺陷类型的物品缺陷
。
[0013]第五方面，本专利技术提供一种电子设备，包括：存储器和处理器，所述存储器存储有软件程序，当所述电子设备运行时所述处理器执行所述软件程序以实现：如前述第一方面所述的模型训练方法，和
/
或，如前述第二方面所述的缺陷图像生成方法
。
[0014]第六方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：如前述第一方面所述的模型训练方法，和
/
或，如前述第二方面所述的缺陷图像生成方法
。
[0015]与现有技术相比，本专利技术实施例提供了一种模型训练方法
、
缺陷图像生成方法及相关装置，首先获得训练集，该训练集包括属于指定缺陷类型的多张真实缺陷图像样本，真实缺陷图像样本携带有缺陷描述标签，然后获取指定的图像生成基底模型；最后基于图像生成基底模型，利用训练集进行
LoRA
训练，得到符合指定缺陷类型的
LoRA
模型；
LoRA
模型用于对图像生成基底模型进行局部权重调整，使得调整后的图像生成基底模型用于生成符合指定缺陷类型的缺陷图像
。
由于
LoRA
训练所需用到的样本量极小的特点，训练得到
LoRA
模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型训练方法，其特征在于，包括：获得训练集，所述训练集包括属于指定缺陷类型的多张真实缺陷图像样本，所述真实缺陷图像样本携带有缺陷描述标签；获取指定的图像生成基底模型；基于所述图像生成基底模型，利用所述训练集进行
LoRA
训练，得到符合所述指定缺陷类型的
LoRA
模型；所述
LoRA
模型用于对所述图像生成基底模型进行局部权重调整，使得调整后的图像生成基底模型用于生成符合所述指定缺陷类型的缺陷图像
。2.
根据权利要求1所述的方法，其特征在于，所述获得训练集的步骤包括：获取多张原始缺陷图像；对每张所述原始缺陷图像进行预处理；对每张预处理后的原始缺陷图像进行标注，得到所述训练集
。3.
根据权利要求1所述的方法，其特征在于，所述基于所述图像生成基底模型，利用所述训练集进行
LoRA
训练，得到符合所述指定缺陷类型的
LoRA
模型的步骤，包括：构建初始
LoRA
模型；所述初始
LoRA
模型包括第一权重矩阵和第二权重矩阵；对所述初始
LoRA
模型与所述图像生成基底模型进行参数叠加，得到初始图像生成模型；将所述训练集输入所述初始图像生成模型，在所述缺陷描述标签的控制下输出每张所述真实缺陷图像样本对应的预测缺陷图像；基于每张所述真实缺陷图像样本及其对应的预测缺陷图像，计算损失值；利用所述损失值对所述第一权重矩阵和所述第二权重矩阵进行更新，以得到所述
LoRA
模型
。4.
一种缺陷图像生成方法，其特征在于，包括：获取
LoRA
模型；所述
LoRA
模型是基于权利要求1‑3任一所述的模型训练方法得到的；获取基础图像；所述基础图像包括黑色的指定区域；加载指定的图像生成基底模型；利用所述
LoRA
模型对所述图像生成基底模型进行局部权重调整，得到图像生成模型；将所述基础图像输入所述图像生成模型，得到至少一张缺陷图像，所述缺陷图像的指定区域处包括符合指定缺陷类型的物品缺陷
。5.
根据权利要求4所述的方法，其特征在于，在所述获取基础图像的步骤之后，还包括：...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：成都数智创新精益科技有限公司，
类型：发明
国别省市：