一种实时智能验布方法及系统技术方案

本发明专利技术公开一种实时智能验布方法及系统，具体包括：采用线扫相机对快速运动的布匹进行实时图像采集，得到若干实时布匹图像；对各所述实时布匹图像进行图像预处理得到预处理布匹图像；根据预先生成的二分类模型中对各所述预处理布匹图像进行预测，得到各所述预处理布匹图像的布匹缺陷概率，并在所述布匹缺陷概率不小于所述概率阈值时，根据预先生成的目标检测模型对所述布匹缺陷概率对应的所述预处理布匹图像进行预测，得到各所述预处理布匹图像的布匹缺陷区域以及所述布匹缺陷区域对应的布匹缺陷类型。本发明专利技术能够满足检测的实时性要求；先分类再检测的方式，充分利用了缺陷出现的频率肯定远小于正常样本的频率，有效提升模型检测准确率。

A method and system of real-time intelligent cloth inspection

【技术实现步骤摘要】
一种实时智能验布方法及系统
本专利技术涉及图像处理
，具体涉及一种实时智能验布方法及系统。
技术介绍
在衣服生产制造领域，质检人员使用验布机来识别布料的各种瑕疵、缺陷，如脏污、漏洞、抽丝、杂线、褶皱等，对不同的缺陷进行记分，最终判定该批次布料是否合格。这种通过人工观察的方式，检测速度慢、效率低，且人眼无法长时间在布匹运动的过程中进行检验。一个可行的方法是在现有的验布机上，加装光源、光学成像装置用于图像采集，使用编码器、PLC等硬件来进行自动化控制，在采集图像后使用机器或者深度学习方法来对图片进行预测分类。通常验布机的行进速度可能达到1m/s，且布匹宽度接近2m，现有的基于深度学习的方法都存在大量的延时。这主要是因为，现有的解决方法要么是把整个缺陷检测任务做成一个分类任务，这样的话，无法精确的描述缺陷的具体位置，如工业场景可能要求2-3mm以上的缺陷都需要检出；要么就是作为一个目标检测和图像分割任务，由于有些缺陷非常小，采用二阶段的深度网络达不到实时性的要求。后一种方法，没有充分考虑实际项目中，瑕疵占布匹的比例非常低的问题。
技术实现思路
本专利技术的目的在于提供一种实时智能验布方法及系统。为达此目的，本专利技术采用以下技术方案：提供一种实时智能验布方法，具体包括以下步骤：步骤S1，采用线扫相机对快速运动的布匹进行实时图像采集，得到若干实时布匹图像；步骤S2，对各所述实时布匹图像进行图像预处理得到预处理布匹图像；步骤S3，根据预先生成的二分类模型中对各所述预处理布匹图像进行预测，得到各所述预处理布匹图像的布匹缺陷概率，并将所述布匹缺陷概率与预设的概率阈值进行比较：若所述布匹缺陷概率小于所述概率阈值，则退出；若所述布匹缺陷概率不小于所述概率阈值，则转向步骤S4；步骤S4，根据预先生成的目标检测模型对所述布匹缺陷概率对应的所述预处理布匹图像进行预测，得到各所述预处理布匹图像的布匹缺陷区域以及所述布匹缺陷区域对应的布匹缺陷类型。作为本专利技术的一种优选方案，所述步骤S2具体包括：步骤S21，将各所述实时布匹图像分别进行图像切割得到第一切割图像；步骤S22，将各所述第一切割图像分别进行图像切割得到第二切割图像；步骤S23，分别对各所述第二切割图像进行图像增强得到预处理布匹图像。作为本专利技术的一种优选方案，所述步骤S23中，所述图像增强采用的方法为直方图均衡化。作为本专利技术的一种优选方案，执行所述步骤S4之后，还包括对包含所述布匹缺陷区域以及对应的所述布匹缺陷类型的各所述预处理布匹图像进行后处理的过程，具体包括：根据进行所述图像切割前的各所述预处理布匹图像之间的相对位置关系，将各所述预处理布匹图像进行还原，得到还原布匹图像，并根据所述还原布匹图像获取尺寸大于所述第二切割图像尺寸的所述布匹缺陷区域。作为本专利技术的一种优选方案，还包括预先生成所述二分类模型的过程，具体包括：步骤A1，获取包含缺陷区域的若干缺陷布匹图像，分别在各所述缺陷布匹图像上对所述缺陷区域进行标注得到包含真实标注区域及对应的缺陷类型的缺陷布匹标注图像，并将各所述缺陷布匹标注图像加入一第一数据集；步骤A2，将所述第一数据集中的各所述缺陷布匹标注图像分别进行切割，得到若干图像块，并将包含所述真实标注区域及对应的所述缺陷类型的所述图像块记为正样本，以及将不包含所述真实标注区域及对应的所述缺陷类型的所述图像块记为负样本，得到包含所述正样本和所述负样本的一第二数据集；步骤A3，根据所述第二数据集训练得到所述二分类模型。作为本专利技术的一种优选方案，所述步骤A2中，还包括将所述正样本进行数据增强，使得所述正样本与所述负样本之间的数量达到一预设比例。作为本专利技术的一种优选方案，所述预设比例的取值范围为[0.5，1]。作为本专利技术的一种优选方案，还包括预先生成所述目标检测模型的方法，具体包括：步骤B1，获取包含缺陷区域的若干缺陷布匹图像，分别在各所述缺陷布匹图像上对所述缺陷区域进行标注得到包含真实标注区域及对应的缺陷类型的缺陷布匹标注图像，并将各所述缺陷布匹标注图像加入一第三数据集；步骤B2，根据所述第三数据集训练得到所述目标检测模型。一种实时智能验布系统，应用以上任意一项所述的实时智能验布方法，所述实时智能验布系统具体包括：图像获取模块，用于采用线扫相机对快速运动的布匹进行实时图像采集，得到若干实时布匹图像；图像预处理模块，连接所述图像获取模块，用于对各所述实时布匹图像进行图像预处理得到预处理布匹图像；第一预测模块，连接所述图像预处理模块，所述第一预测模块包括：预测单元，用于根据预先生成的二分类模型中对各所述预处理布匹图像进行预测，得到各所述预处理布匹图像的布匹缺陷概率；比较单元，连接所述预测单元，用于将所述布匹缺陷概率与预设的概率阈值进行比较，并在所述布匹缺陷概率不小于所述概率阈值时输出相应的比较结果；第二预测模块，连接所述第一预测模块，用于根据所述比较结果和预先生成的目标检测模型对所述布匹缺陷概率对应的所述预处理布匹图像进行预测，得到各所述预处理布匹图像的布匹缺陷区域以及所述布匹缺陷区域对应的布匹缺陷类型。作为本专利技术的一种优选方案，所述图像预处理模块具体包括：第一切割单元，用于将各所述实时布匹图像分别进行图像切割得到第一切割图像；第二切割单元，连接所述第一切割单元，用于将各所述第一切割图像分别进行图像切割得到第二切割图像；图像增强单元，连接所述第二切割单元，用于分别对各所述第二切割图像进行图像增强得到预处理布匹图像。作为本专利技术的一种优选方案，还包括一图像后处理模块，分别连接所述第二预测模块和所述图像预处理模块，用于根据进行所述图像切割前的各所述预处理布匹图像之间的相对位置关系，将各所述预处理布匹图像进行还原，得到还原布匹图像，并根据所述还原布匹图像获取尺寸大于所述第二切割图像尺寸的所述布匹缺陷区域。作为本专利技术的一种优选方案，还包括一第一模型生成模块，连接所述第一预测模块，所述第一模型生成模块具体包括：第一数据获取单元，用于获取包含缺陷区域的若干缺陷布匹图像，分别在各所述缺陷布匹图像上对所述缺陷区域进行标注得到包含真实标注区域及对应的缺陷类型的缺陷布匹标注图像，并将各所述缺陷布匹标注图像加入一第一数据集；第二数据获取单元，连接所述第一数据获取单元，用于将所述第一数据集中的各所述缺陷布匹标注图像分别进行切割，得到若干图像块，并将包含所述真实标注区域及对应的所述缺陷类型的所述图像块记为正样本，以及将不包含所述真实标注区域及对应的所述缺陷类型的所述图像块记为负样本，得到包含所述正样本和所述负样本的一第二数据集；第一模型训练单元，连接所述第二数据获取单元，用于根据所述第二数据集训练得到所述二分类模型。作为本专利技术的一种优选方案，还包括一第二模型生成模块，连接所述第二预测模块，所述第二模型生成本文档来自技高网...

【技术保护点】
1.一种实时智能验布方法，其特征在于，具体包括以下步骤：/n步骤S1，采用线扫相机对快速运动的布匹进行实时图像采集，得到若干实时布匹图像；/n步骤S2，对各所述实时布匹图像进行图像预处理得到预处理布匹图像；/n步骤S3，根据预先生成的二分类模型中对各所述预处理布匹图像进行预测，得到各所述预处理布匹图像的布匹缺陷概率，并将所述布匹缺陷概率与预设的概率阈值进行比较：/n若所述布匹缺陷概率小于所述概率阈值，则退出；/n若所述布匹缺陷概率不小于所述概率阈值，则转向步骤S4；/n步骤S4，根据预先生成的目标检测模型对所述布匹缺陷概率对应的所述预处理布匹图像进行预测，得到各所述预处理布匹图像的布匹缺陷区域以及所述布匹缺陷区域对应的布匹缺陷类型。/n

【技术特征摘要】
1.一种实时智能验布方法，其特征在于，具体包括以下步骤：
步骤S1，采用线扫相机对快速运动的布匹进行实时图像采集，得到若干实时布匹图像；
步骤S2，对各所述实时布匹图像进行图像预处理得到预处理布匹图像；
步骤S3，根据预先生成的二分类模型中对各所述预处理布匹图像进行预测，得到各所述预处理布匹图像的布匹缺陷概率，并将所述布匹缺陷概率与预设的概率阈值进行比较：
若所述布匹缺陷概率小于所述概率阈值，则退出；
若所述布匹缺陷概率不小于所述概率阈值，则转向步骤S4；
步骤S4，根据预先生成的目标检测模型对所述布匹缺陷概率对应的所述预处理布匹图像进行预测，得到各所述预处理布匹图像的布匹缺陷区域以及所述布匹缺陷区域对应的布匹缺陷类型。


2.根据权利要求1所述的实时智能验布方法，其特征在于，所述步骤S2具体包括：
步骤S21，将各所述实时布匹图像分别进行图像切割得到第一切割图像；
步骤S22，将各所述第一切割图像分别进行图像切割得到第二切割图像；
步骤S23，分别对各所述第二切割图像进行图像增强得到预处理布匹图像。


3.根据权利要求2所述的实时智能验布方法，其特征在于，所述步骤S23中，所述图像增强采用的方法为直方图均衡化。


4.根据权利要求2所述的实时智能验布方法，其特征在于，执行所述步骤S4之后，还包括对包含所述布匹缺陷区域以及对应的所述布匹缺陷类型的各所述预处理布匹图像进行后处理的过程，具体包括：
根据进行所述图像切割前的各所述预处理布匹图像之间的相对位置关系，将各所述预处理布匹图像进行还原，得到还原布匹图像，并根据所述还原布匹图像获取尺寸大于所述第二切割图像尺寸的所述布匹缺陷区域。


5.根据权利要求1所述的实时智能验布方法，其特征在于，还包括预先生成所述二分类模型的过程，具体包括：
步骤A1，获取包含缺陷区域的若干缺陷布匹图像，分别在各所述缺陷布匹图像上对所述缺陷区域进行标注得到包含真实标注区域及对应的缺陷类型的缺陷布匹标注图像，并将各所述缺陷布匹标注图像加入一第一数据集；
步骤A2，将所述第一数据集中的各所述缺陷布匹标注图像分别进行切割，得到若干图像块，并将包含所述真实标注区域及对应的所述缺陷类型的所述图像块记为正样本，以及将不包含所述真实标注区域及对应的所述缺陷类型的所述图像块记为负样本，得到包含所述正样本和所述负样本的一第二数据集；
步骤A3，根据所述第二数据集训练得到所述二分类模型。


6.根据权利要求5所述的实时智能验布方法，其特征在于，所述步骤A2中，还包括将所述正样本进行数据增强，使得所述正样本与所述负样本之间的数量达到一预设比例。


7.根据权利要求6所述的实时智能验布方法，其特征在于，所述预设比例的取值范围为[0.5，1]。


8.根据权利要求1所述的实时智能验布方法，其特征在于，还包括预先生成所述目标检测模型的方法，具体包括：
步骤B1，获取包含缺陷区域的若干缺陷布匹图像，分别在各所述缺陷布匹图像上对所述缺陷区域进行标注得到包含真实标注区域及对应的缺陷类型的缺陷布匹标注图像，并将各所述缺陷布匹标注图像加入一第三数据集；
步骤B2，根据所述第三数据集训练得到所述目标检测模型。
...

【专利技术属性】
技术研发人员：黄泽，陈锐桐，陈冰，
申请(专利权)人：创新奇智广州科技有限公司，
类型：发明
国别省市：广东;44