【技术实现步骤摘要】
一种基于多模态融合深度学习的布匹缺陷检测方法
本专利技术涉及一种基于多模态融合深度学习的布匹缺陷检测方法，属于布匹缺陷检测
技术介绍
布匹的缺陷检测是布匹生产过程中一个不可或缺的环节，直接决定了生产出的布匹的价值。布匹的缺陷指的是在布匹生产的过程中，由于一些因素，导致纺织机器在纺织过程中出现差错，进而使得布匹在局部出现缺线、冒线等结构性缺陷，或者是染色过程中出现染色不均等缺陷。这样的布匹缺陷会导致最终布匹制作的衣物的美观和舒适程度下降。目前国内的大多数企业仍采用人眼识别的方法来检测布匹缺陷，然而该方法需要检测人员经过大量的培训和实际操作经验，且在检测过程中存在着效率低下、检测标准不一致等问题。这会降低布匹生产的效率，并会使得其生产出的布匹质量参差不齐。为了克服人工检测的不足，目前已有使用深度学习来识别布匹缺陷的方法，例如南京邮电大学公开的一种基于深度学习的布匹缺陷检测方法(申请号：201910339022.3)。该方法利用ResNet网络以及FastR-CNN网络，基于高清的布匹检测图像库进行训练。...
【技术保护点】
1.一种基于多模态融合深度学习的布匹缺陷检测方法，其特征在于，包括以下步骤：/n步骤1：建立不同类型缺陷的布匹检测数据集/n将触觉感知传感器与不同缺陷情况的布匹表面接触，采集各种缺陷情况的布匹纹理图像，布匹的缺陷情况分为正常、结构缺陷和颜色缺陷，所述结构缺陷包括刮丝、稀丝、棉结、破洞、粗纱、褶痕和跑针，所述颜色缺陷包括脏污、色花、色纱、染花、黑点、漏印和暗纹；利用摄像机在触觉感知传感器采集布匹纹理的同一位置同一角度采集布匹外部图像，该布匹外部图像与相应的一张布匹纹理图像作为一组布匹检测数据，以布匹的缺陷情况作为每张图像的标签，即每组缺陷布匹检测数据中，包含一张布匹纹理图像、...
【技术特征摘要】
1.一种基于多模态融合深度学习的布匹缺陷检测方法，其特征在于，包括以下步骤：
步骤1：建立不同类型缺陷的布匹检测数据集
将触觉感知传感器与不同缺陷情况的布匹表面接触，采集各种缺陷情况的布匹纹理图像，布匹的缺陷情况分为正常、结构缺陷和颜色缺陷，所述结构缺陷包括刮丝、稀丝、棉结、破洞、粗纱、褶痕和跑针，所述颜色缺陷包括脏污、色花、色纱、染花、黑点、漏印和暗纹；利用摄像机在触觉感知传感器采集布匹纹理的同一位置同一角度采集布匹外部图像，该布匹外部图像与相应的一张布匹纹理图像作为一组布匹检测数据，以布匹的缺陷情况作为每张图像的标签，即每组缺陷布匹检测数据中，包含一张布匹纹理图像、一张布匹外部图像和一个缺陷情况标签；将采集到的所有组布匹检测数据构成布匹检测数据集；
步骤2：建立基于多模态融合深度学习的分类模型
将特征提取网络和多模态融合网络连接构建基于多模态融合深度学习的分类模型；所述特征提取网络使用两个并列的ResNet-50网络，分别以采集的各组布匹检测数据中的布匹纹理图像和布匹外部图像作为输入，用于提取布匹纹理图像和外部图像的特征，得到两个长度为N的向量，将其连接得到一个长度为2N的向量作为提取的特征向量输出；所述多模态融合网络采用2～4层全连接网络，用于布匹缺陷的检测，前一层全连接网络的输出作为后一层全连接网络的输入，第一层全连接网络的输入为所述特征提取网络得到的长度为2N的特征向量，最后一层全连接网络的输出为表征布匹缺陷情况的特征向量，该特征向量的长度等于输入的一组布匹检测数据中含有的缺陷情况标签种类数，该特征向量的各元素分别表示布匹为各类缺陷情况的概率；
步骤3：训练布匹缺陷检测模型
对步骤1中得到的布匹检测数据集进行训练集与测试集的划分；将训练集中属于同一组布匹检测数据的布匹纹理图像和布匹外部图像分别输入步骤2...
【专利技术属性】
技术研发人员：方斌，孙富春，龙行明，张一帆，刘华平，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。