【技术实现步骤摘要】
本申请涉及织物质量检测，尤其涉及一种基于深度学习的织物瑕疵分析检测系统及分析检测方法。
技术介绍
1、织物疵点检测是纺织制造业质量控制的必要和必不可少的步骤，是自动化领域的一个热点。近年来，这种对于织布机上运动的织物缺陷的自动检测方法得到了发展。
2、基于确定性模式的分类也可以通过设计基于计算机视觉的自动化系统来完成。实时织物设计获得的高复杂度数据由于变量的高阶、数据的高多样性以及图像形成的多维数据集，增加了数据的复杂性。现有的织物缺陷检测方法大多基于自相关函数(af)、局部二值模式(lbp)、傅立叶变换(ft)、小波变换(wt)、和神经网络方法。这些方法都是在图像层面检测缺陷，难以准确定位缺陷。
技术实现思路
1、本专利技术要解决的技术问题是：现有的动态织物检测方法计算过程复杂，数据庞大，缺陷定位准确性较差。
2、为此，本专利技术提供一种基于深度学习的织物瑕疵分析检测系统及分析检测方法。
3、本专利技术解决其技术问题所采用的技术方案是：
4、一种基于深度学习的织物瑕疵分析检测方法，包括以下步骤，
5、s1，采集平移中的动态织物的图像，获得多个连续的局部织物图像；
6、s2，采用cnn-ffnn融合特征提取模型对多个连续的局部织物图像分别进行瑕疵区域提取，筛选存在瑕疵的局部织物图像进行拼合，输出拼合图像，在拼图图像中，利用与局部织物图像相同尺寸的空白板替代被筛掉的局部织物图像；
7、s3，采用cnn
8、进一步地，步骤s2中，将采集到的局部织物图像依次通过多个计算模块，每个计算模块中，图像先后通过一个卷积层和一个池化层。
9、进一步地，在步骤s2中，输出拼合图像的过程为：将最后一个池化层的输出特征图展平成一个向量flat并将特征传递至全连接层理扁平化的特征向量flat，，其中，w1、w2、w3是网络中的权重矩阵，b1、b2是偏置项。
10、进一步地，所述cnn-ffnn融合特征提取模型中的多个全连接层中，第一个连接层的输出ohid为，第n全连接层的输出ohidn为，叠加多个全连接层以进一步提取拼合图像中更高级别的特征，其中，whid、whidn是网络中的权重矩阵，bhid、bhidn是偏置项，ocnn是全连接层的输出。
11、进一步地，所述cnn-ffnn融合特征提取模型中ffnn模块设置在输出层中，输出为offnn，筛选存在瑕疵的拼合图像所用的公式为：。
12、进一步地，对拼合图像进行瑕疵范围的定位，包括：利用所述cnn-identity融合模型中的全连接层的输出瑕疵范围ocnn3，具体公式为：，使用cnn模块提取的特征oe作为估计结果。
13、进一步地，在步骤s3中，线性变换将输入oe通过一个线性变换映射到更高维度的空间，再进行非线性变换，这个线性变换由权重矩阵wfnn1和偏置向量bfnn1定义：，非线性变换的结果为：，最后将经过激活函数的结果afnn1再次通过一个线性变换，得到最终的输出，这个变换由权重矩阵wfnn2和偏置向量bfnn2定义：。
14、进一步地，在所述transformer模型的自注意力机制中使用注意力权重对值矩阵v进行加权求和，得到最终的上下文表示，其中查询矩阵为，键矩阵为，值矩阵为，所述transformer模型的第一个输出层输出瑕疵位置信息：，其中表示ocontext的四个元素，即x和y方向上的位置信息，由以上四个元素组成两个对角坐标（x1，y1）和（x2，y2）定义一个瑕疵区域；所述transformer模型的第二个输出层输出每个位置上的瑕疵数量；所述transformer模型的第三个输出层输出瑕疵种类；所述transformer模型的第四个输出层输出每个种类瑕疵的数量。
15、一种基于深度学习的织物瑕疵分析检测系统，包括，
16、图像采集模块，所述图像采集模块包括光照系统和摄像头；
17、瑕疵分区模块，所述瑕疵分区模块内设置有cnn-ffnn融合特征提取模型；
18、其中，所述cnn-ffnn融合特征提取模型包括依次设置的输入层、多个计算模块、多个全连接层和输出层，每个所述计算模块均包括卷积层和池化层，所述输入层与摄像机连接；
19、瑕疵范围估计与传递模块，所述瑕疵范围估计与传递模块与输出层连接，所述瑕疵范围估计与传递模块内设置有用于对瑕疵位置范围进行识别的cnn-identity融合模型；
20、瑕疵识别标注模块，所述瑕疵识别标注模块与cnn-identity融合模型连接，所述瑕疵识别标注模块内设置有transformer模型；
21、其中，所述transformer模型包括四个输出层，分别用于输出瑕疵位置信息、每个位置的瑕疵数量、瑕疵种类以及每种瑕疵的数量。
22、进一步地，所述transformer模型由多层自注意力机制和前馈神经网络组成，所述前馈神经网络用于对自注意力机制的输出进行非线性变换。
23、本专利技术的有益效果是，本系统充分利用深度学习网络对特征的学习能力，结合织物瑕疵分析与自动检测，能够更精确地定位和识别织物表面的各种缺陷瑕疵。
24、本系统采用深度学习方法，采用cnn模块、transformer模型、ffnn模块相结合，cnn模块能够有效地提取图像中的空间特征，包括纹理、形状等特征，适用于对图像中局部和全局特征的捕捉。而transformer模型采用了自注意力机制，能够捕捉整个图像中不同位置之间的关联信息，对于全局特征的理解和表征更加灵活，而不受卷积核大小的限制。这使得模型能够更好地处理不同材料表面瑕疵的复杂性和多样性，无论是细微的纹理变化还是大范围的形状变化。ffnn作为整个深度学习模型的输出层，具有很强的灵活性，能够根据具体任务需求进行定制。它能够根据cnn和transformer提取的特征来进行更进一步的特征融合和决策，从而适应不同材料表面瑕疵检测的需求。
25、从而使得该检测系统能够适用于不同材料表面瑕疵的检测，具有更强的适应性，能够处理不同材料表面的复杂性，包括丝绸、棉布等。
26、本申请中的深度学习网络的强大学习能力和织物瑕疵分析与自动检测的综合应用，使得对于复杂缺陷的自动检测更为高效可靠。
27、本申请采用relu激活函数使得网络中的一部分神经元处于非活跃状态，从而降低了模型的复杂度和计算成本，具备实时性与高效性，适用于高速生产线上的实际应用。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的织物瑕疵分析检测方法，其特征在于，包括以下步骤，
2.根据权利要求1所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，步骤S2中，将采集到的局部织物图像(1)依次通过多个计算模块，每个计算模块中，图像先后通过一个卷积层和一个池化层。
3.根据权利要求2所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，在步骤S2中，输出拼合图像的过程为：将最后一个池化层的输出特征图展平成一个向量Flat并将特征传递至全连接层理扁平化的特征向量Flat，，其中，W1、W2、W3是网络中的权重矩阵，b1、b2是偏置项。
4.根据权利要求3所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，所述CNN-FFNN融合特征提取模型中的多个全连接层中，第一个连接层的输出Ohid为，第n全连接层的输出Ohidn为，叠加多个全连接层以进一步提取拼合图像中更高级别的特征，其中，Whid、Whidn是网络中的权重矩阵，bhid、bhidn是偏置项，Ocnn是全连接层的输出。
5.根据权利要求4所述的基于深度学习的织物瑕疵分析检测方法，其特
6.根据权利要求3所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，对拼合图像进行瑕疵范围的定位，包括：利用所述CNN-identity融合模型中的全连接层的输出瑕疵范围Ocnn3，具体公式为：，使用CNN模块提取的特征Oe作为估计结果。
7.根据权利要求1所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，在步骤S3中，线性变换将输入Oe通过一个线性变换映射到更高维度的空间，再进行非线性变换，这个线性变换由权重矩阵Wfnn1和偏置向量bfnn1定义：，非线性变换的结果为：，最后将经过激活函数的结果afnn1再次通过一个线性变换，得到最终的输出，这个变换由权重矩阵Wfnn2和偏置向量bfnn2定义：。
8.根据权利要求7所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，在所述Transformer模型的自注意力机制中使用注意力权重对值矩阵V进行加权求和，得到最终的上下文表示，其中查询矩阵为，键矩阵为，值矩阵为，所述Transformer模型的第一个输出层输出瑕疵位置信息：，其中表示OContext的四个元素，即x和y方向上的位置信息，由以上四个元素组成两个对角坐标（x1，y1）和（x2，y2）定义一个瑕疵区域；所述Transformer模型的第二个输出层输出每个位置上的瑕疵数量；所述Transformer模型的第三个输出层输出瑕疵种类；所述Transformer模型的第四个输出层输出每个种类瑕疵的数量。
9.一种基于深度学习的织物瑕疵分析检测系统，其特征在于，包括，
10.根据权利要求9所述的基于深度学习的织物瑕疵分析检测系统，其特征在于，所述Transformer模型由多层自注意力机制和前馈神经网络组成，所述前馈神经网络用于对自注意力机制的输出进行非线性变换。
...【技术特征摘要】
1.一种基于深度学习的织物瑕疵分析检测方法，其特征在于，包括以下步骤，
2.根据权利要求1所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，步骤s2中，将采集到的局部织物图像(1)依次通过多个计算模块，每个计算模块中，图像先后通过一个卷积层和一个池化层。
3.根据权利要求2所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，在步骤s2中，输出拼合图像的过程为：将最后一个池化层的输出特征图展平成一个向量flat并将特征传递至全连接层理扁平化的特征向量flat，，其中，w1、w2、w3是网络中的权重矩阵，b1、b2是偏置项。
4.根据权利要求3所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，所述cnn-ffnn融合特征提取模型中的多个全连接层中，第一个连接层的输出ohid为，第n全连接层的输出ohidn为，叠加多个全连接层以进一步提取拼合图像中更高级别的特征，其中，whid、whidn是网络中的权重矩阵，bhid、bhidn是偏置项，ocnn是全连接层的输出。
5.根据权利要求4所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，所述cnn-ffnn融合特征提取模型中ffnn模块设置在输出层中，输出为offnn，筛选存在瑕疵的拼合图像所用的公式为：。
6.根据权利要求3所述的基于深度学习的织物瑕疵分析检测方法，其特征在于，对拼合图像进行瑕疵范围的定位，包括：利用所述cnn-identity融合模型中的全连接层的输出瑕疵范围ocnn3，具体公式为：，使用...
【专利技术属性】
技术研发人员：周玉龙，黄海，王伟，张久林，赵一多，杨光，戴理洋，
申请(专利权)人：中国机械总院集团江苏分院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。