一种口罩缺陷的识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术适用机器视觉图像检测与深度学习技术领域，提供了一种口罩缺陷的识别方法、装置、设备及存储介质，该方法包括：通过多特征融合卷积神经网络模型中的第一子模型对待进行口罩缺陷识别的口罩图像进行空间变换处理，得到第一口罩图像，通过多特征融合卷积神经网络模型中的第二子模型对该口罩图像进行降维处理，得到第二口罩图像，将第一子图像和第二子图像进行图像融合，得到第三口罩图像，采用Softmax函数对该第三口罩图像的图像特征进行分类预测，得到与口罩缺陷类型对应的各分类概率，根据该分类概率对口罩图像的口罩缺陷进行识别，从而通过多特征融合卷积神经网络模型提高口罩缺陷特征的区分度，以及提高了对不同口罩缺陷类型识别的精确度。

【技术实现步骤摘要】
一种口罩缺陷的识别方法、装置、设备及存储介质
本专利技术属于机器视觉图像检测与深度学习
，尤其涉及一种口罩缺陷的识别方法、装置、设备及存储介质。
技术介绍
随着经济水平的不断提高，工业生产的加快和城市汽车用量的增多，其排放的废气和尾气对环境造成严重污染，使得空气质量严重下降，雾霾也越来越严重，由此导致的呼吸道疾病病例增多、细菌病菌等感染几率变大，口罩的使用从之前的医用、工业应用等发展成为大众生活用品。目前，绝大多数口罩都是采用无纺布来生产的，无纺布口罩在生产过程中会产生耳带焊接不良、鼻条未安装、耳带鼻条长短不一、口罩重叠焊接在一起、口罩本体上染上了生产设备的黑点和油污等各种缺陷，这些缺陷可能导致口罩不能良好的固定在使用者脸上，有些甚至会影响到使用者的身体健康。目前无纺布口罩表面的缺陷检测主要是人工目检和机器检测。人工目检由于需要检测人员长时间用眼，容易造成眼睛疲劳，检测费时费力，人工目检还容易受到检测人员主观因素的影响，导致经常出现误检、漏检等情况。随着机器视觉技术的不断进步，基于机器视觉的相关检测算法受到广泛的关注，机器检测主要通过图像处理的方法实现口罩缺陷的检测和识别，而传统的机器检测方法需要人为设定图像特征提取和识别的参数，需要操作者具有一定的专业知识背景，根据不同的口罩缺陷类型制定不同的检测方案，不具有灵活性。
技术实现思路
本专利技术的目的在于提供一种口罩缺陷的识别方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的口罩缺陷的识别方法，导致口罩缺陷识别不准确的问题。一方面，本专利技术提供了一种口罩缺陷的识别方法，所述方法包括下述步骤：当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将所述口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，所述多特征融合卷积神经网络模型包括第一子模型、第二子模型；通过所述第一子模型对所述口罩图像进行空间变换处理，得到对应的第一口罩图像；通过所述第二子模型对所述口罩图像进行降维处理，得到对应的第二口罩图像；将所述第一子图像和所述第二子图像进行图像融合，得到对应的第三口罩图像；采用Softmax函数对所述第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据所述分类概率对所述口罩图像的口罩缺陷进行识别。另一方面，本专利技术提供了一种口罩缺陷的识别装置，所述装置包括：口罩图像获取单元，用于当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将所述口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，所述多特征融合卷积神经网络模型包括第一子模型、第二子模型；空间变换处理单元，用于通过所述第一子模型对所述口罩图像进行空间变换处理，得到对应的第一口罩图像；图像降维处理单元，用于通过所述第二子模型对所述口罩图像进行降维处理，得到对应的第二口罩图像；图像融合单元，用于将所述第一子图像和所述第二子图像进行图像融合，得到对应的第三口罩图像；以及口罩缺陷识别单元，用于采用Softmax函数对所述第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据所述分类概率对所述口罩图像的口罩缺陷进行识别。另一方面，本专利技术还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述口罩缺陷的识别方法所述的步骤。另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述口罩缺陷的识别方法所述的步骤。本专利技术根据接收到的口罩缺陷的识别请求获取待识别的口罩图像，并将口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，多特征融合卷积神经网络模型包括第一子模型、第二子模型，通过第一子模型对口罩图像进行空间变换处理，得到对应的第一口罩图像，通过第二子模型对口罩图像进行降维处理，得到对应的第二口罩图像，将第一子图像和第二子图像进行图像融合，得到对应的第三口罩图像，采用Softmax函数对该第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据该分类概率对口罩图像的口罩缺陷进行识别，从而通过多特征融合卷积神经网络模型提高口罩缺陷特征的区分度，以及提高了对不同口罩缺陷类型识别的精确度。附图说明图1是本专利技术实施例一提供的口罩缺陷的识别方法的实现流程图；图2是本专利技术实施例一提供的MFCNN模型对口罩图像的口罩缺陷识别过程的示意图；图3是本专利技术实施例二提供的口罩缺陷的识别装置的结构示意图；图4是本专利技术实施例三提供的口罩缺陷的识别装置的结构示意图；以及图5是本专利技术实施例四提供的计算设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述：实施例一：图1示出了本专利技术实施例一提供的口罩缺陷的识别方法的实现流程，为了便于说明，仅示出了与本专利技术实施例相关的部分，详述如下：在步骤S101中，当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，多特征融合卷积神经网络模型包括第一子模型、第二子模型。本专利技术实施例适用于图像数据处理平台、系统及设备，例如，个人计算机、服务器。在获取待识别的口罩图像之后，将口罩图像输入到预先训练好的多特征融合卷积神经网络(Multiple-featureFusionConvolutionalNeuralNetwork，MFCNN)模型中之前，优选地，对获取到的口罩图像进行预处理，将预处理后的该口罩图像输入到多特征融合卷积神经网络模型中，从而提高口罩图像中口罩缺陷特征的识别度。在对获取到的口罩图像进行预处理时，优选地，通过感兴趣区域(RegionOfInterest，ROI)提取方法将口罩图像中口罩边缘部分从口罩图像中裁剪掉，并将将裁剪后得到口罩图像缩放至256×256大小，从而进一步提高口罩图像中口罩缺陷特征的识别度。在获取待识别的口罩图像之前，优选地，根据预先构建的口罩缺陷图像数据集，通过最小化预设的目标损失函数对多特征融合卷积神经网络模型进行权重参数训练，即当目标损失函数的值最小时，得到最优化的权重参数，形成最优化的MFCNN模型，从而提高MFCNN对口罩图像的口罩缺陷的识别准确度，其中，目标损失函数H(p,q)为x为口罩缺陷图像数据集中的口罩缺陷图像，n为口罩缺陷类型的数量，p(x)表示x期望输出的概率，q(x)表示x实际输出的概率，口罩缺陷图像数据集(DefectiveMaskDataset，DMD)包括：正常口罩图像、脏污缺陷口罩图像、耳带缺陷口罩图像、以及重叠缺陷口罩图像，耳带缺陷口罩图像又包括耳带打结缺陷图像、双耳带缺陷图像、耳带脱落缺陷图像、以及耳带缺失缺陷图像。在通过最小化预设的目标损失函数对多特征融合卷积神经网络模型进行权重参数训练之前，优选地，对口罩缺陷图像数据集进行预处理，通过预处理后的口罩缺陷图像数据集对MFCNN模型进行权值参数训练，从而提高口罩缺陷图像数据集中口罩图像的口罩缺陷特征本文档来自技高网...

【技术保护点】
1.一种口罩缺陷的识别方法，其特征在于，所述方法包括下述步骤：当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将所述口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，所述多特征融合卷积神经网络模型包括第一子模型、第二子模型；通过所述第一子模型对所述口罩图像进行空间变换处理，得到对应的第一口罩图像；通过所述第二子模型对所述口罩图像进行降维处理，得到对应的第二口罩图像；将所述第一子图像和所述第二子图像进行图像融合，得到对应的第三口罩图像；采用Softmax函数对所述第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据所述分类概率对所述口罩图像的口罩缺陷进行识别。

【技术特征摘要】
1.一种口罩缺陷的识别方法，其特征在于，所述方法包括下述步骤：当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将所述口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，所述多特征融合卷积神经网络模型包括第一子模型、第二子模型；通过所述第一子模型对所述口罩图像进行空间变换处理，得到对应的第一口罩图像；通过所述第二子模型对所述口罩图像进行降维处理，得到对应的第二口罩图像；将所述第一子图像和所述第二子图像进行图像融合，得到对应的第三口罩图像；采用Softmax函数对所述第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据所述分类概率对所述口罩图像的口罩缺陷进行识别。2.如权利要求1所述的方法，其特征在于，所述第一子模型包括14层巻积层，其中，所述第一子模型中的第13层巻积层和第14层巻积层之间连接一个空间变换网络，所述第一子模型中的第10层巻积层和第11层巻积层之间连接一个特征融合操作，所述特征融合操作的输入数据为所述第10层巻积层的输出数据和输入到所述第一子模型的原始数据。3.如权利要求2所述的方法，其特征在于，所述第一子模型中的第1层至第10层巻积层每层由卷积操作、自适配归一化、以及高斯误差线性单元激活函数组成，第11层至第13层巻积层每层由卷积操作和修正线性单元激活函数组成，第14层巻积层由卷积操作和Tanh激活函数组成。4.如权利要求1所述的方法，其特征在于，所述第二子模型包括5层巻积层，每层巻积层由卷积操作、自适配归一化、以及修正线性单元激活函数组成，且在第一层巻积层之前连接一个主成分分析处理层。5.如权利要求1所述的方法，其特征在于，在获取待识别的口罩图像的步骤之前，所述方法包括：根据预先构建的口罩缺陷图像数据集，通过最小化预设的目标损失函数对所述多特征融合卷积神经网络模型进行权重参数训练，其中，所述目标损失函数H(p,q)为x为所述口罩缺陷图像数据集中的口罩缺陷图像，n为所述口罩缺陷类型的数量，p(x)表示所述x期望输出的概率，q(x)表示所述x实际输...

【专利技术属性】
技术研发人员：张勇，汤奇，赵东宁，曾庆好，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44