基于FasterRCNN的卷烟爆珠缺陷检测方法、装置以及设备制造方法及图纸

本发明专利技术公开了一种基于Faster RCNN的卷烟爆珠缺陷检测方法、装置以及设备，本发明专利技术的构思在于通过搭建Faster RCNN架构的爆珠缺陷检测模型，在特征提取网络提取的卷烟爆珠待测图像的初始特征图上生成若干锚框，并经由对锚框进行前后景分类处理，获得得到若干待定的缺陷候选框；接着将缺陷候选框映射到初始特征图中并进行感兴趣区域池化处理，得到相应的目标特征图；最后对该目标特征图再按既定策略进行分类，得到缺陷目标框及其对应的缺陷类别置信度，由此便可以确定出输入的卷烟爆珠图像中的爆珠缺陷。本发明专利技术充分利用Faster RCNN对小目标检测精度高的优势，能够显著提升爆珠缺陷检测的效率，对应用环境的适应性更佳，从而满足对爆珠缺陷实时检测的精度及速度的严苛要求。对爆珠缺陷实时检测的精度及速度的严苛要求。对爆珠缺陷实时检测的精度及速度的严苛要求。

【技术实现步骤摘要】
基于Faster RCNN的卷烟爆珠缺陷检测方法、装置以及设备


[0001]本专利技术涉及烟草加工领域，尤其涉及一种基于Faster RCNN的卷烟爆珠缺陷检测方法、装置以及设备。

技术介绍

[0002]爆珠烟因其口味繁多，可以掩盖卷烟烟气的刺激性和提高滤棒截留香气效果等优势而逐渐显示出强劲的增长势头和良好的发展前景，在国内外烟草市场都引起了广泛的关注。由于爆珠在生产过程中容易出现气泡、凹陷、划痕等缺陷，影响卷烟品质，因此对爆珠进行缺陷检测很有必要。
[0003]目前针对未包装爆珠的缺陷检测研究相对较少，主要检测方法是基于图像处理技术，先设定若干缺陷类型的判别阈值，通过统计指定色度范围内的像素个数识别拖尾爆珠和空爆珠；通过统计指定灰度范围内的像素个数识别气泡爆珠和斑点爆珠；以及，利用圆形度阈值识别异形爆珠。
[0004]但阈值的设定影响因素较多，如噪声，光照强度等，对环境的适应性差；对于小气泡、微小拖尾等不太明显的缺陷尚缺乏有效的检测手段，而且缺陷识别过程中一般会使用到边缘检测技术对从图像中提取出的轮廓进行编码，以识别出气泡爆珠，但其可识别的缺陷类别较为单一，不足以支撑工程应用。

技术实现思路

[0005]由此，本专利技术旨在提供一种基于Faster RCNN的卷烟爆珠缺陷检测方法、装置以及设备，以及相应地提供了一种数据存储介质以及计算机程序产品，以解决传统爆珠缺陷检测方法适应性差、检测缺陷类别单一，尤其对卷烟爆珠较不明显的缺陷检测效果不理想的问题。
[0006]本专利技术采用的技术方案如下：
[0007]第一方面，本专利技术提供了一种基于Faster RCNN的卷烟爆珠缺陷检测方法，其中包括基于Faster RCNN架构预先构建爆珠缺陷检测模型，所述爆珠缺陷检测模型用于执行如下处理操作：
[0008]接收卷烟爆珠待测图像；
[0009]利用特征提取网络提取所述卷烟爆珠待测图像的初始特征图；
[0010]基于预设的区域推荐网络在所述初始特征图中生成若干锚框；
[0011]对所述锚框进行前后景分类，并根据前后景分类结果对所述锚框进行筛选，得到若干缺陷候选框；
[0012]将所述缺陷候选框映射到所述初始特征图中并进行感兴趣区域池化处理，得到相应的具有固定尺寸的目标特征图；
[0013]基于预设的各缺陷类型的图像特点，对所述目标特征图进行分类，得到缺陷目标框以及对应于所述缺陷目标框的缺陷类别置信度；
[0014]根据所述缺陷目标框及所述缺陷类别置信度，确定所述卷烟爆珠待测图像中的爆珠缺陷。
[0015]在其中至少一种可能的实现方式中，在所述爆珠缺陷检测模型的训练阶段，将基于区域推荐网络的所述锚框的分类损失、确定所述缺陷候选框的回归损失、基于所述目标特征图的分类损失、确定所述缺陷目标框的回归损失，融合为总损失并作为用于所述爆珠缺陷检测模型进行参数更新的目标函数。
[0016]在其中至少一种可能的实现方式中，在所述爆珠缺陷检测模型的训练阶段，采用Adam网络对所述爆珠缺陷检测模型中的连接权重参数进行学习及更新。
[0017]在其中至少一种可能的实现方式中，所述特征提取网络采用深度可分离卷积网络。
[0018]第二方面，本专利技术提供了一种基于Faster RCNN的卷烟爆珠缺陷检测装置，其中包括：
[0019]模型构建模块以及缺陷确定模块，所述模型构建模块用于基于Faster RCNN架构预先构建爆珠缺陷检测模型，所述爆珠缺陷检测模型具体包括：
[0020]图像输入单元，用于接收卷烟爆珠待测图像；
[0021]图像特征提取单元，用于利用特征提取网络提取所述卷烟爆珠待测图像的初始特征图；
[0022]滑窗单元，用于基于预设的区域推荐网络在所述初始特征图中生成若干锚框；
[0023]缺陷候选框确定单元，用于对所述锚框进行前后景分类，并根据前后景分类结果对所述锚框进行筛选，得到若干缺陷候选框；
[0024]目标特征图获取单元，用于将所述缺陷候选框映射到所述初始特征图中并进行感兴趣区域池化处理，得到相应的具有固定尺寸的目标特征图；
[0025]缺陷分类单元，用于基于预设的各缺陷类型的图像特点，对所述目标特征图进行分类，得到缺陷目标框以及对应于所述缺陷目标框的缺陷类别置信度；
[0026]所述缺陷确定模块用于根据所述缺陷目标框及所述缺陷类别置信度，确定所述卷烟爆珠待测图像中的爆珠缺陷。
[0027]在其中至少一种可能的实现方式中，在所述爆珠缺陷检测模型的训练阶段，采用Adam网络对所述爆珠缺陷检测模型中的连接权重参数进行学习及更新。
[0028]在其中至少一种可能的实现方式中，所述特征提取网络采用深度可分离卷积网络。
[0029]第三方面，本专利技术提供了一种基于Faster RCNN的卷烟爆珠缺陷检测设备，其中，包括：
[0030]一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。
[0031]第四方面，本专利技术提供了一种数据存储介质，该数据存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机至少执行如第一方面或者第一方面的任一可能实现方式中的所述方法。
[0032]第五方面，本专利技术还提供了一种计算机程序产品，当所述计算机程序产品被计算机执行时，用于至少执行第一方面或者第一方面的任一可能实现方式中的所述方法。
[0033]在第五方面的至少一种可能的实现方式中，该产品涉及到的相关程序可以全部或者部分存储在与处理器封装在一起的存储器上，也可以部分或者全部存储在不与处理器封装在一起的存储介质上。
[0034]本专利技术的构思在于通过搭建Faster RCNN架构的爆珠缺陷检测模型，在特征提取网络提取的卷烟爆珠待测图像的初始特征图上生成若干锚框，并经由对锚框进行前后景分类处理，获得得到若干待定的缺陷候选框；接着将缺陷候选框映射到初始特征图中并进行感兴趣区域池化处理，得到相应的目标特征图；最后对该目标特征图再按既定策略进行分类，得到缺陷目标框及其对应的缺陷类别置信度，由此便可以确定出输入的卷烟爆珠图像中的爆珠缺陷。本专利技术充分利用Faster RCNN对小目标检测精度高的优势，能够显著提升爆珠缺陷检测的效率，对应用环境的适应性更佳，从而满足对爆珠缺陷实时检测的精度及速度的严苛要求。
[0035]进一步地，选用深度可分离卷积网络作为Faster RCNN的特征提取网络，相对于常规的标准卷积可明显减少参数量与计算量，进而提高了爆珠缺陷检测模型的计算效率。
[0036]进一步地，在爆珠缺陷检测模型的训练阶段，选用Adam优化算法作为网络参数学习算法，这样，在参数更新过程中随着时间步和梯度的变化，可自动调节更新步长，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Faster RCNN的卷烟爆珠缺陷检测方法，其特征在于，包括基于Faster RCNN架构预先构建爆珠缺陷检测模型，所述爆珠缺陷检测模型用于执行如下处理操作：接收卷烟爆珠待测图像；利用特征提取网络提取所述卷烟爆珠待测图像的初始特征图；基于预设的区域推荐网络在所述初始特征图中生成若干锚框；对所述锚框进行前后景分类，并根据前后景分类结果对所述锚框进行筛选，得到若干缺陷候选框；将所述缺陷候选框映射到所述初始特征图中并进行感兴趣区域池化处理，得到相应的具有固定尺寸的目标特征图；基于预设的各缺陷类型的图像特点，对所述目标特征图进行分类，得到缺陷目标框以及对应于所述缺陷目标框的缺陷类别置信度；根据所述缺陷目标框及所述缺陷类别置信度，确定所述卷烟爆珠待测图像中的爆珠缺陷。2.根据权利要求1所述的基于Faster RCNN的卷烟爆珠缺陷检测方法，其特征在于，在所述爆珠缺陷检测模型的训练阶段，将基于区域推荐网络的所述锚框的分类损失、确定所述缺陷候选框的回归损失、基于所述目标特征图的分类损失、确定所述缺陷目标框的回归损失，融合为总损失并作为用于所述爆珠缺陷检测模型进行参数更新的目标函数。3.根据权利要求1所述的基于Faster RCNN的卷烟爆珠缺陷检测方法，其特征在于，在所述爆珠缺陷检测模型的训练阶段，采用Adam网络对所述爆珠缺陷检测模型中的连接权重参数进行学习及更新。4.根据权利要求1～3任一项所述的基于Faster RCNN的卷烟爆珠缺陷检测方法，其特征在于，所述特征提取网络采用深度可分离卷积网络。5.一种基于Faster RCNN的卷烟爆珠缺陷检测装置，其特征在于，包括：模型构建模块以及缺陷确定模块，所述模型构建模块用于基于Faster RCNN架构预先构建爆珠缺陷检测模型，所述爆珠缺陷检测模型具体包括：图像输入单元，用于接收卷烟爆珠待测图像；图像特征提取单元，用于利用特征提取网络提取所述卷烟爆珠待测图像的初始特征图；滑窗单元，用于基...

【专利技术属性】
技术研发人员：李龙飞，李梦迪，胡怀中，李春光，李全胜，丁美宙，刘欢，孙觅，文秋成，纪晓楠，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：