本发明专利技术公开了一种面向车辆安装流水线的胶塞智能检测方法，包括以下检测步骤：原始视频接入、视频解析、漏装胶塞报警；关键帧提取，首先设定视频的第一帧为起始帧，提取起始帧的CNN特征，CNN特征是基于目标上的局部特征及全局并对图像的尺度大小、图像旋转、光照变化、噪声以及轻微视角变化不敏感。该面向车辆安装流水线的胶塞智能检测方法，设计合理，在视频分析的过程中采用了前后帧相似度判别选取视频关键帧；此外，融合了车型信息、感兴趣目标区域、胶塞位置相对关系特征性信息，结合改进的单阶段目标检测进一步优化了漏装胶塞的检测识别，能够有效地检测识别各种车型的胶塞漏装场景。场景。
【技术实现步骤摘要】
一种面向车辆安装流水线的胶塞智能检测方法
[0001]本专利技术涉及汽车装配
，具体为一种面向车辆安装流水线的胶塞智能检测方法。
技术介绍
[0002]随着社会的不断发展，汽车保有量每年也随之提升，总装配是汽车生产的最后一道工序。装配过程中以紧固零部件为主，还有粘接、镶嵌、压入以及加注汽车所需的各种液体、产品质量检验工序，有时还要根据用户意向选装，在车身总装过程中，需要用塞体把车身的孔洞封住，然后进入喷漆、清洗流水线。不同车型，塞体有近20个，分布在车身的各个位置。在生产过程中，经常有孔洞漏塞的事故发生，直接导致车身内部受损。而总装过程是出厂的最后环节，如果不能发现，装配有受损车身的车辆直接进入市场，将对产品产生难以估量的损失。目前塞体孔洞的检测，靠工人把车身在产线停下，然后从多个角度人工检查，因为角度和孔洞较小原因，工作强度大，且容易被漏检。
[0003]随着机器学习和深度学习的发展，业界已经逐渐开始将深度学习算法应用在目标检测识别领域，常见的深度学习目标检测算法有单阶段SSD、多阶段的FasterR
‑
CNN，单阶段算法的优点是处理速度快，但精度不是很高；而双阶段算法的优点是精度有所提高，但处理速度较慢。此外，车辆总装配产线场景存在各种各样的车型，每种车型的胶塞检测区域也不相同，胶塞的目标较小，因此，仅直接采用深度学习算法无法很好地满足产线实际需求。
[0004]所以我们提出了一种面向车辆安装流水线的胶塞智能检测方法，于解决上述中提出的问题。
技术实现思路
[0005]本专利技术的目的在于提供一种面向车辆安装流水线的胶塞智能检测方法，以便解决上述
技术介绍
提出的目前市场上的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种面向车辆安装流水线的胶塞智能检测方法，包括以下检测步骤：
[0007](1)原始视频接入：使用现代摄像技术对车辆进行视频拍摄，采集车辆视频信息；
[0008](2)视频解析：用来解析视频，识别视频中的车型、胶塞、漏装胶塞特定目标，并结合利用拍摄角度信息，车型信息，感兴趣区域信息作为辅助，及胶塞间的相对位置关系信息，具体包括以下步骤：
[0009]①
关键帧提取：使用基于前后帧相似度判别方法从多个角度输入视频源来提取对应的视频关键帧；
[0010]②
图像特征提取：基于CNN网络提取图像特征，并融合车型信息、感兴趣目标区域、胶塞位置相对关系特征性信息；
[0011]③
目标识别：基于改进的单阶段目标检测识别算法，识别视频中的车型、胶塞、漏装胶塞特定目标；
[0012]④
漏装场景规则匹配：针对漏装胶塞目标，结合角度信息进行漏装胶塞的将其与漏装胶塞场景规则进行匹配，触发识别报警；
[0013](3)漏装胶塞报警：接收报警信号，通过报警装置进行报警。
[0014]优选的，所述步骤(2)中的关键帧提取，首先设定视频的第一帧为起始帧，提取起始帧的CNN特征，CNN特征是基于目标上的局部特征及全局并对图像的尺度大小、图像旋转、光照变化、噪声以及轻微视角变化不敏感，利用其提取视频帧的位置、尺度、旋转不变量局部性特征，并设定相应的阈值；
[0015]随后依次提取后续视频帧的CNN特征，并且与起始帧的特征点进行比较，当非相似特征点的数目大于所设阈值时，将该帧设为结束帧；
[0016]在起始帧和结束帧之间寻找与起始帧和结束帧相似关键点最多的帧作为该段视频的候选关键帧；
[0017]接着将候选关键帧依次输入至CNN网络ResNet中，检测其是否包含车辆、敏感区域、胶塞、漏装胶塞关键目标，若包含，则保留作为关键帧，将其执行下一步的操作，若不包含，则丢弃该图片。
[0018]优选的，所述步骤(2)中的图像特征提取，将用于训练模型的图像放缩至相同大小，并减去均值，除去方差，通过尺度归一化图像的方式减少模型训练阶段的计算量，上述步骤在PyTorch深度学习框架上实现。
[0019]优选的，所述步骤(2)中的融合车型信息、感兴趣目标区域、胶塞位置相对关系辅助特征性信息包括：利用车型信息获取对应的不同的感兴趣区域，即胶塞检测区域敏感位置；不同的车型中对应的胶塞的位置信息和胶塞相对位置信息不同辅助特征信息。
[0020]优选的，所述步骤(2)中基于改进的单阶段目标检测方法，一方面引入两阶段类型的目标检测算法中对预测边框的由粗到细的回归思想；另一方面引入类似FPN网络的特征融合操作用于检测网络，可以有效提高对小目标的检测效果，检测网络的框架，具体的基于改进的单阶段目标检测识别算法中包括以下几点：
[0021]a)anchorrefinementmodule(ARM)：类似FasterRCNN算法中的RPN网络，主要用来得到bbox(类似FasterRCNN中的ROI或proposal)和去除一些负样本，ARM的输入利用了多层网络特征；
[0022]b)transferconnectionblock(TCB)：特征的转换操作，将ARM部分的输出featuremap转换成ODM部分的输入，类似FPN算法的特征融合；
[0023]c)objectdetectionmodule(ODM)：融合不同网络层的特征，然后做multiclassclassification和regression，主要的不同点一方面在于这部分的输入anchors是ARM部分得到的refinedanchors，类似RPN网络输出的proposal，另一方面和FPN算法类似，这里的浅层featuremap融合了高层featuremap的信息，然后预测bbox是基于每层featuremap进行，最后将各层结果再整合到一起；
[0024]d)检测识别网络中引入Focalloss，来解决检测目标正负样本不均衡的问题。
[0025]优选的，所述单阶段目标检测网络中引入Focalloss来进行目标的检测识别步骤具体实现方法包括：改进的单阶段目标检测算法是基于SSD算法，使用两个相连的模块即anchor细化模块(theanchorrefinementmodule，ARM)和目标检测模块(theobjectdetectionmodule，ODM)，基于前馈卷积网络，该网络生成固定数目的边界框和
表示在这些框中存在的不同类别目标的分数，通过非最大抑制(NMS)来产生最后的结果，ARM旨在移除负样本anchors为分类器减少搜索空间，并粗略调整anchors的位置和大小，为随后的回归器提供更好的初始化结果，ODM旨在根据细化后的anchors将结果回归到准确的目标位置并预测多类别标签，为了在ARM和ODM之间建立链接，引入了TCB(传输连接块)将来自ARM的不同层的功能转换为ODM所需的形式，ODM可以共享来自ARM的特征，ODM由TCB的输出组成，TCB后面连接着预测层，其生成目标类别的分数和相对于细化后的anchors的坐标的形状偏移量，TCB传输anchor细本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向车辆安装流水线的胶塞智能检测方法，其特征在于，包括以下检测步骤：(1)原始视频接入：使用现代摄像技术对车辆进行视频拍摄，采集车辆视频信息；(2)视频解析：用来解析视频，识别视频中的车型、胶塞、漏装胶塞特定目标，并结合利用拍摄角度信息，车型信息，感兴趣区域信息作为辅助，及胶塞间的相对位置关系信息，具体包括以下步骤：
①
关键帧提取：使用基于前后帧相似度判别方法从多个角度输入视频源来提取对应的视频关键帧；
②
图像特征提取：基于CNN网络提取图像特征，并融合车型信息、感兴趣目标区域、胶塞位置相对关系特征性信息；
③
目标识别：基于改进的单阶段目标检测识别算法，识别视频中的车型、胶塞、漏装胶塞特定目标；
④
漏装场景规则匹配：针对漏装胶塞目标，结合角度信息进行漏装胶塞的将其与漏装胶塞场景规则进行匹配，触发识别报警；(3)漏装胶塞报警：接收报警信号，通过报警装置进行报警。2.根据权利要求1所述的一种面向车辆安装流水线的胶塞智能检测方法，其特征在于：所述步骤(2)中的关键帧提取，首先设定视频的第一帧为起始帧，提取起始帧的CNN特征，CNN特征是基于目标上的局部特征及全局并对图像的尺度大小、图像旋转、光照变化、噪声以及轻微视角变化不敏感，利用其提取视频帧的位置、尺度、旋转不变量局部性特征，并设定相应的阈值；随后依次提取后续视频帧的CNN特征，并且与起始帧的特征点进行比较，当非相似特征点的数目大于所设阈值时，将该帧设为结束帧；在起始帧和结束帧之间寻找与起始帧和结束帧相似关键点最多的帧作为该段视频的候选关键帧；接着将候选关键帧依次输入至CNN网络ResNet中，检测其是否包含车辆、敏感区域、胶塞、漏装胶塞关键目标，若包含，则保留作为关键帧，将其执行下一步的操作，若不包含，则丢弃该图片。3.根据权利要求1所述的一种面向车辆安装流水线的胶塞智能检测方法，其特征在于：所述步骤(2)中的图像特征提取，将用于训练模型的图像放缩至相同大小，并减去均值，除去方差，通过尺度归一化图像的方式减少模型训练阶段的计算量，上述步骤在PyTorch深度学习框架上实现。4.根据权利要求1所述的一种面向车辆安装流水线的胶塞智能检测方法，其特征在于：所述步骤(2)中的融合车型信息、感兴趣目标区域、胶塞位置相对关系辅助特征性信息包括：利用车型信息获取对应的不同的感兴趣区域，即胶塞检测区域敏感位置；不同的车型中对应的胶塞的位置信息和胶塞相对位置信息不同辅助特征信息。5.根据权利要求1所述的一种面向车辆安装流水线的胶塞智能检测方法，其特征在于：所述步骤(2)中基于改进的单阶段目标检测方法，一方面引入两阶段类型的目标检测算法中对预测边框的由粗到细的回归思想；另一方面引入类似FPN网络的特征融合操作用于检测...
【专利技术属性】
技术研发人员：卢荣贞，张振泉，卢荣明，岳立毅，李钢，郭奕成，武艺，梁倩，温幸霓，徐佳力，
申请(专利权)人：广西成电智能制造产业技术有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。