一种基于视觉的化纤飘杂检测方法技术

本发明专利技术属于机器人技术领域，具体涉及一种基于视觉的化纤飘杂检测方法，包括步骤：基于单色激光及滤光片的采集方式，采集现场处理图像；基于深度学习目标检测方法，定位图像视野内所有同风口高亮化纤束对检测框的位置；对高亮化纤束对检测框进行位置矫正，矫正目标检测框的偏移；提取每个高亮化纤束对检测框内图像，进行漂杂异常识别判断；统计所有化纤束对的上述异常识别结果，并按指定格式输出。

【技术实现步骤摘要】
一种基于视觉的化纤飘杂检测方法
本专利技术属于机器人
，具体涉及一种基于视觉的化纤飘杂检测方法。
技术介绍
现有的技术方案如CN110992343A《一种基于机器人的飘丝飘杂视检方法、存储介质及电子设备》的专利，在其整体流程方案中涉及到化纤飘杂的视检方法，其采用照射灯对着丝束进行补光，并对拍照成像的具有团状高亮图片进行视觉检测，若在团状亮光外有其他亮光即认为发生飘杂。上述技术方案存在以下缺点：采用照射灯进行补光，可获取具有高亮丝束区域的图像，但无法过滤白色或高亮的背景物体，容易对后续的图像算法造成干扰；在团状亮光外有其他亮光即认为发生飘杂，但其未涉及图像中同时存在多个团状高亮丝束时的处理方法，也没涉及团状亮光区域及相应高亮飘杂区域的归属判断；同丝束的化纤之间存在一定的距离，在补光拍照下并不一定表现为单一的团状高亮区域，可能会存在同丝束化纤被分为多个距离较近的高亮团状区域情况。
技术实现思路
针对上述不足，本专利技术提供一种基于视觉的化纤飘杂检测方法。本专利技术通过以下技术方案实现：一种基于视觉的化纤飘杂检测方法，包含如下步骤：1.1基于单色激光及滤光片的采集方式，采集现场处理图像；1.2基于深度学习目标检测方法，定位图像视野内所有同风口高亮化纤束对检测框的位置；1.3对高亮化纤束对检测框进行位置矫正，矫正目标检测框的偏移；1.4提取每个高亮化纤束对检测框内图像，作为飘杂识别处理感兴趣区域(ROI)，用于进行漂杂异常识别判断；1.5统计所有化纤束对的上述异常识别结果，并按指定格式输出。进一步地，所述的步骤1.4中的漂杂异常判断，具体包括以下步骤：2.1对检测框内图像进行r,g,b通道图像分离；2.2选择分离的g通道图像，进行图像阈值，获取化纤二值掩码图；2.3统计同一外接矩形中心点x位置上前景目标的像素数量；2.4优化化纤二值掩码图，若同一x位置前景目标的像素数量大于设置数值，则认为该位置存在化纤，并进一步将该部分的像素全部置为前景；2.5优化化纤二值掩码图，若同一x位置前景目标的像素数量小于设置数值，则认为该位置不存在化纤，并进一步将该部分的像素全部置为背景；2.6对优化后的化纤二值掩码图进行前景目标轮廓提取；2.7获取提取的轮廓的最小外接矩形，得到可分离化纤的位置和形状信息；2.8根据x位置，对所有最小外接矩形进行升序排序；2.9计算相邻外接矩形之间的水平距离；2.10根据外接矩形间的最大水平距离，定位同一风口两束化纤中最靠内化纤的位置；2.11计算最靠内化纤与同束内化纤的最近距离；2.12计算所述最近距离与两束化纤间距离的比值；2.13判断所述比值是否大于阈值，若是，则执行步骤2.14，若否，则判断该化纤束对无异常情况；2.14计算最靠内化纤的形态特征，若符合特征要求，则判断存在漂杂异常情况，若否，则该化纤束对无异常情况。进一步地，所述的深度学习目标检测的方法采用FasterRCNN。进一步地，所述的最靠内化纤的形态特征包括长宽比和宽度特征。进一步地，所述的对高亮化纤束对的检测框进行位置矫正，具体为将检测框进行适当放大，然后结合图像阈值，闭运算，最小外接矩形，并集运算得到矫正后的检测框。一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于视觉的化纤飘杂检测方法的步骤。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于视觉的化纤飘杂检测方法的步骤。本专利技术提出的一种基于视觉的化纤飘杂检测方法，与现有技术相比，具有下述的有益效果或优点：1、采集的图像可有效去除背景的干扰，检测算法的鲁棒性更高；2、将同一风口下的高亮化纤丝束对作为飘杂识别处理ROI(RegionofInteresting)，可有效限制飘杂发生的处理区域范围，提高算法的鲁棒性；；3、采用先目标检测定位飘杂识别处理ROI(RegionofInteresting)，后进行飘杂识别处理的方式，可处理图像中同时存在多个丝束的情况；4、通过计算可分离化纤区域之间的水平距离，和定位可分离化纤区域最大距离的方法，可应对同丝束被分为多个距离较近高亮团状区域的情况，有效识别飘杂发生。附图说明以下将结合附图对本专利技术做进一步详细说明；图1是本专利技术的化纤漂杂检测整体流程图；图2是本专利技术的化纤束对漂杂异常判断流程图；图3是本专利技术的异常识别检测结果图；图4是本专利技术的识别算法处理效果图；图5是本专利技术的漂杂识别效果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在一个实施例中，提供了一种基于视觉的化纤飘杂检测方法，总体流程如图1所示，其过程可分为以下步骤：1.1采用单色激光+滤光片的采集方式，采集现场处理图像；优选的本实施例可以使用绿色激光，本领域技术人员应当知晓其他单色的激光也可以，例如红色等等。1.2基于深度学习目标检测方法，定位图像视野内所有同风口高亮化纤束对位置；1.3高亮化纤束对位置矫正，矫正目标检测框的偏移；1.4提取每个高亮化纤束对检测框内图像，作为飘杂识别处理ROII(感兴趣区域，RegionofInteresting)，用于进行漂杂异常识别判断，提取的图像区域如图3(d)所示；1.5统计所有化纤束对的上述异常识别结果，并按指定格式输出。其中，步骤1.4中的漂杂异常判断，其处理过程如图2所示，具体可分为以下步骤：2.1对检测框内图像进行r,g,b通道图像分离，其分离的g通道图像如图3(e)所示；2.2选择g通道图像，进行图像阈值，获取化纤二值掩码图，阈值后处理结果如图3(f)所示；2.3统计同一x位置上前景目标的像素数量；2.4优化化纤二值掩码图，若同一x位置前景目标的像素数量大于设置数值，则认为该位置存在化纤，并进一步将该部分的像素全部置为前景；2.5优化化纤二值掩码图，若同一x位置前景目标的像素数量小于设置数值，则认为该位置不存在化纤，并进一步将该部分的像素全部置为背景；2.6对优化后的化纤二值掩码图(如图3(g)所示)进行前景目标轮廓提取；2.7获取提取的轮廓的最小外接矩形，得到可分离化纤的位置和形状信息；2.8根据外接矩形中心点x坐标位置，对所有最小外接矩形进行升序排序；2.9计算相邻外接矩形之间的水平距离；2.10根据外接矩形间的最大水平距离，定位同一风口两束化纤中最靠内化纤的位置；2.本文档来自技高网...

【技术保护点】
1.一种基于视觉的化纤飘杂检测方法，其特征在于，包含如下步骤：/n1.1基于单色激光及滤光片的采集方式，采集现场处理图像；/n1.2基于深度学习目标检测方法，定位图像视野内所有同风口高亮化纤束对检测框的位置；/n1.3对高亮化纤束对检测框进行位置矫正，矫正目标检测框的偏移；/n1.4提取每个高亮化纤束对检测框内图像，作为飘杂识别处理感兴趣区域(ROI)，用于进行漂杂异常识别判断；/n1.5统计所有化纤束对的上述异常识别结果，并按指定格式输出。/n

【技术特征摘要】
1.一种基于视觉的化纤飘杂检测方法，其特征在于，包含如下步骤：
1.1基于单色激光及滤光片的采集方式，采集现场处理图像；
1.2基于深度学习目标检测方法，定位图像视野内所有同风口高亮化纤束对检测框的位置；
1.3对高亮化纤束对检测框进行位置矫正，矫正目标检测框的偏移；
1.4提取每个高亮化纤束对检测框内图像，作为飘杂识别处理感兴趣区域(ROI)，用于进行漂杂异常识别判断；
1.5统计所有化纤束对的上述异常识别结果，并按指定格式输出。


2.根据权利要求1所述的基于视觉的化纤飘杂检测方法，其特征在于，所述的步骤1.4中的漂杂异常判断，具体包括以下步骤：
2.1对检测框内图像进行r,g,b通道图像分离；
2.2选择分离的g通道图像，进行图像阈值，获取化纤二值掩码图；
2.3统计同一外接矩形中心点x位置上前景目标的像素数量；
2.4优化化纤二值掩码图，若同一x位置前景目标的像素数量大于设置数值，则认为该位置存在化纤，并进一步将该部分的像素全部置为前景；
2.5优化化纤二值掩码图，若同一x位置前景目标的像素数量小于设置数值，则认为该位置不存在化纤，并进一步将该部分的像素全部置为背景；
2.6对优化后的化纤二值掩码图进行前景目标轮廓提取；
2.7获取提取的轮廓的最小外接矩形，得到可分离化纤的位置和形状信息；
2.8根据x位置，对所有最小外接矩形进行升序排序；
2.9计算相邻外接矩形之间的水平...

【专利技术属性】
技术研发人员：李永敬，柏林，刘彪，舒海燕，宿凯，沈创芸，祝涛剑，雷宜辉，
申请(专利权)人：广州高新兴机器人有限公司，
类型：发明
国别省市：广东;44