【技术实现步骤摘要】
本专利技术涉及计算机视觉与自动化生产，具体地说是一种基于2d视觉实时反馈的自动排线方法及装置。
技术介绍
1、机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分cmos和ccd两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。
2、机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、i/o卡等)。
3、目前基于机器视觉的自动排线方法通常运用传统图像处理手段提取电缆盘的图像参数，再与数据库进行比对，进而得出当前电缆卷线的工作状态，这种方法对环境变化的自适应能力较低，检测精度不足，且通过数据库比对，实时性难以保证。
4、故如何能够实现排线过程中出现的异常和到边检测，从而执行相应的动作操作达到精密排线的效果是目前亟待解决的技术问题。
技术实现思路
1、本专利技术的技术任务是提供一种基于2d视觉实时反馈的自动排线方法及装置，来解决如何能够实现排线过程中出现的异常和到边检测，从而执行相应的动作操作达到精密排线的效果的问题。
2、本专利技术的技术任务是按以下方式实现的，一种基于2d视觉
3、通过2d视觉采集模块获取当前收线的场景图像；
4、基于2d视觉采集模块获取左右交替成像数据，使用深度视觉网络v1对场景图像进行实时识别，并实时输出图像推理结果，正常、叠线、闪缝、到边及复位；其中，正常与叠线共轭，到边与复位共轭；
5、基于2d视觉采集模块获取中间的成像数据，深度视觉网络v2实时输出目标点定位结果，计算收线间距：
6、当收线间距大于半个线径，即视为闪缝；
7、排线器接收到叠线信号进行同向排线，接收到到边信号进行反向排线，同时在到边信号的反馈下，收线器执行自动换向功能；其中，排线方向是相对于收线器的移动方向；
8、排线器执行排线操作，直到接收到复位信号(与到边信号共轭)或正常信号(与叠线信号共轭)或复位信号，恢复到零点位置；
9、收线器接收到闪缝信号后，收线器进行反向移动，减小收线间距，直到收线间距控制在半个线径内。
10、作为优选，所述收线器用于卷线操作，收线器包括收线支架，收线支架呈工字形，工字形收线支架的底部设置有直线电机，直线电机用于实现收线器的左右移动；工字形收线支架的中部设置有旋转电机，旋转电机用于实现收线器的旋转移动。
11、更优地，所述排线器用于在排线操作中实现的双自由度移动；排线器包括排线支架，排线支架是由排线底座部以及两平行设置的排线支撑部组成的倒t字形，排线底座部中心上部设置有x轴伺服电机，x轴伺服电机位于两平行设置的排线支撑部之间，x轴伺服电机用于排线支架的左右移动；任一排线支撑部中部靠下的位置设置有z轴伺服电机，z轴伺服电机用于实现2d视觉采集模块及排线的上下移动。
12、更优地，2d视觉采集模块用于获取当前收线状态的图像数据；2d视觉采集模块包括左侧rgb相机、中间rgb相机以及右侧rgb相机，中间rgb相机位于左侧rgb相机和右侧rgb相机之间；
13、左侧rgb相机、中间rgb相机以及右侧rgb相机采集时均设定为低光圈及自动增益模式，用于适应外部环境的变化，获取到当前收线场景亮度均衡的图像。
14、更优地，深度视觉网络v1包括ppliteseg分割模型和desnet121分类模型，具体如下：
15、ppliteseg分割模型进行图像的去背景操作获取去背景后的特征图连通区域，减少复杂背景对感兴趣区域roi(线盘区+线缆区)的干扰；
16、在执行后图像分割后，进一步地减少无效数据的影响，去背景后的特征图连通区域取最大外接矩形保留，获取大小不一的图像；
17、为了解决图像的一致性，将大小不一的图像等比例缩放成图像长短轴，在短轴方向填充0或1，最终形成固定大小的图像(如512x 512)；
18、将固定大小的图像输入到desnet121分类模型，进行四分类推理，其中在desnet121分类模型内使用dropblock块，随机丢弃特征图上的一个连续块，进而提高模型的泛化能力；
19、深度视觉网络v2计算收线间距具体如下：
20、深度视觉网络v2分割目标线与参考线，获取分割结果；
21、对分割结果进行圆拟合处理，得到两个圆心坐标o1,o2)及半径(r1,r2),计算收线间距：
22、当间距大于设定的阈值,即视为闪缝；其中，阈值＝(r1+r2)/2；
23、深度视觉网络v2采用ppliteseg分割模型。
24、更优地，对获取的正常、叠线、到边及复位四种分类数据集进行离线数据扩增，离线数据扩增的处理方式包括随机剪切(50％-100％)、随机旋转(-10°-10°)及颜色抖动，在进行人工筛选，保留线盘区和线缆区(存在感兴趣区域roi)的图像。
25、一种基于2d视觉实时反馈的自动排线装置，该装置用于实现权利要求1-7中任一项所述的基于2d视觉实时反馈的自动排线方法；该装置包括：
26、2d视觉采集模块，用于获取当前收线的场景图像；针对左右交替成像数据，使用深度视觉网络v1对场景图像进行实时识别，并实时输出图像推理结果，正常、叠线、闪缝、到边及复位；其中，正常与叠线共轭，到边与复位共轭；针对中间的成像数据，深度视觉网络v2实时输出目标点定位结果，计算收线间距：当收线间距大于半个线径，即视为闪缝；
27、排线器，用于接收到叠线信号进行同向排线，接收到到边信号进行反向排线，同时在到边信号的反馈下，收线器执行自动换向功能；其中，排线方向是相对于收线器的移动方向；排线器执行排线操作，直到接收到复位信号(与到边信号共轭)或正常信号(与叠线信号共轭)或复位信号，恢复到零点位置；
28、收线器，用于在接收到闪缝信号后，收线器进行反向移动，减小收线间距，直到收线间距控制在半个线径内。
29、作为优选，收线器用于卷线操作，收线器包括收线支架，收线支架呈工字形，工字形收线支架的底部设置有直线电机，直线电机用于实现收线器的左右移动；工字形收线支架的中部设置有旋转电机，旋转电机用于实现收线器的旋转移动；
30、排线器用于在排线操作中实现的双自由度移动；排线器包括排线支架，排线支架是由排线底座部以及两平行设置的排线支撑部组成的倒t字形，排线底座部中心上部设置有x轴伺服电机，x轴伺服电机位于两平行设置的排线支撑部之间，x轴伺服电机用于排线支架的左右移动；任一排线支撑部中部本文档来自技高网...
【技术保护点】
1.一种基于2D视觉实时反馈的自动排线方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的基于2D视觉实时反馈的自动排线方法，其特征在于，所述收线器用于卷线操作，收线器包括收线支架，收线支架呈工字形，工字形收线支架的底部设置有直线电机，直线电机用于实现收线器的左右移动；工字形收线支架的中部设置有旋转电机，旋转电机用于实现收线器的旋转移动。
3.根据权利要求1或2所述的基于2D视觉实时反馈的自动排线方法，其特征在于，所述排线器用于在排线操作中实现的双自由度移动；排线器包括排线支架，排线支架是由排线底座部以及两平行设置的排线支撑部组成的倒T字形，排线底座部中心上部设置有X轴伺服电机，X轴伺服电机位于两平行设置的排线支撑部之间，X轴伺服电机用于排线支架的左右移动；任一排线支撑部中部靠下的位置设置有Z轴伺服电机，Z轴伺服电机用于实现2D视觉采集模块及排线的上下移动。
4.根据权利要求3所述的基于2D视觉实时反馈的自动排线方法，其特征在于，2D视觉采集模块用于获取当前收线状态的图像数据；2D视觉采集模块包括左侧RGB相机、中间RGB相机以及右侧R
5.根据权利要求4所述的基于2D视觉实时反馈的自动排线方法，其特征在于，深度视觉网络V1包括PPLiteSeg分割模型和desnet121分类模型，具体如下：
6.根据权利要求5所述的基于2D视觉实时反馈的自动排线装置，其特征在于，对获取的正常、叠线、到边及复位四种分类数据集进行离线数据扩增，离线数据扩增的处理方式包括随机剪切、随机旋转及颜色抖动，在进行人工筛选，保留线盘区和线缆区的图像。
7.一种基于2D视觉实时反馈的自动排线装置，其特征在于，该装置用于实现权利要求1-7中任一项所述的基于2D视觉实时反馈的自动排线方法；该装置包括：
8.根据权利要求7所述的基于2D视觉实时反馈的自动排线装置，其特征在于，收线器用于卷线操作，收线器包括收线支架，收线支架呈工字形，工字形收线支架的底部设置有直线电机，直线电机用于实现收线器的左右移动；工字形收线支架的中部设置有旋转电机，旋转电机用于实现收线器的旋转移动；
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至6中任一项所述的基于2D视觉实时反馈的自动排线方法。
...【技术特征摘要】
1.一种基于2d视觉实时反馈的自动排线方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的基于2d视觉实时反馈的自动排线方法，其特征在于，所述收线器用于卷线操作，收线器包括收线支架，收线支架呈工字形，工字形收线支架的底部设置有直线电机，直线电机用于实现收线器的左右移动；工字形收线支架的中部设置有旋转电机，旋转电机用于实现收线器的旋转移动。
3.根据权利要求1或2所述的基于2d视觉实时反馈的自动排线方法，其特征在于，所述排线器用于在排线操作中实现的双自由度移动；排线器包括排线支架，排线支架是由排线底座部以及两平行设置的排线支撑部组成的倒t字形，排线底座部中心上部设置有x轴伺服电机，x轴伺服电机位于两平行设置的排线支撑部之间，x轴伺服电机用于排线支架的左右移动；任一排线支撑部中部靠下的位置设置有z轴伺服电机，z轴伺服电机用于实现2d视觉采集模块及排线的上下移动。
4.根据权利要求3所述的基于2d视觉实时反馈的自动排线方法，其特征在于，2d视觉采集模块用于获取当前收线状态的图像数据；2d视觉采集模块包括左侧rgb相机、中间rgb相机以及右侧rgb相机，中间rgb相机位于左侧rgb相机和右侧rgb相机之间；
5.根据权利要求4所述的...
【专利技术属性】
技术研发人员：段以浩，王新琪，陈宏，孙桂刚，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。