一种多机器人操作模式下视觉跟踪的方法及系统技术方案

本发明专利技术公开了一种多机器人操作模式下视觉跟踪的方法及系统，其机器人控制系统包括运动控制系统、视觉系统，所述运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联。通过本发明专利技术实施例，通过建立协调工作模式下的视频跟踪，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。

【技术实现步骤摘要】

本专利技术涉及智能制造
，具体涉及一种多机器人操作模式下视觉跟踪的方法及系统。
技术介绍
随着机器人技术的不断发展，越来越多的机器人开始替代人类执行各种任务。机器人是自动控制机器（Robot）的俗称，自动控制机器包括一切模拟人类行为或思想与模拟其他生物的机械（如机器狗，机器猫等）。狭义上对机器人的定义还有很多分类法及争议，有些电脑程序甚至也被称为机器人。在当代工业中，机器人指能自动执行任务的人造机器装置，用以取代或协助人类工作。理想中的高仿真机器人是高级整合控制论、机械电子、计算机与人工智能、材料学和仿生学的产物，目前科学界正在向此方向研究开发，但是机器人远程控制还不完善，大数据的应用还没有普及，机器人的数据采集还处于离线状态，机器人深度学习也来自于本机数据的储存。DELTA机器人是并联机器人的一种，DELTA机器人通过外转动副驱动3条平行四边形支链，再加上中间一根旋转驱动轴，可实现其末端执行器的空间四维运动，配置视觉系统后，在电子、轻工、食品及医药等领域的分拣包装中广泛应用。目前现有的各个厂家DELTA机器人的控制系统是采用其自身的专用机器人控制器来构建的机器人控制系统，这种采用专用控制器的控制系统系统通用性不好。一般的DELTA机器人控制系统是由运动控制系统、伺服系统、视觉跟踪系统和输送带跟踪系统组成，如图1中所示中，由于存在多个DELTA机器人协同工作，目标对象在不同DELTA机器人下不同时间内完成不同操作过程，如何实现视频跟踪过程中，而现有技术缺乏一种可行方案。
技术实现思路
本专利技术提供了一种多机器人操作模式下视觉跟踪的方法及系统，通过建立协调工作模式下的视频跟踪，解决了现有机器视觉协调性问题。本专利技术提供了一种多机器人操作模式下视觉跟踪的方法，其中：机器人控制系统包括运动控制系统、视觉系统，所述运动控制系统与视觉系统，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值。所述视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理包括：基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括：利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。所述利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测包括：采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态。所述视觉系统根据预测及时跟踪目标对象下一个状态值包括：基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的状态值。相应的，本专利技术还提供了一种机器人控制系统，包括：运动控制系统、视觉系统所述运动控制系统与视觉系统相连，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，其中：运动控制系统用于控制目标对象在至少两台DELTA机器人下进行协调操作；视觉系统用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值。所述视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。所述视觉系统利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。所述视觉系统采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态。所述视觉系统基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的状态值。在本专利技术中，通过建立协调工作模式下的视频跟踪，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是现有技术中的机器人控制系统的结构示意图；图2是本专利技术实施例中的机器人控制系统结构示意图；图3是本专利技术实施例中的多机器人操作模式下视觉跟踪的方法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。具体的，图2示出了本专利技术实施例中的机器人控制系统结构示意图，该机器人控制系统包括运动控制系统、视觉系统，该运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，该运动控制系统与该至少两台DELTA机器人之间通过EtherCAT总线串联，本专利技术实施例中示出了三台DELTA机器人，其中：运动控制系统用于控制目标对象在至少两台DELTA机器人下进行协调操作；视觉系统用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值。具体实施过程中，该视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型；以及利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别；采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态；基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的状态值。需要说明的是，本专利技术实施例中结合颜色和边缘的跟踪算法建立目标追本文档来自技高网...

【技术保护点】
一种多机器人操作模式下视觉跟踪的方法，其特征在于，其中：机器人控制系统包括运动控制系统、视觉系统，所述运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值。

【技术特征摘要】
1.一种多机器人操作模式下视觉跟踪的方法，其特征在于，其中：机器人控制系统包括运动控制系统、视觉系统，所述运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值。2.如权利要求1所述的多机器人操作模式下视觉跟踪的方法，其特征在于，所述视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理包括：基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。3.如权利要求1所述的多机器人操作模式下视觉跟踪的方法，其特征在于，所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括：利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。4.如权利要求1所述的多机器人操作模式下视觉跟踪的方法，其特征在于，所述利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测包括：采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态。5.如权利要求1至4任一项所述的多机器人操作模式下视觉跟踪的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：李丽丽，王亚梅，曹永军，余学文，龙建佑，魏杰，
申请(专利权)人：顺德职业技术学院，华南智能机器人创新研究院，
类型：发明
国别省市：广东;44