机器视觉跟踪下目标对象编码的方法及系统技术方案

本发明专利技术公开了一种机器视觉跟踪下目标对象编码的方法及系统，其机器人控制系统包括运动控制系统、视觉系统、控制编码器，所述运动控制系统与视觉系统、编码控制器连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联。通过本发明专利技术实施例，通过建立协调工作模式下的目标对象的视觉跟踪，完成视频数据采集过程，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，并完成对目标对象的视频编码过程。

Method and system for coding target object under machine vision tracking

The invention discloses a method and a system for tracking the target object encoding machine vision, the robot control system includes motion control system, visual control system, encoder, the motion control system is connected with the controller system, visual encoding, and the motion control system is connected with at least two DELTA robots, the motion the control system and the relationship between at least two sets of DELTA series robot by EtherCAT bus. By the embodiment of the invention, by establishing the coordination mode of tracking the target object's vision, to complete the process of video data acquisition system to achieve the goal of visual objects in multiple DELTA robot cooperative work mode video tracking based on image, and it can timely predict the location method on the target object, timely follow-up targets under the a state value, and complete the video encoding process of target object.

【技术实现步骤摘要】
一种机器视觉跟踪下目标对象编码的方法及系统
本专利技术涉及智能制造
，具体涉及一种机器视觉跟踪下目标对象编码的方法及系统。
技术介绍
随着机器人技术的不断发展，越来越多的机器人开始替代人类执行各种任务。机器人是自动控制机器(Robot)的俗称，自动控制机器包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗，机器猫等)。狭义上对机器人的定义还有很多分类法及争议，有些电脑程序甚至也被称为机器人。在当代工业中，机器人指能自动执行任务的人造机器装置，用以取代或协助人类工作。理想中的高仿真机器人是高级整合控制论、机械电子、计算机与人工智能、材料学和仿生学的产物，目前科学界正在向此方向研究开发，但是机器人远程控制还不完善，大数据的应用还没有普及，机器人的数据采集还处于离线状态，机器人深度学习也来自于本机数据的储存。DELTA机器人是并联机器人的一种，DELTA机器人通过外转动副驱动3条平行四边形支链，再加上中间一根旋转驱动轴，可实现其末端执行器的空间四维运动，配置视觉系统后，在电子、轻工、食品及医药等领域的分拣包装中广泛应用。目前现有的各个厂家DELTA机器人的控制系统是采用其自身的专用机器人控制器来构建的机器人控制系统，这种采用专用控制器的控制系统系统通用性不好。一般的DELTA机器人控制系统是由运动控制系统、伺服系统、视觉跟踪系统和输送带跟踪系统组成，如图1中所示中，由于存在多个DELTA机器人协同工作，目标对象在不同DELTA机器人下不同时间内完成不同操作过程，如何实现视频跟踪过程中，以及实现数据存储或者协调是一个比较大量工作，而针对视觉跟踪下目标的视频存储也需要克服。
技术实现思路
本专利技术提供了一种机器视觉跟踪下目标对象编码的方法及系统，通过建立协调工作模式下的目标对象的视觉跟踪，完成视频数据采集过程，解决了现有机器视觉协调性问题。本专利技术提供了一种机器视觉跟踪下目标对象编码的方法，其中：机器人控制系统包括运动控制系统、视觉系统、控制编码器，所述运动控制系统与视觉系统、编码控制器连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值；编码控制器根据不同DELTA机器人编号为目标对象的视频进行编码处理；将编码处理后的目标对象的视频按目标对象操作的时间存储在视频存储器中。所述视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理包括：基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括：利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。所述利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测包括：采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态。所述视觉系统根据预测及时跟踪目标对象下一个状态值包括：基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的状态值。所述控制编码器根据不同DELTA机器人编号为目标对象的视频进行编码处理包括：获取目标对象在不同DELTA机器人下的视频图像帧；在每一视频图像帧上写入相对应DELTA机器人标识符。相应的，本专利技术还提供了一种机器人控制系统，包括：运动控制系统、视觉系统、控制编码器，所述运动控制系统与视觉系统、编码控制器连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，其中：运动控制系统用于控制目标对象在至少两台DELTA机器人下进行协调操作；视觉系统用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值；编码控制器，用于根据不同DELTA机器人编号为目标对象的视频进行编码处理。所述视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型；以及利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别；采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态；基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的状态值。所述编码控制器获取目标对象在不同DELTA机器人下的视频图像帧；在每一视频图像帧上写入相对应DELTA机器人标识符。在本专利技术中，通过建立协调工作模式下的目标对象的视觉跟踪，完成视频数据采集过程，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，并完成对目标对象的视频编码过程，避免整个视频跟踪对象的混乱，可以完整的按照时序过程再现整个操作过程。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是现有技术中的机器人控制系统的结构示意图；图2是本专利技术实施例中的机器人控制系统结构示意图；图3是本专利技术实施例中的机器视觉跟踪下目标视频存储的方法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。具体的，图2示出了本专利技术实施例中的机器人控制系统结构示意图，该机器人控制系统包括运动控制系统、视觉系统、控制编码器，该运动控制系统与视觉系统、编码控制器连接，以及所述运动控制系统连接有至少两台DELTA机器人，该运动控制系统与该至少两台DELTA机器人之间通过EtherCAT总线串联，本专利技术实施例中示出了三台DELTA机器人，其中：运动控制系统用于控制目标对象在至少两台DELTA机器人下进行协调操作；视觉系统用于构建每一台DELTA机器人下的目标追踪模型，对目标对象本文档来自技高网...

【技术保护点】
一种机器视觉跟踪下目标对象编码的方法，其特征在于，其中：机器人控制系统包括运动控制系统、视觉系统、控制编码器，所述运动控制系统与视觉系统、编码控制器连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值；编码控制器根据不同DELTA机器人编号为目标对象的视频进行编码处理；将编码处理后的目标对象的视频按目标对象操作的时间存储在视频存储器中。

【技术特征摘要】
1.一种机器视觉跟踪下目标对象编码的方法，其特征在于，其中：机器人控制系统包括运动控制系统、视觉系统、控制编码器，所述运动控制系统与视觉系统、编码控制器连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值；编码控制器根据不同DELTA机器人编号为目标对象的视频进行编码处理；将编码处理后的目标对象的视频按目标对象操作的时间存储在视频存储器中。2.如权利要求1所述的机器视觉跟踪下目标对象编码的方法，其特征在于，所述视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理包括：基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。3.如权利要求1所述的机器视觉跟踪下目标对象编码的方法，其特征在于，所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括：利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。4.如权利要求1所述的机器视觉跟踪下目标对象编码的方法，其特征在于，所述利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测包括：采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态。5.如权利要求1至4任一项所述的机器视觉跟踪下目标对象编码的方法，其特征在于，所述视觉系统根据预测及时跟踪目标对象下一个状态值包括：基于所述至少两台DELTA机器...

【专利技术属性】
技术研发人员：王亚梅，黄丹，徐利华，
申请(专利权)人：华南智能机器人创新研究院，
类型：发明
国别省市：广东,44