基于数据驱动的图像视觉伺服控制系统及方法技术方案

本发明专利技术提供了一种基于数据驱动的图像视觉伺服控制系统。单目RGB摄像机固定在六轴串联机器人的末端执行器上，并与控制主机通信连接；六轴串联机器人固定在工作空间中，接收机器人控制柜的指令。机器人控制柜与控制主机通信连接；数据存储模块从控制主机中获取数据进行存储；数据计算模块与数据存储模块数据连接，从数据存储模块中获取历史数据并计算得到的数据驱动控制补偿量提供给控制主机。本发明专利技术同时提供了一种上述系统的控制方法，本发明专利技术数据计算量小，计算运行速度快，能有效避免因为计算量而影响系统实时性，并且利用了历史控制数据的最优权重组合来提升传统视觉伺服的收敛性能。

Image visual servo control system and method based on data drive

【技术实现步骤摘要】
基于数据驱动的图像视觉伺服控制系统及方法
本专利技术涉及传感器机器人控制
，具体地，涉及一种基于数据驱动的图像视觉伺服控制系统及方法。
技术介绍
目前机械臂在工业自动化方面得到了应用。通常情况下，机械臂的工作模式总是固定不变的，换句话说，机械臂是在静态结构环境下重复地运行预先编译好的指令，然后实现相应功能。而在动态的不确定环境下完成复杂作业，便要求机械臂配备相应的传感器，获得智能感知能力。传统的传感器技术通常会存在检测范围的局限性和检测手段的单一性等问题。而视觉传感器作为机器人的非接触式传感器，可以感知机器人外部环境的动态变化，提供更加丰富的信息，检测范围和方式更加多元化。因此，视觉传感器在机器人领域具有重要的地位和作用。视觉伺服是利用计算机视觉反馈的数据来控制机器人的运动，而该数据能够从安装在机器人上的摄像机或者安装在环境中的摄像机获取。所以视觉伺服设计囊括图像处理、计算机视觉和控制理论等领域。近年来，随着计算机视觉技术的提升，机器人的广泛应用，视觉伺服得到了飞速发展。目前，视觉伺服按照控制系统中计算机视觉的反馈信息分为基于位置的视觉伺服和基于图像的视觉伺服。按照摄像机传感器的安装方式分为基于眼在手上的视觉伺服和眼在手外的视觉伺服。根据相机的数量可以分为单目视觉伺服系统、双目视觉伺服系统和多目视觉伺服系统。其中，基于位置的视觉伺服在3D笛卡尔空间坐标系中构成闭环控制系统，然后利用视觉信息获得被观测对象在笛卡尔空间坐标系下的位置和姿态，与期望的位置和姿态形成反馈误差，根据该误差设计控制率，来驱动机器人的运动。基于图像的视觉伺服在二维的图像空间中构成闭环控制系统，并利用图像信息获取的图像特征与期望的图像特征构造反馈误差特征，再根据该误差设计控制律，实现机器人的反馈运动。顾名思义，眼在手上的视觉伺服，是将摄像机置于机器人执行器末端来进行观测；眼在手外的视觉伺服是将摄像头固定在其他地方，然后观测机器人的末端执行器位置和姿态。目前，视觉伺服的控制方法主要分为以下三大类别，分别是自适应算法、鲁棒算法和智能算法。而其中，自适应算法中可以分为参数自适应法和图像雅可比矩阵自适应法。这两种方法是分别对模型中的参数或者图像雅可比矩阵进行辨识估计。鲁棒视觉伺服是为了保证参数摄动的情况下的控制器的稳定性，可以在最优参数估计的基础上设计鲁棒控制器，从而在参数变化的一定范围内保证稳定性。智能算法主要通过神经网络、模糊控制和迭代学习控制来设计控制器。经过查阅文献，目前视觉伺服在自适应控制方面有一定的研究成果，该类方法主要通过对图像雅可比矩阵或图像雅可比矩阵中的不确定参数进行辨识，然后再用辨识好的图像雅可比矩阵去设计反馈控制律。但是通常在做参数辨识时，辨识完的模型和真实模型仍然会存在一定程度上的误差，这个问题在一定程度上抑制了视觉伺服的性能，降低了视觉伺服的收敛速度；并且辨识过程计算量较大，会减慢控制器的运行速度，降低了系统的实时性。目前没有发现同本专利技术类似技术的说明或报道，也尚未收集到国内外类似的资料。
技术实现思路
本专利技术针对现有技术中存在的上述不足，提供了一种基于数据驱动的图像视觉伺服控制系统及方法，该系统及方法是一种提升视觉伺服收敛速度的控制策略设计，针对视觉伺服目标跟踪问题，通过结合视觉伺服技术和数据驱动技术，实现目标精确跟踪，提升跟踪响应速度。本专利技术是通过以下技术方案实现的。根据本专利技术的一个方面，提供了一种基于数据驱动的图像视觉伺服控制系统，包括：六轴串联机器人、机器人控制柜、控制主机、单目RGB摄像机、数据存储模块、数据计算模块以及视觉模块。其中：所述单目RGB摄像机固定在六轴串联机器人的末端执行器上，并与控制主机通信连接；所述视觉模块对单目RGB摄像机采集的图像数据进行处理并提取目标的像素位置，向控制主机提供反馈信息；所述六轴串联机器人固定在工作空间中，由机器人控制柜控制其关节运动，所述机器人控制柜与控制主机通信连接；所述数据存储模块与控制主机数据连接，用于实时从控制主机中获取历史数据并进行存储；所述数据计算模块与数据存储模块数据连接，用于实时从数据存储模块中获取历史数据进行计算，将得到的数据驱动控制补偿量提供给控制主机，用于视觉伺服控制。优选地，所述数据存储模块对操作数据进行实时存储，所述数据计算模块对获取的历史数据进行优化计算，计算所得到的结果作为视觉伺服控制补偿量，用于补偿视觉伺服控制量。优选地，所述数据计算模块对获取的历史数据进行优化计算的具体过程为：数据计算模块求解数据驱动的最优权重系数λ为：式中，为历史误差增量，e(k)为目标在k时刻的像素与期望像素的误差，T为矩阵转置运算。求解数据驱动控制补偿量为：式中，为历史控制量。优选地，所述单目RGB摄像机与控制主机通信连接。优选地，所述视觉模块对摄像机采集的图像数据进行处理并提取目标的像素位置，向控制主机提供反馈信息。优选地，所述六轴串联机器人固定在工作空间中，由机器人控制柜控制其关节运动，机器人控制柜与控制主机通信连接。优选地，所述数据存储模块与控制主机数据连接，用于实时从控制主机中获取历史数据并进行存储。优选地，所述数据计算模块与数据存储模块数据连接，用于实时从数据存储模块中获取历史数据进行计算，将得到的数据驱动控制补偿量提供给控制主机，用于视觉伺服控制。根据本专利技术的另一个方面，提供了一种上述任一项所述的基于数据驱动的图像视觉伺服控制系统的控制方法，包括如下步骤：S1，对系统进行初始化；S2，在k时刻，数据计算模块从数据存储模块中获取历史数据并求解数据驱动最优权重系数以及数据驱动控制补偿量；S3,从视觉模块获取目标当前的像素与期望像素的误差，从数据计算模块获取数据驱动控制补偿量加入传统视觉伺服反馈控制率中，计算生成新的控制量；，控制主机将单目RGB摄像机运动转换为六轴串联机器人关节运动，将新的控制量转换为机器人指令，并将机器人指令发送给机器人控制柜；S4，将该k时刻产生的所有数据送入数据存储模块，等待下一次控制使用；如果目标当前的像素到达期望像素，则停止控制；否则返回S2。优选地，所述S1中对系统进行初始化包括如下内容：初始化数据存储模块和数据计算模块，包括：数据滚动窗口长度初始化为l，历史控制量的最优权重系数初始化为滚动窗口下的单目RGB摄像机历史运动速度初始化为滚动窗口下的历史误差增量初始化为初始化控制主机的视觉伺服反馈控制率h、控制周期以及图像处理周期；获取系统控制目标的指定跟踪对象的期望图像，其中，所述控制目标为工作空间中的指定跟踪目标。优选地，所述S2中，求解数据驱动最优权重系数的方法为：数据存储模块提供单目RGB摄像机历史运动速度和历史误差增量其中：式中，l为数据滚动窗口长度；数据计算模块计算数据驱动的最优权重系数λ如下所示：式中，e(k)为目标在k时刻的像本文档来自技高网...

【技术保护点】
1.一种基于数据驱动的图像视觉伺服控制系统，其特征在于，包括：六轴串联机器人、机器人控制柜、控制主机、单目RGB摄像机、数据存储模块、数据计算模块以及视觉模块。其中：/n所述单目RGB摄像机固定在六轴串联机器人的末端执行器上，并与控制主机通信连接；/n所述视觉模块对单目RGB摄像机采集的图像数据进行处理并提取目标的像素位置，向控制主机提供反馈信息；/n所述六轴串联机器人固定在工作空间中，由机器人控制柜控制其关节运动，所述机器人控制柜与控制主机通信连接；/n所述数据存储模块与控制主机数据连接，用于实时从控制主机中获取历史数据并进行存储；/n所述数据计算模块与数据存储模块数据连接，用于实时从数据存储模块中获取历史数据进行计算，将计算得到的数据驱动控制补偿量提供给控制主机，用于视觉伺服控制。/n

【技术特征摘要】
1.一种基于数据驱动的图像视觉伺服控制系统，其特征在于，包括：六轴串联机器人、机器人控制柜、控制主机、单目RGB摄像机、数据存储模块、数据计算模块以及视觉模块。其中：
所述单目RGB摄像机固定在六轴串联机器人的末端执行器上，并与控制主机通信连接；
所述视觉模块对单目RGB摄像机采集的图像数据进行处理并提取目标的像素位置，向控制主机提供反馈信息；
所述六轴串联机器人固定在工作空间中，由机器人控制柜控制其关节运动，所述机器人控制柜与控制主机通信连接；
所述数据存储模块与控制主机数据连接，用于实时从控制主机中获取历史数据并进行存储；
所述数据计算模块与数据存储模块数据连接，用于实时从数据存储模块中获取历史数据进行计算，将计算得到的数据驱动控制补偿量提供给控制主机，用于视觉伺服控制。


2.根据权利要求1所述的基于数据驱动的图像视觉伺服控制系统，其特征在于，所述数据存储模块对操作数据进行实时存储，所述数据计算模块对获取的历史数据进行优化计算，计算所得到的结果作为视觉伺服控制补偿量，用于补偿视觉伺服控制量。


3.根据权利要求2所述的基于数据驱动的图像视觉伺服控制系统，其特征在于，所述数据计算模块对获取的历史数据进行优化计算的具体过程为：
数据计算模块求解数据驱动的最优权重系数λ为：



式中，为历史误差增量，e(k)为目标在k时刻的像素与期望像素的误差，T为矩阵转置运算；
求解数据驱动控制补偿量为：



式中，为历史控制量。


4.一种权利要求1至3中任一项所述的基于数据驱动的图像视觉伺服控制系统的控制方法，其特征在于，包括如下步骤：
S1，对系统进行初始化；
S2，在k时刻，数据计算模块从数据存储模块中获取历史数据并求解数据驱动最优权重系数以及数据驱动控制补偿量；
S3,从视觉模块获取目标当前的像素与期望像素的误差，从数据计算模块获取数据驱动控制补偿量加入传统视觉伺服反馈控制率中，计算生成新的控制量；，控制主机将单目RGB摄像机运动转换为六轴串联机器人关节运动，将新的控制量转换为机器人指令，并将机器人指令发送给机器人控制柜；
S4，将该k时刻产生的所有数据送入数据存储模块，等待下一次控制使用；如果目标当前的像素到达期望像素，则停止控制；否则返回S2。


5.根据权利要求4所述的基于数据驱动的图像视觉伺服控制系统的控制方法，其特征在于，所述S1中对系统进行初始化包括如下内容：
初始化数据存储模块和数据计算模块，包括：数据滚动窗口长度初始化为l，历史控制量的最优权重系数初始化为滚动窗口下的单目RGB摄像机历史运动速度初始化为滚动窗口下的历史误差增量初始化为
初始化控制主机...

【专利技术属性】
技术研发人员：李德伟，何邵颖，徐云雯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31