一种机器人立体视觉伺服系统组建方法技术方案

本发明专利技术公开了一种机器人立体视觉伺服系统组建方法,所述方法包括以下步骤：第一步，机器人立体视觉伺服系统体系结构及立体视觉系统模型建立；第二步，目标的检测与定位研究；第三步，运动目标跟踪及预测研究；第四步，机器人立体视觉伺服系统的并行处理研究；第五步，机器人实时立体视觉伺服系统演示实验。本发明专利技术的机器人立体视觉伺服系统组建方法，通过对图像的运动目标跟踪和捕获进行研究，采用立体视觉伺服系统实现视频信息的采集、处理、识别、跟踪及定位，同时通过基于位置的机器人视觉控制方法实现运动目标跟踪和捕获，并运用网络进行信息的传输。

【技术实现步骤摘要】
一种机器人立体视觉伺服系统组建方法
本专利技术涉及一种机器人立体视觉伺服系统组建方法，属于视觉机器人

技术介绍
近年来，机器人技术已成为高新
内具有代表性的战略技术之一，它使得传统的工业生产发生了革命性的变化，但目前即使是世界上智能最高的机器人，对外部环境变化的适应能力也非常有限，距人们预想的目标还有很大距离，这极大地影响了机器人的推广使用，其中一个重要原因就是机器人缺乏像人一样的感知能力；随着人们对机器人运动特性的要求不断提高，带有感觉的智能机器人的研究成为各国政府高新技术计划的重要内容之一；在人们为机器人添加各种外部传感器中，视觉传感器因其信息量大，适用范围广等特点已成为最重要的机器人传感器之一；视觉传感器为机器人提供了十分丰富的外界信息，在不需要传感器的运动及物体无任何接触的情况下，就可以达到对环境和目标的识别，这是其他传感器难以做到的，因此机器人视觉是机器人智能化的一个主要研究方向，对它进行研究具有重大意义。视觉伺服的任务是应用视觉信息来控制机器手末端相对于目标物或一个目标特征集的姿态，从而进行目标跟踪或目标抓取；它利用机器视觉原理，从直接得到的图像信息中，快速进行图像处理，在尽量短的时间内给出反馈信息，构成机器人的位置闭环控制；视觉系统是一个复杂的感观系统，它包含大量的信息，要从中抽取有用的信息，需要复杂的算法、耗费大量的运算时间；并且视觉通常是通过摄像机来实现的，在成像过程中会受到多种因素的影响（如摄像机的精度、光照强度、传输噪声等），使得视觉信息中不可避免的带有噪声，增加了图像处理的难度；由于机器人本身又是一个非线性、强耦合的复杂系统，所以实现机器人视觉伺服控制的难度很大。
技术实现思路
为解决上述问题，本专利技术提出了一种机器人立体视觉伺服系统组建方法，通过对图像的运动目标跟踪和捕获进行研究，采用立体视觉伺服系统实现视频信息的采集、处理、识别、跟踪及定位，同时通过基于位置的机器人视觉控制方法实现运动目标跟踪和捕获，并运用网络进行信息的传输。本专利技术的机器人立体视觉伺服系统组建方法，所述方法包括以下步骤：第一步，机器人立体视觉伺服系统体系结构及立体视觉系统模型建立，a.介绍机器人立体视觉伺服系统模型，通过分层设计的方法研究基于并行处理的视觉伺服系统的体系结构；b.根据图像处理层、并行处理层和操作控制层的视觉伺服控制策略，建立了机器人视觉伺服系统结构，并把系统分为左、右摄像机图像采集及目标识别子系统、图像匹配及预测子系统和主控系统四部分；c.研究直角坐标系之间的坐标变换关系，标定机器人坐标系和世界坐标系之间的变换矩阵；d.研究立体视觉平台结构，建立立体视觉运动学模型，设计应用于机器人视觉伺服系统的立体视觉平台；e.根据摄像机成像模型，研究摄像机参数的标定方法，完成了摄像机标定；第二步，目标的检测与定位研究，a.介绍一种基于机器人视觉伺服的目标检测与定位方法，根据不同的伺服任务确定相应的目标检测方法；b.针对两幅图像当前目标检测结果以及前一时刻的目标检测结果，运用提出的两阶段的立体匹配算法确定最佳立体匹配集合；c.根据双目立体视觉测距的数学模型和匹配点选择方案计算目标当前时刻和前一时刻之间的奇次变换关系；为以后的目标预测和机器人轨迹规划提供计算数据；第三步，运动目标跟踪及预测研究，a.介绍一种在自然环境中运动目标跟踪和预测的方法，并根据结果设计一种机器人轨迹规划策略；b.在运动目标预测过程中，采用带多重观测滞后系统稳态卡尔曼估计器模型中卡尔曼预报的方法实现运动目标的状态估计，并根据预测结果设计了双目平台控制策略和机器人轨迹规划策略；c.在摄像机控制过程中分析单摄像机跟踪控制原理，并在此基础上提出一种双目协调控制策略，实现了双目平台对运动目标的跟踪；d.给出一种控制双目平台的安全保护方案，实现双目平台快速、可靠、安全的跟踪运动目标的方法；e.介绍一种机器人路径规划方法，该方法在机器人路径实时修正过程中具有快速响应、安全可靠的特性；第四步，机器人立体视觉伺服系统的并行处理研究，a.介绍一种机器人立体视觉伺服系统图像处理的并行化策略，根据并行处理的设计步骤，通过对串行程序的分析和并行层次划分原理，设置了一种并行划分规则；b.针对在不降低伺服周期的前提下提高定位精度和识别率的目的，设计了一种自适应负载平衡算法；c.在自适应负载平衡算法中通过使用LC测度来进行处理器参数的调整，建立一组适当的目标检测和定位参数的组合，实现各个处理器QoS的优化，满足了机器人视觉伺服系统在伺服周期、伺服精度和鲁棒性之间的平衡；d.在系统通讯中，采用编码组合方法解决图像传输中的乱序的现象，提高系统的鲁棒性；e.从并行算法中的运行时间、加速比和并行效率方面分析并行化策略的性能；f.对系统的可扩展性进行分析，并给出处理措施；第五步，机器人实时立体视觉伺服系统演示实验，a.通过双目机构平台及RX机器人，多台计算机，图像采集卡及CCD摄像机及相关硬件设备搭建机器人视觉伺服实验系统，并进行调试；b.系统的软件部分采用模块化和面向对象的设计思想，完成各个模块的功能；c.通过跟踪实验，验证算法的有效性和实时性。进一步地，所述第二步中的目标检测算法，提出可调节的图像处理策略实现在计算速度、计算精度和图像处理的鲁棒性之间的优化；通过各算法中的计算量调节参数，在确保计算周期不变的情况下调整图像处理系统的计算量，控制图像处理的鲁棒性和计算精度；该算法能够适应机器人伺服中多种图像处理的要求，同时为实现系统的并行化计算提供理论基础。进一步地，所述第六步中的RX机器人为RX60机器人。本专利技术与现有技术相比较，本专利技术的机器人立体视觉伺服系统组建方法，通过对图像的运动目标跟踪和捕获进行研究，采用立体视觉伺服系统实现视频信息的采集、处理、识别、跟踪及定位，同时通过基于位置的机器人视觉控制方法实现运动目标跟踪和捕获，并运用网络进行信息的传输。具体实施方式本专利技术的机器人立体视觉伺服系统组建方法，所述方法包括以下步骤：第一步，机器人立体视觉伺服系统体系结构及立体视觉系统模型建立，a.介绍机器人立体视觉伺服系统模型，通过分层设计的方法研究基于并行处理的视觉伺服系统的体系结构；b.根据图像处理层、并行处理层和操作控制层的视觉伺服控制策略，建立了机器人视觉伺服系统结构，并把系统分为左、右摄像机图像采集及目标识别子系统、图像匹配及预测子系统和主控系统四部分；c.研究直角坐标系之间的坐标变换关系，标定机器人坐标系和世界坐标系之间的变换矩阵；d.研究立体视觉平台结构，建立立体视觉运动学模型，设计应用于机器人视觉伺服系统的立体视觉平台；e.根据摄像机成像模型，研究摄像机参数的标定方法，完成了摄像机标定；第二步，目标的检测与定位研究，a.介绍一种基于机器人视觉伺服的目标检测与定位方法，根据不同的伺服任务确定相应的目标检测方法；b.针对两幅图像当前目标检测结果以及前一时刻的目标检测结果，运用提出的两阶段的立体匹配算法确定最佳立体匹配集合；c.根据双目立体视觉测距的数学模型和匹配点选择方案计算目标当前时刻和前一时刻之间的奇次变换关系；为以后的目标预测和机器人轨迹规划提供计算数据；第三步，运动目标跟踪及预测研究，a.介绍一种在自然环境中运动目标跟踪和预测的方法，并根据本文档来自技高网...

【技术保护点】
一种机器人立体视觉伺服系统组建方法，其特征在于，所述方法包括以下步骤：第一步，机器人立体视觉伺服系统体系结构及立体视觉系统模型建立，a.介绍机器人立体视觉伺服系统模型，通过分层设计的方法研究基于并行处理的视觉伺服系统的体系结构；b.根据图像处理层、并行处理层和操作控制层的视觉伺服控制策略，建立了机器人视觉伺服系统结构，并把系统分为左、右摄像机图像采集及目标识别子系统、图像匹配及预测子系统和主控系统四部分；c.研究直角坐标系之间的坐标变换关系，标定机器人坐标系和世界坐标系之间的变换矩阵；d.研究立体视觉平台结构，建立立体视觉运动学模型，设计应用于机器人视觉伺服系统的立体视觉平台；e.根据摄像机成像模型，研究摄像机参数的标定方法，完成了摄像机标定；第二步，目标的检测与定位研究，a.介绍一种基于机器人视觉伺服的目标检测与定位方法，根据不同的伺服任务确定相应的目标检测方法；b.针对两幅图像当前目标检测结果以及前一时刻的目标检测结果，运用提出的两阶段的立体匹配算法确定最佳立体匹配集合；c.根据双目立体视觉测距的数学模型和匹配点选择方案计算目标当前时刻和前一时刻之间的奇次变换关系；为以后的目标预测和机器人轨迹规划提供计算数据；第三步，运动目标跟踪及预测研究，a.介绍一种在自然环境中运动目标跟踪和预测的方法，并根据结果设计一种机器人轨迹规划策略；b.在运动目标预测过程中，采用带多重观测滞后系统稳态卡尔曼估计器模型中卡尔曼预报的方法实现运动目标的状态估计，并根据预测结果设计了双目平台控制策略和机器人轨迹规划策略；c.在摄像机控制过程中分析单摄像机跟踪控制原理，并在此基础上提出一种双目协调控制策略，实现了双目平台对运动目标的跟踪；d.给出一种控制双目平台的安全保护方案，实现双目平台快速、可靠、安全的跟踪运动目标的方法；e.介绍一种机器人路径规划方法，该方法在机器人路径实时修正过程中具有快速响应、安全可靠的特性；第四步，机器人立体视觉伺服系统的并行处理研究，a.介绍一种机器人立体视觉伺服系统图像处理的并行化策略，根据并行处理的设计步骤，通过对串行程序的分析和并行层次划分原理，设置了一种并行划分规则；b.针对在不降低伺服周期的前提下提高定位精度和识别率的目的，设计了一种自适应负载平衡算法；c.在自适应负载平衡算法中通过使用LC测度来进行处理器参数的调整，建立一组适当的目标检测和定位参数的组合，实现各个处理器QoS的优化，满足了机器人视觉伺服系统在伺服周期、伺服精度和鲁棒性之间的平衡；d.在系统通讯中，采用编码组合方法解决图像传输中的乱序的现象，提高系统的鲁棒性；e.从并行算法中的运行时间、加速比和并行效率方面分析并行化策略的性能；f.对系统的可扩展性进行分析，并给出处理措施；第五步，机器人实时立体视觉伺服系统演示实验，a.通过双目机构平台及RX机器人，多台计算机，图像采集卡及CCD摄像机及相关硬件设备搭建机器人视觉伺服实验系统，并进行调试；b.系统的软件部分采用模块化和面向对象的设计思想，完成各个模块的功能；c.通过跟踪实验，验证算法的有效性和实时性。...

【技术特征摘要】
1.一种机器人立体视觉伺服系统组建方法，其特征在于，所述方法包括以下步骤：第一步，机器人立体视觉伺服系统体系结构及立体视觉系统模型建立，a.介绍机器人立体视觉伺服系统模型，通过分层设计的方法研究基于并行处理的视觉伺服系统的体系结构；b.根据图像处理层、并行处理层和操作控制层的视觉伺服控制策略，建立了机器人视觉伺服系统结构，并把系统分为左、右摄像机图像采集及目标识别子系统、图像匹配及预测子系统和主控系统四部分；c.研究直角坐标系之间的坐标变换关系，标定机器人坐标系和世界坐标系之间的变换矩阵；d.研究立体视觉平台结构，建立立体视觉运动学模型，设计应用于机器人视觉伺服系统的立体视觉平台；e.根据摄像机成像模型，研究摄像机参数的标定方法，完成了摄像机标定；第二步，目标的检测与定位研究，a.介绍一种基于机器人视觉伺服的目标检测与定位方法，根据不同的伺服任务确定相应的目标检测方法；b.针对两幅图像当前目标检测结果以及前一时刻的目标检测结果，运用提出的两阶段的立体匹配算法确定最佳立体匹配集合；c.根据双目立体视觉测距的数学模型和匹配点选择方案计算目标当前时刻和前一时刻之间的奇次变换关系；为以后的目标预测和机器人轨迹规划提供计算数据；第三步，运动目标跟踪及预测研究，a.介绍一种在自然环境中运动目标跟踪和预测的方法，并根据结果设计一种机器人轨迹规划策略；b.在运动目标预测过程中，采用带多重观测滞后系统稳态卡尔曼估计器模型中卡尔曼预报的方法实现运动目标的状态估计，并根据预测结果设计了双目平台控制策略和机器人轨迹规划策略；c.在摄像机控制过程中分析单摄像机跟踪控制原理，并在此基础上提出一种双目协调控制策略，实现了双目平台对运动目标的跟踪；d.给出一种控制双目平台的安全保护方案，实现双目平台快速、可靠、安全的跟踪运动目标的方法；e...

【专利技术属性】
技术研发人员：常琳，
申请(专利权)人：哈尔滨工大天才智能科技有限公司，
类型：发明
国别省市：黑龙江,23