一种基于双目视觉的双臂移动机器人系统技术方案

本发明专利技术提供一种基于双目视觉的双臂移动机器人系统，所述机器人具有一定自主性和智能性。所述系统包括：双目摄像头，用于实时采集目标物体的图像；工控机，用于依据双目摄像头采集的图像，得到目标物体的位置信息，并依据目标物体的位置信息生成电机控制指令及机械臂控制指令；串口协议转换器，用于对生成的电机控制指令及机械臂控制指令进行协议转换，并将转换后生成的电机控制指令及机械臂控制指令分别发送至移动底盘及机械臂；移动底盘，用于依据接收到的电机控制指令进行移动，使得机器人移动至目标物体所在的位置；机械臂，用于依据接收到的机械臂控制指令操作目标物体。本发明专利技术适用于机器人自主作业技术领域。

【技术实现步骤摘要】

本专利技术涉及机器人自主作业
，特别是指一种基于双目视觉的双臂移动机器人系统。
技术介绍
随着物联网、通信技术、视觉技术、智能技术的不断进步以及人类需求的不断增加，机器人的发展已经成为一种必然趋势，无论是在工业、医疗、家居、军事等各个领域，智能机器人都将为其提供巨大的便利，也必能颠覆传统的行业模式，发挥着前所未有的作用。但现有的很多机器人功能单一、智能化程度还相对较低，且多数都是非自主或半自主的工作模式，缺乏一定的自主性和智能性。例如，虽然有些机器人可以通过传感技术和无线传输技术实现无线遥控，但大多数仍属于单向控制，无法形成反馈实现自主作业。尽管现在机器人的使用已相对广泛，但大多数的应用还是非自主作业，在某些特殊的环境下还需要人为的参与，尤其是在一些恶劣的工作环境下，安全系数低，对人体会有一定的伤害，导致面临的问题依旧比较严峻。
技术实现思路
本专利技术要解决的技术问题是提供一种基于双目视觉的双臂移动机器人系统，以解决现有技术所存在的机器人智能化程度相对较低，缺乏一定的自主性和智能性的问题。为解决上述技术问题，本专利技术实施例提供一种基于双目视觉的双臂移动机器人系统，包括：双目摄像头、工控机、串口协议转换器、机械臂及移动底盘；其中，所述双目摄像头，用于实时采集目标物体的图像，并将采集到的所述图像上传至所述工控机；所述工控机，用于对接收到的所述图像进行处理，得到所述目标物体的位置信息，并依据所述目标物体的位置信息生成电机控制指令及机械臂控制指令，并将生成的所述电机控制指令及机械臂控制指令发送至所述串口协议转换器；所述串口协议转换器，用于对接收到的所述电机控制指令及机械臂控制指令进行协议转换，并将转换后生成的电机控制指令及机械臂控制指令分别发送至所述移动底盘及机械臂；所述移动底盘，用于依据接收到的所述电机控制指令进行移动，使得所述机器人移动至所述目标物体所在的位置；所述机械臂，用于依据接收到的所述机械臂控制指令操作所述目标物体。进一步地，所述双目摄像头包括：第一摄像头及第二摄像头；所述第一摄像头及第二摄像头位于所述机器人的头部，呈左右对称分布。进一步地，所述工控机包括：协同控制中心模块；所述协同控制中心模块，具体用于对所述双目摄像头采集到的图像进行目标检测，识别所述图像中的目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐标，将所述目标物体在第一摄像及第二摄像头下的图像坐标转换成所述目标物体的空间三维坐标，并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制指令，并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器。进一步地，所述工控机还包括：显示器；所述协同控制中心模块，具体用于根据接收到的所述图像，通过Hough圆检测算法和轮廓提取算法识别出所述图像中的所述目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐标，根据所述目标物体在第一摄像及第二摄像头下的图像坐标，通过最小二乘法得到所述目标物体的空间三维坐标，并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制指令，并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器；还用于将识别出的所述目标物体、得到的所述目标物体在第一摄像及第二摄像头下的图像坐标显示在所述显示器上。进一步地，所述协同控制中心模块，还用于在所述双目摄像头采集所述目标物体的图像之前，对所述双目摄像头进行标定、校正、匹配所述协同控制中心模块，还用于在所述双目摄像头采集所述目标物体的图像之前，对所述双目摄像头进行标定、校正、匹配。进一步地，所述协同控制中心模块，还用于在所述双目视觉模块采集所述目标物体的图像之前，利用张正友标定方法对所述双目摄像头进行标定，利用Bouguet极线校正方法或Hartley校正方法对所述双目摄像头进行校正，利用BM匹配方法或SGBM匹配方法对所述双目摄像头进行匹配。进一步地，所述串口协议转换器包括：串口协议转换模块；所述串口协议转换模块，用于对接收到的所述电机控制指令及机械臂控制指令进行协议转换，并将转换后生成的十六进制电机控制指令及十六进制机械臂控制指令分别发送至所述移动底盘及机械臂。进一步地，所述机械臂包括多个数字舵机，由所述多个数字舵机构成两个各具有三自由度的机械臂；两个机械臂呈左右对称分布在机器人的两侧，各数字舵机之间通过串联的方式连接。进一步地，所述移动底盘包括：电机驱动模块及移动装置；所述移动装置包括：伺服电机、全向轮、码盘；所述电机驱动模块，用于根据所述串口协议转换模块发送的所述电机控制指令，驱动所述伺服电机控制所述全向轮进行运动，并依据所述码盘产生的码盘信号得到所述机器人的当前位置信息，并将所述机器人的当前位置信息通过所述串口协议转换模块上传至所述协同控制中心模块。进一步地，所述串口协议转换模块通过第一R232通信串口与所述工控机相连；所述串口协议转换模块通过第一RS485通信串口与所述机械臂相连；所述串口协议转换模块通过第二RS485通信串口与所述电机驱动模块相连。本专利技术的上述技术方案的有益效果如下：上述方案中，通过双目摄像头实时采集目标物体的图像；通过工控机对采集的所述图像进行处理，得到目标物体的位置信息，并依据目标物体的位置信息生成电机控制指令及机械臂控制指令，并将生成的电机控制指令及机械臂控制指令发送至串口协议转换器；通过串口协议转换器对所述电机控制指令及机械臂控制指令进行协议转换，并将转换后生成的电机控制指令及机械臂控制指令分别发送至移动底盘及机械臂，使得机器人通过移动底盘移动至目标物体所在的位置，并使得机械臂依据所述机械臂控制指令操作目标物体。这样，根据双目摄像头采集到的目标物体的图像，使得机器人能够自主移动至所述目标物体所在的位置，并去操作该目标物体，所述机器人具有一定自主性和智能性。附图说明图1为本专利技术实施例提供的基于双目视觉的双臂移动机器人系统的结构示意图；图2为本专利技术实施例提供的基于双目视觉的双臂移动机器人系统的详细结构示意图；图3为本专利技术实施例提供的基于双目视觉的双臂移动机器人系统的工作流程示意图；图4为本专利技术实施例提供的生成目标物体的空间三维坐标的工作流程示意图；图5为本专利技术实施例提供的实现机器人自主移动的工作流程示意图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本专利技术针对现有的机器人智能化程度相对较低，缺乏一定的自主性和智能性的问题，提供一种基于双目视觉的双臂移动机器人系统。实施例一参看图1所述，本专利技术实施例提供的基于双目视觉的双臂移动机器人系统，包括:双目摄像头1、工控机2、串口协议转换器5、机械臂4及移动底盘3；其中，所述双目摄像头1，用于实时采集目标物体的图像，并将采集到的所述图像上传至所述工控机2；所述工控机2，用于对接收到的所述图像进行处理，得到所述目标物体的位置信息，并依据所述目标物体的位置信息生成电机控制指令及机械臂4控制指令，并将生成的所述电机控制指令及机械臂4控制指令发送至所述串口协议转换器5；所述串口协议转换器5，用于对接收到的所述电机控制指令及机械臂4控制指令进行协议转换，并将转换后生成的电机控制指令及机械臂4控制指令分别发送至所述移动底盘3及机械臂4；所述移动底盘3本文档来自技高网...

【技术保护点】
一种基于双目视觉的双臂移动机器人系统，其特征在于，包括：双目摄像头、工控机、串口协议转换器、机械臂及移动底盘；其中，所述双目摄像头，用于实时采集目标物体的图像，并将采集到的所述图像上传至所述工控机；所述工控机，用于对接收到的所述图像进行处理，得到所述目标物体的位置信息，并依据所述目标物体的位置信息生成电机控制指令及机械臂控制指令，并将生成的所述电机控制指令及机械臂控制指令发送至所述串口协议转换器；所述串口协议转换器，用于对接收到的所述电机控制指令及机械臂控制指令进行协议转换，并将转换后生成的电机控制指令及机械臂控制指令分别发送至所述移动底盘及机械臂；所述移动底盘，用于依据接收到的所述电机控制指令进行移动，使得所述机器人移动至所述目标物体所在的位置；所述机械臂，用于依据接收到的所述机械臂控制指令操作所述目标物体。

【技术特征摘要】
1.一种基于双目视觉的双臂移动机器人系统，其特征在于，包括：双目摄像头、工控机、串口协议转换器、机械臂及移动底盘；其中，所述双目摄像头，用于实时采集目标物体的图像，并将采集到的所述图像上传至所述工控机；所述工控机，用于对接收到的所述图像进行处理，得到所述目标物体的位置信息，并依据所述目标物体的位置信息生成电机控制指令及机械臂控制指令，并将生成的所述电机控制指令及机械臂控制指令发送至所述串口协议转换器；所述串口协议转换器，用于对接收到的所述电机控制指令及机械臂控制指令进行协议转换，并将转换后生成的电机控制指令及机械臂控制指令分别发送至所述移动底盘及机械臂；所述移动底盘，用于依据接收到的所述电机控制指令进行移动，使得所述机器人移动至所述目标物体所在的位置；所述机械臂，用于依据接收到的所述机械臂控制指令操作所述目标物体。2.根据权利要求1所述的基于双目视觉的双臂移动机器人系统，其特征在于，所述双目摄像头包括：第一摄像头及第二摄像头；所述第一摄像头及第二摄像头位于所述机器人的头部，呈左右对称分布。3.根据权利要求2所述的基于双目视觉的双臂移动机器人系统，其特征在于，所述工控机包括：协同控制中心模块；所述协同控制中心模块，具体用于对所述双目摄像头采集到的图像进行目标检测，识别所述图像中的目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐标，将所述目标物体在第一摄像及第二摄像头下的图像坐标转换成所述目标物体的空间三维坐标，并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制指令，并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器。4.根据权利要求3所述的基于双目视觉的双臂移动机器人系统，其特征在于，所述工控机还包括：显示器；所述协同控制中心模块，具体用于根据接收到的所述图像，通过Hough圆检测算法和轮廓提取算法识别出所述图像中的所述目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐标，根据所述目标物体在第一摄像及第二摄像头下的图像坐标，通过最小二乘法得到所述目标物体的空间三维坐标，并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制指令，并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器；还用于...

【专利技术属性】
技术研发人员：解仑，马洪岳，纪小建，王志良，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京;11