一种基于单双目摄像头结合的机械臂自主搬运系统技术方案

本发明专利技术提供一种基于单双目摄像头结合的机械臂自主搬运系统，包括：语音交互模块，用于将用户的自然语言指令解析成对应的操作编码；图像采集模块，用于采集目标体所在场景的彩色图像信息和点云信息；数据处理模块，用于将接收到的操作编码转换为操作指令，并根据获取的彩色图像信息和点云信息，对障碍物位置进行分析及对目标体位置姿态进行估计和优化，生成轨迹信息；机械臂运动规划模块，用于将操作指令转换成控制指令，并根据控制指令和轨迹信息驱动七自由度机械臂运作；七自由度机械臂，用于执行相应操作并反馈关节角信息；可视化图形界面模块，用于展现机械臂周围的局部环境及机械臂实时的运动状态。本发明专利技术能够提高机械臂抓取精度。

An autonomous handling system of manipulator based on the combination of monocular camera and binocular camera

【技术实现步骤摘要】
一种基于单双目摄像头结合的机械臂自主搬运系统
本专利技术涉及机械臂控制
，特别涉及一种基于单双目摄像头结合的机械臂自主搬运系统。
技术介绍
随着科技的进步，尤其是对机器人技术至关重要的传感器技术、计算机技术、电子技术及人工智能技术的高速发展，人们已不再满足机器人在固定环境按照程序设定的功能进行重复的操作。为了使机器人能够安全有效地与人类一起操作，他们必须了解周围环境。这种意识的一个方面是知道场景中物体的3D位置和方向，通常称为6-DoF(自由度)姿态，这些知识对于执行对象的自主搬运即抓取、运输、放置非常重要，机器人只要知道工件在自己工作空间的准确位姿，便可以对该工件实施相应的操作。机械臂作为机器人的一种特殊形式，主要运用于自主搬运、焊接、组装等工作。因此研究一个物体的位姿计算方式，对机械臂的自主搬运具有重大意义。人工智能的高速发展必定伴随着对各行各业的改造。以深度学习为代表的算法也在不断颠覆各种传统机器视觉算法，并且已经在环境感知方面有了显著的效果，虽然已经出现了仅基于深度学习的方法利用单目摄像头去估计物体的姿态，但是依旧遭受很多局限，如光照、遮挡。因此探索一种单双目结合的方法去估计目标体的位姿，可以更好的适应多变的环境、并有效提高目标体的姿态估计精度。
技术实现思路
本专利技术的目的在于提供一种基于单双目摄像头结合的机械臂自主搬运系统，利用深度信息和彩色图像信息的融合分析，来解决现有状况下机械臂搬运方案中存在的抓取不精确、障碍物遮挡等问题。为解决上述技术问题，本专利技术的实施例提供如下方案：一种基于单双目摄像头结合的机械臂自主搬运系统，包括：语音交互模块，用于将用户的自然语言指令解析成对应的操作编码，并发送至数据处理模块；图像采集模块，用于采集目标体所在场景的彩色图像信息和点云信息，并发送至数据处理模块；数据处理模块，用于将接收到的操作编码转换为操作指令发送给机械臂运动规划模块，并根据获取的彩色图像信息和点云信息，对障碍物位置进行分析及对目标体位置姿态进行估计和优化，生成轨迹信息发送给机械臂运动规划模块；机械臂运动规划模块，用于将接收到的操作指令转换成控制指令，并根据所述控制指令和所述轨迹信息驱动七自由度机械臂运作；七自由度机械臂，用于根据所述控制指令和所述轨迹信息进行相应操作，并将关节角信息发送给所述数据处理模块；可视化图形界面模块，用于根据所述数据处理模块中的彩色图像信息、点云信息和关节角信息展现机械臂周围的局部环境以及机械臂实时的运动状态。优选地，所述语音交互模块包括：语音处理单元，用于接收用户的自然语言指令，包括：用户唤醒设备语音指令、用户说出的机械臂具体操作语音指令，并转化为相应的数字信号；语义理解单元，用于解析所述语音处理单元传来的数字信号，将用户的自然语言指令解析拆分成多个词典的组合，判断用户想要表达的操作，并对每种操作各生成一段md5码，发送给所述数据处理模块。优选地，每个所述词典代表一个领域词的集合，所述词典包括：目标体所在地点构建的词典、目标体种类构建的词典、对目标体的操作构建的词典。优选地，所述图像采集模块包括：双目摄像机，安装于预设的固定位置，用于采集目标体所在场景的点云信息以及全景RGB彩色图像信息，并通过usb3.0接口交予所述数据处理模块进行分析；单目摄像机，安装于机械臂末端，能够随着机械臂运动，用于采集目标体所在场景的局部彩色图像信息，并通过usb2.0接口交予所述数据处理模块进行分析。优选地，所述数据处理模块包括：语音指令解译单元，用于识别所述语音交互模块传来的操作编码，获悉用户想表达的具体操作，并转换为操作指令发送给机械臂运动规划模块；彩色图像数据处理单元，用于根据获取的彩色图像信息对目标体进行分析，并通过深度学习策略计算出目标体在空间中的初步位置姿态；点云数据处理单元，融合所述彩色图像数据处理单元的分析结果，用于计算目标体的质心并获悉其大体位置，计算障碍物的质心、尺寸以及优化由所述彩色图像处理单元估计出的目标体在空间中的初步位置姿态，得到最终位置姿态并生成轨迹信息交予所述机械臂运动规划模块；可视化界面数据处理单元，用于将接收到的关节角信息、彩色图像信息、点云信息交予所述可视化图形界面模块。优选地，所述深度学习策略为搭建轻量级卷积神经网络用于特征提取，根据相应的数据集，通过离线训练的方式，训练出能够由一张目标体二维彩色图像映射出其在三维空间姿态的网络；所述数据集以三维仿真软件制作，包括物体在一定视角下的彩色图片，以及在该视角下的三维空间中包含物体的最小长方体八个角点和一个中心点在二维图片中的映射信息。优选地，所述机械臂运动规划模块具体用于接收所述数据处理模块输出的目标体位置姿态信息、障碍物的空间位置和尺寸信息，进行逆运动学运算，在空间中规划出一条有效运动轨迹，生成轨迹信息发送至所述七自由度机械臂。优选地，所述七自由度机械臂包括嵌入式驱动单元和机械臂关节，所述嵌入式驱动单元用于接收所述控制指令和所述轨迹信息，转化为相应的电压、电流信号，驱动电机运转，使所述机械臂关节运动到目标位置姿态，并实时检测关节角信息传输至所述数据处理模块。优选地，所述嵌入式驱动单元包括角速度传感器，所述角速度传感器用于检测关节角信息，所述角速度传感器通过检测关节角速度并在相应的时间进程里积分获取关节角度，微分获取其加速度，以CAN总线传输至所述数据处理模块。优选地，所述可视化图形界面模块具体用于接收所述数据处理模块发出的关节角信息、彩色图像信息、点云信息，并在三维仿真环境中使机械臂仿真模型根据关节角信息运动，并让目标物和障碍物以最简形式展示在界面上，以进行观测。本专利技术的上述方案至少包括以下有益效果：上述方案中，用户发出自然语言指令，语音交互模块将自然语言指令解析成对应的操作编码，发送至数据处理模块，判断出用户想要进行的操作；图像采集模块采集目标体所在场景的彩色图像信息和点云信息，发送至数据处理模块；数据处理模块将操作编码转换为操作指令发送给机械臂运动规划模块，并分析获取的彩色图像信息和点云信息，估计出目标体的位置姿态，生成轨迹信息发送给机械臂运动规划模块；机械臂运动规划模块获取到目标体精确位姿信息及轨迹信息后，驱动七自由度机械臂完成相应操作功能。本专利技术基于单双目摄像头结合，将深度信息和RGB彩色图像信息融合，能够有效提高抓取精度，具有广泛的应用前景。附图说明图1是本专利技术实施例提供的机械臂自主搬运系统的结构示意图；图2是本专利技术实施例提供的语音交互模块的示意框图；图3是本专利技术实施例提供的解析用户语音的方法流程图；图4是本专利技术实施例提供的单双目摄像头信息融合的原理示意图；图5是本专利技术实施例提供的目标体姿态估计的方法流程图；图6是本专利技术实施例提供的机械臂控制、驱动、可视化原理示意图。附图标记说明：1-语音交互模块；2-图像采集模块；20本文档来自技高网...

【技术保护点】
1.一种基于单双目摄像头结合的机械臂自主搬运系统，其特征在于，包括：/n语音交互模块，用于将用户的自然语言指令解析成对应的操作编码，并发送至数据处理模块；/n图像采集模块，用于采集目标体所在场景的彩色图像信息和点云信息，并发送至数据处理模块；/n数据处理模块，用于将接收到的操作编码转换为操作指令发送给机械臂运动规划模块，并根据获取的彩色图像信息和点云信息，对障碍物位置进行分析及对目标体位置姿态进行估计和优化，生成轨迹信息发送给机械臂运动规划模块；/n机械臂运动规划模块，用于将接收到的操作指令转换成控制指令，并根据所述控制指令和所述轨迹信息驱动七自由度机械臂运作；/n七自由度机械臂，用于根据所述控制指令和所述轨迹信息进行相应操作，并将关节角信息发送给所述数据处理模块；/n可视化图形界面模块，用于根据所述数据处理模块中的彩色图像信息、点云信息和关节角信息展现机械臂周围的局部环境以及机械臂实时的运动状态。/n

【技术特征摘要】
1.一种基于单双目摄像头结合的机械臂自主搬运系统，其特征在于，包括：
语音交互模块，用于将用户的自然语言指令解析成对应的操作编码，并发送至数据处理模块；
图像采集模块，用于采集目标体所在场景的彩色图像信息和点云信息，并发送至数据处理模块；
数据处理模块，用于将接收到的操作编码转换为操作指令发送给机械臂运动规划模块，并根据获取的彩色图像信息和点云信息，对障碍物位置进行分析及对目标体位置姿态进行估计和优化，生成轨迹信息发送给机械臂运动规划模块；
机械臂运动规划模块，用于将接收到的操作指令转换成控制指令，并根据所述控制指令和所述轨迹信息驱动七自由度机械臂运作；
七自由度机械臂，用于根据所述控制指令和所述轨迹信息进行相应操作，并将关节角信息发送给所述数据处理模块；
可视化图形界面模块，用于根据所述数据处理模块中的彩色图像信息、点云信息和关节角信息展现机械臂周围的局部环境以及机械臂实时的运动状态。


2.根据权利要求1所述的机械臂自主搬运系统，其特征在于，所述语音交互模块包括：
语音处理单元，用于接收用户的自然语言指令，包括：用户唤醒设备语音指令、用户说出的机械臂具体操作语音指令，并转化为相应的数字信号；
语义理解单元，用于解析所述语音处理单元传来的数字信号，将用户的自然语言指令解析拆分成多个词典的组合，判断用户想要表达的操作，并对每种操作各生成一段md5码，发送给所述数据处理模块。


3.根据权利要求2所述的机械臂自主搬运系统，其特征在于，每个所述词典代表一个领域词的集合，所述词典包括：目标体所在地点构建的词典、目标体种类构建的词典、对目标体的操作构建的词典。


4.根据权利要求1所述的机械臂自主搬运系统，其特征在于，所述图像采集模块包括：
双目摄像机，安装于预设的固定位置，用于采集目标体所在场景的点云信息以及全景RGB彩色图像信息，并通过usb3.0接口交予所述数据处理模块进行分析；
单目摄像机，安装于机械臂末端，能够随着机械臂...

【专利技术属性】
技术研发人员：解仑，周旭，左利钢，王志良，王先梅，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京;11