【技术实现步骤摘要】
一种基于单双目摄像头结合的机械臂自主搬运系统
本专利技术涉及机械臂控制
，特别涉及一种基于单双目摄像头结合的机械臂自主搬运系统。
技术介绍
随着科技的进步，尤其是对机器人技术至关重要的传感器技术、计算机技术、电子技术及人工智能技术的高速发展，人们已不再满足机器人在固定环境按照程序设定的功能进行重复的操作。为了使机器人能够安全有效地与人类一起操作，他们必须了解周围环境。这种意识的一个方面是知道场景中物体的3D位置和方向，通常称为6-DoF(自由度)姿态，这些知识对于执行对象的自主搬运即抓取、运输、放置非常重要，机器人只要知道工件在自己工作空间的准确位姿，便可以对该工件实施相应的操作。机械臂作为机器人的一种特殊形式，主要运用于自主搬运、焊接、组装等工作。因此研究一个物体的位姿计算方式，对机械臂的自主搬运具有重大意义。人工智能的高速发展必定伴随着对各行各业的改造。以深度学习为代表的算法也在不断颠覆各种传统机器视觉算法，并且已经在环境感知方面有了显著的效果，虽然已经出现了仅基于深度学习的方法利用单目摄像头去估计物体的姿...
【技术保护点】
1.一种基于单双目摄像头结合的机械臂自主搬运系统，其特征在于，包括：/n语音交互模块，用于将用户的自然语言指令解析成对应的操作编码，并发送至数据处理模块；/n图像采集模块，用于采集目标体所在场景的彩色图像信息和点云信息，并发送至数据处理模块；/n数据处理模块，用于将接收到的操作编码转换为操作指令发送给机械臂运动规划模块，并根据获取的彩色图像信息和点云信息，对障碍物位置进行分析及对目标体位置姿态进行估计和优化，生成轨迹信息发送给机械臂运动规划模块；/n机械臂运动规划模块，用于将接收到的操作指令转换成控制指令，并根据所述控制指令和所述轨迹信息驱动七自由度机械臂运作；/n七自由度...
【技术特征摘要】
1.一种基于单双目摄像头结合的机械臂自主搬运系统，其特征在于，包括：
语音交互模块，用于将用户的自然语言指令解析成对应的操作编码，并发送至数据处理模块；
图像采集模块，用于采集目标体所在场景的彩色图像信息和点云信息，并发送至数据处理模块；
数据处理模块，用于将接收到的操作编码转换为操作指令发送给机械臂运动规划模块，并根据获取的彩色图像信息和点云信息，对障碍物位置进行分析及对目标体位置姿态进行估计和优化，生成轨迹信息发送给机械臂运动规划模块；
机械臂运动规划模块，用于将接收到的操作指令转换成控制指令，并根据所述控制指令和所述轨迹信息驱动七自由度机械臂运作；
七自由度机械臂，用于根据所述控制指令和所述轨迹信息进行相应操作，并将关节角信息发送给所述数据处理模块；
可视化图形界面模块，用于根据所述数据处理模块中的彩色图像信息、点云信息和关节角信息展现机械臂周围的局部环境以及机械臂实时的运动状态。
2.根据权利要求1所述的机械臂自主搬运系统，其特征在于，所述语音交互模块包括：
语音处理单元，用于接收用户的自然语言指令，包括：用户唤醒设备语音指令、用户说出的机械臂具体操作语音指令，并转化为相应的数字信号；
语义理解单元，用于解析所述语音处理单元传来的数字信号，将用户的自然语言指令解析拆分成多个词典的组合，判断用户想要表达的操作，并对每种操作各生成一段md5码，发送给所述数据处理模块。
3.根据权利要求2所述的机械臂自主搬运系统，其特征在于，每个所述词典代表一个领域词的集合，所述词典包括：目标体所在地点构建的词典、目标体种类构建的词典、对目标体的操作构建的词典。
4.根据权利要求1所述的机械臂自主搬运系统，其特征在于，所述图像采集模块包括：
双目摄像机，安装于预设的固定位置，用于采集目标体所在场景的点云信息以及全景RGB彩色图像信息，并通过usb3.0接口交予所述数据处理模块进行分析；
单目摄像机，安装于机械臂末端，能够随着机械臂...
【专利技术属性】
技术研发人员：解仑，周旭，左利钢，王志良，王先梅，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。