杂乱环境中可靠的机器人操纵制造技术

本公开至少涉及杂乱环境中可靠的机器人操纵。一个实施例可以提供一种机器人系统。该机器人系统可以包括：机器人臂，包含末端执行器；照明单元，包含多个不同颜色的单色光源；结构化光投影仪，用于将编码光图案投影到场景上；一个或多个相机，用于捕获由不同颜色的单色光源照明的场景的伪彩色图像和具有投影的编码光图案的场景图像；姿态确定单元，用于基于伪彩色图像和具有投影的编码光图案的场景图像来确定组件的姿态；路径计划单元，用于基于确定的组件姿态和末端执行器的当前姿态为末端执行器生成运动计划；以及机器人控制器，用于根据运动计划控制末端执行器的移动，以允许末端执行器抓取组件。许末端执行器抓取组件。许末端执行器抓取组件。

【技术实现步骤摘要】
杂乱环境中可靠的机器人操纵
[0001]相关申请
[0002]本申请要求于2022年4月20日提交的、专利技术人为Zheng Xu、John W.Wallerius和Adit A.Desai、标题为“RELIABLE ROBOTIC MANIPULATION IN A CLUTTERED ENVIRONMENT”的美国临时专利申请No.63/332,922的权益，其公开内容出于所有目的通过引用整体并入本文。


[0003]本公开一般而言涉及机器人系统的控制。特别地，本公开涉及基于机器学习模型和3D计算机视觉来控制机器人系统。

技术介绍

[0004]先进的机器人技术极大地改变了产品的生产方式，并引发了第四次工业革命(也称为工业4.0)。第四次工业革命通过允许计算机和机器人相互连接和通信，最终在没有人类参与的情况下做出决策而改进了第三次工业革命期间开发的计算和自动化技术。网络物理系统、物联网(IoT)和系统互联网(IoS)的结合使工业4.0成为可能，并且使智能工厂成为现实。智能机器(例如，机器人)在其获得更多数据和学习新技能时会变得更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人系统，包括：机器人臂，包括末端执行器；照明单元，包括多个不同颜色的单色光源；结构化光投影仪，用于将编码光图案投影到场景上；一个或多个相机，用于捕获由不同颜色的单色光源照明的场景的伪彩色图像和具有投影的编码光图案的场景图像；姿态确定单元，用于基于场景的伪彩色图像和具有投影的编码光图案的场景图像来确定关注的组件的姿态；路径计划单元，用于根据确定的组件的姿态和末端执行器的当前姿态为末端执行器生成移动计划；以及机器人控制器，用于根据运动计划控制末端执行器的移动，以允许末端执行器抓取关注的组件。2.如权利要求1所述的机器人系统，还包括误差补偿单元，用于补偿末端执行器的移动中的误差。3.如权利要求2所述的机器人系统，其中误差补偿单元将应用机器学习技术来确定与末端执行器的相机指示姿态对应的控制器期望姿态，使得当机器人控制器基于控制器期望姿态控制末端执行器的移动时，末端执行器实现如由相机所观察到的相机指示姿态。4.如权利要求1所述的机器人系统，其中不同颜色的单色光源被交替打开，一次一种颜色。5.如权利要求1所述的机器人系统，其中单色光源包括发光二极管(LED)，并且其中单色光源的颜色介于紫外和红外之间。6.如权利要求1所述的机器人系统，还包括图像分割单元，用于基于伪彩色图像为场景的图像生成分割掩码。7.如权利要求6所述的机器人系统，还包括：点云生成单元，用于通过将分割掩码叠加在具有投影的编码光图案的场景图像上来生成关注的组件的三维(3D)点云。8.如权利要求7所述的机器人系统，其中姿态确定单元基于组件的3D点云和几何模型来确定关注的组件的姿态。9.如权利要求6所述的机器人系统，其中图像分割单元通过实现包括基于掩码区域的卷积神经网络(掩码R
‑
CNN)的机器学习模型来生成分割掩码。10.如权利要求1所述的机器人系统，其中编码光图案是基于最大最小SW格雷码编码的。11.一种用于控制机器人臂的计算机...

【专利技术属性】
技术研发人员：徐征，J，
申请(专利权)人：埃博茨股份有限公司，
类型：发明
国别省市：