使用独立致动视觉系统的机器人操纵技术方案

本公开提供了“使用独立致动视觉系统的机器人操纵”。一种自动化系统包括：操纵系统，所述操纵系统包括用于将对象移动到目标位置的操纵器；视觉系统，所述视觉系统用于检测所述对象和所述目标位置上的界标；以及学习和控制模块。所述视觉系统是可移动的。所述学习和控制模块被配置为控制所述操纵器的移动并独立于所述操纵器的所述移动而改变所述视觉系统的视野。

Robot control using independent actuation vision system

【技术实现步骤摘要】
使用独立致动视觉系统的机器人操纵
本公开涉及自动化系统，并且更具体地涉及用于基于界标检测来控制和操作自动化系统的系统及方法。
技术介绍
本部分中的说明仅提供与本公开相关的背景信息，并且可以不构成现有技术。视觉伺服已被用于自动化系统中。视觉伺服是指基于视觉的机器人控制，它使用视觉数据执行任务，诸如组装、交付或检查单个机器部件或组装好的机器部件。界标检测是许多自动化任务的核心。界标检测使用由视觉系统捕获的视觉数据来检测机器部件或组装的机器部件上的感兴趣点或参考点(即，界标)。机器部件上的示例性界标包括：螺纹孔的中心、销或螺钉的尖端和轴线、齿轮件的中心、齿轮齿、车门的铰链等。通常，基于界标检测操作自动化系统具有其局限性。首先，很难手动开发适合于可靠检测各种对象上的界标的特征提取方案。即使成功开发了这种算法，也必须将它们根据特定机器部件进行定制，并且不能在其他应用中使用。例如，螺钉尖端检测算法不能用于检测齿轮齿，反之亦然。其次，在各种对象或机器部件移动的动态环境中，难以正确地调整相机的视野。有时，相机的视野可能会被完全遮挡，或者对于界标检测而言可能不是最佳的。第三，难以同时自动控制视觉系统和机器人操纵器两者。在本公开中解决了上述问题和相关需求。
技术实现思路
在本公开的一种形式中，提供了一种自动化系统，所述自动化系统包括：操纵系统，所述操纵系统包括用于将对象移动到目标位置的操纵器；视觉系统，所述视觉系统用于检测所述对象和所述目标位置上的界标；以及学习和控制模块。所述视觉系统是可移动的。所述学习和控制模块被配置为控制所述操纵器的移动并独立于所述操纵器的所述移动而改变所述视觉系统的视野。在其他特征中，所述视觉系统包括至少一个可移动相机。所述至少一个可移动相机的位置和定向相对于所述操纵器是可独立控制的。所述学习和控制模块被配置为调整所述相机的所述视野使得当所述对象朝向所述目标位置移动时，所述对象与所述目标位置之间的距离在所述视野中最大。所述学习和控制模块被配置为控制所述操纵器，以在控制所述视觉系统的所述相机的移动和姿态的同时将所述对象更靠近所述目标位置移动，以在所述相机的所述视野中获得所述对象与所述目标位置之间的最大距离。所述视觉系统安装在所述操纵系统上并且相对于所述操纵器可独立控制。所述学习和控制模块包括公共模块和多个输出模块。所述公共模块包括公共卷积网络并将预处理视觉数据输出到所述多个输出模块。所述输出模块中的一者是界标检测模块，所述界标检测模块输出所述界标的2D坐标。所述多个输出模块输出选自由以下各项组成的组的信息：所述对象的颜色、所述对象的形状、所述对象的部件类型、背景像素、所述相机的姿态以及所述相机与所述对象之间的距离。所述对象和所述目标位置是配合机器部件。所述操纵系统包括主机械臂和辅助机械臂。所述视觉系统安装到所述辅助机械臂。所述辅助机械臂可以包括一对内窥镜。在本公开的另一形式中，提供了一种控制自动化系统的方法。所述方法包括：将对象移向目标位置；以及当所述对象朝向所述目标位置移动时，连续并同时移动相机并调整所述相机的姿态使得所述对象与所述目标位置之间的距离在所述相机的视野中最大。在其他特征中，所述方法还可以包括捕获所述对象和所述目标位置的图像；获得所述对象和所述目标位置上的界标的坐标；独立于所述对象的所述移动来控制所述相机的所述移动和姿态；以及从捕获的图像中提取所述对象和所述目标位置上的界标的2D坐标，并基于从所述捕获的图像中提取的所述界标的所述2D坐标来移动所述对象，并且在捕获所述图像期间连续调整所述相机的姿态和移动。所述对象和所述目标位置是配合部件。应当注意，在以下描述中单独阐述的特征可以通过任何技术上有利的方式彼此组合并且阐述本公开的其他变型。所述描述另外具体结合附图表征并具体描述了本公开。根据本文提供的描述，进一步的应用领域将变得显而易见。应理解，这些描述和特定示例仅用于说明，而不意图限制本公开的范围。附图说明为了可以很好地理解本公开，现在将参考附图通过举例的方式描述本公开的各种形式，在附图中：图1是根据本公开的教导构造的自动化系统的示意图；图2是根据本公开的教导构造的自动化系统的变型的示意图；图3是根据本公开的教导构造的自动化系统的学习和控制模块的框图；图4A是图3的学习模块的框图；图4B是图3的学习模块的变型的框图；并且图5是根据本公开的教导的控制和操作自动化系统的方法的流程图。本文所描述的附图仅用于说明的目的，而不意图以任何方式限制本公开的范围。具体实施方式以下描述本质上仅是示例性的，并且决不意图对本公开、其应用或用途进行限制。应理解，贯穿附图，对应的附图标号指示相同或对应的部分和特征。在包括以下定义的本申请中，术语“模块”可以用术语“电路”替换。术语“模块”可指代以下项或是以下项的部分或包括以下项：专用集成电路(ASIC)；数字、模拟或混合式模拟/数字离散电路；数字、模拟或混合式模拟/数字集成电路；组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器电路(共享、专用或成组)；存储由处理器电路执行的代码的存储器电路(共享、专用或成组)；提供所述功能性的其他合适的硬件部件；或某些或所有上述的组合，诸如在片上系统中。模块可以包括一个或多个接口电路。在一些示例中，接口电路可以包括连接到局域网(LAN)、因特网、广域网(WAN)或其组合的有线或无线接口。本公开的任何给定模块的功能性可以分布在经由接口电路连接的多个模块中。例如，多个模块可以允许负载平衡。在另一示例中，服务器(又称为远程或云服务器)模块可以完成代表客户端模块的某些功能性。参考图1，根据本公开的教导构造的自动化系统10包括操纵系统12、视觉系统14，以及用于控制和操作操纵系统12和视觉系统14的学习和控制模块16(图3中示出)。操纵系统12包括一个或多个主机械臂18，以及可枢转地连接到主机械臂18的操纵器20，诸如末端执行器。操纵系统12被配置为将诸如机器部件的对象移动到目标位置(包括配对机器部件)以便进行诸如交付任务或组装任务的各种应用。在一种形式中，视觉系统14包括安装到机械臂24的至少一个相机22，所述机械臂可以是与操纵系统12分离的多关节常规机械臂。在另一种形式中，如图2中所示，视觉系统14'可以集成到操纵系统12中以形成集成的视觉和操纵系统24。视觉系统14'包括安装到辅助机械臂的至少一个相机22，所述辅助机械臂安装到主机械臂18。辅助机械臂具有多个自由度，使得可以独立于操纵器20来控制相机22，并且使得可以相对于操纵器20和相对于将要由操纵器20移动的对象来调整每个相机22的定向/姿态。相机22相对于操纵器20的定向/姿态以及相机22与操纵器20之间的距离可以独立于操纵器20来控制，以便获得对象和目标位置以及所述对象以及其上的界标的更好视图。在示例性实施例中，辅助机械臂可以为内窥镜28的形式。两个(或更多个)内窥镜相机可以附接到内窥本文档来自技高网...

【技术保护点】
1.一种自动化系统，其包括：/n操纵系统，其包括用于将对象移动到目标位置的操纵器；/n视觉系统，其用于检测所述对象和所述目标位置上的界标；以及/n学习和控制模块，其被配置为控制所述操纵器的移动并独立于所述操纵器的所述移动而改变所述视觉系统的视野。/n

【技术特征摘要】
20181121 US 16/197,6411.一种自动化系统，其包括：
操纵系统，其包括用于将对象移动到目标位置的操纵器；
视觉系统，其用于检测所述对象和所述目标位置上的界标；以及
学习和控制模块，其被配置为控制所述操纵器的移动并独立于所述操纵器的所述移动而改变所述视觉系统的视野。


2.如权利要求1所述的自动化系统，其中所述视觉系统是能够移动的，并且包括能够移动的至少一个相机，所述至少一个相机的位置和定向相对于所述操纵器是能够独立控制的。


3.如权利要求2所述的自动化系统，其中所述学习和控制模块被配置为移动所述至少一个相机并改变所述至少一个相机的姿态以调整所述至少一个相机的所述视野，优选地调整所述至少一个相机的所述姿态使得当所述对象朝向所述目标位置移动时，所述对象与所述目标位置之间的距离在所述视野中最大。


4.如权利要求1所述的自动化系统，其中所述学习和控制模块被配置为控制所述操纵器，以在控制所述视觉系统的相机的移动和姿态的同时将所述对象更靠近所述目标位置移动，以在所述相机的所述视野中获得所述对象与所述目标位置之间的最大距离。


5.如权利要求1所述的自动化系统，其中所述学习和控制模块包括公共模块和多个输出模块，所述通用模块包括公共卷积网络并且将预处理视觉数据输出到所述多个输出模块。


6.如权利要求5所述的自动化系统，其中所述输出模块中的一者是界标检测模块...

【专利技术属性】
技术研发人员：伊曼·索尔塔尼博兹查洛伊，弗朗西斯·阿萨迪安，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国;US