对象数据的自动收集和标记制造技术

关于现实环境中的物理对象的数据将被自动收集和标记。机械设备被用于在现实环境中的三维工作空间内将对象操作为不同的姿势。当对象处于每个不同姿势时，对象的图像从一个或多个传感器被输入，并且指定姿势的数据从机械设备被输入。针对每个不同姿势从传感器中的每个传感器输入的对象的图像利用指定姿势的数据和标识对象的信息被标记。可以生成用于对象的数据库，该数据库包括这些经标记的图像。经标记的图像还可以被用于训练检测器和分类器，以当对象处于与现实环境相似的环境中时检测和识别该对象。

Automatic collection and markup of object data

The data on the physical objects in the real environment will be automatically collected and marked. Mechanical devices are used to manipulate objects into different positions in the three-dimensional workspace of the real environment. When the object is in each different position, the image of the object is input from one or more sensors, and the data of the specified position is input from the mechanical device. The images of the objects that are input from each sensor in each of the different positions are marked with the information of the data and the identified objects of the specified position. A database for objects can be generated, which includes these labeled images. The labeled image can also be used to train detectors and classifiers to detect and identify the object when the object is in a environment similar to the real environment.

【技术实现步骤摘要】
【国外来华专利技术】对象数据的自动收集和标记
技术介绍
自主机器人系统包括使用物理对象检测和识别的导航和对象操纵应用。可以要求给定的自主机器人系统在各种室内和室外环境中操作，室内和室外环境可以是结构化的(例如，受控的)或非结构化的(例如，非受控的)，并且可以具有不同程度的复杂性。因此，需要跨各种对象类型/类/类别的健壮的物理对象检测和识别，以便于机器人系统能够以安全和有效的方式与其环境交互。这通常通过使用大的经标记的对象数据集以训练机器人系统的导航和对象操纵应用来实现，其中针对具有高度复杂性的非结构化环境，该数据集的大小可能相当大。此外，万维网目前拥有数十亿个网页，这些网页目前共同拥有约一万亿图像，并且这些数字继续快速增长。正在进行各种努力，以利用有意义的数据来标记这些图像中的更多图像。
技术实现思路
本文描述的数据收集和标记技术实现通常涉及关于物理对象的数据的自动收集和标记。在一个示例性实现中，机械设备被配置为在现实环境中的三维工作空间内操纵对象，并且一个或多个传感器被配置为当对象在工作空间的一个或多个规定区域内时捕获和输出该对象的图像。传感器被校准到机械设备的坐标系。然后，针对在工作空间的这些区域内的多个不同本文档来自技高网...

【技术保护点】
一种用于自动收集和标记关于物理对象的数据的系统，包括：机械设备，所述机械设备被配置为在现实环境中的三维(3D)工作空间内操纵所述对象；一个或多个传感器，所述一个或多个传感器被配置为当所述对象在所述工作空间的一个或多个规定区域内时捕获和输出所述对象的图像；以及计算设备，所述计算设备包括处理器，所述处理器被配置为：将所述传感器校准到所述机械设备的坐标系，针对所述工作空间的所述区域内的多个不同姿势中的每个姿势，使用所述机械设备将所述对象操纵为所述姿势，当所述对象处于所述姿势时，从所述传感器中的每个传感器输入所述对象的图像，从所述机械设备输入指定所述姿势的数据，指定所述姿势的所述数据在所述机械设备的所...

【技术特征摘要】
【国外来华专利技术】2015.04.10 US 14/683,8101.一种用于自动收集和标记关于物理对象的数据的系统，包括：机械设备，所述机械设备被配置为在现实环境中的三维(3D)工作空间内操纵所述对象；一个或多个传感器，所述一个或多个传感器被配置为当所述对象在所述工作空间的一个或多个规定区域内时捕获和输出所述对象的图像；以及计算设备，所述计算设备包括处理器，所述处理器被配置为：将所述传感器校准到所述机械设备的坐标系，针对所述工作空间的所述区域内的多个不同姿势中的每个姿势，使用所述机械设备将所述对象操纵为所述姿势，当所述对象处于所述姿势时，从所述传感器中的每个传感器输入所述对象的图像，从所述机械设备输入指定所述姿势的数据，指定所述姿势的所述数据在所述机械设备的所述坐标系中，以及利用指定所述姿势的所述数据以及利用标识所述对象的信息来标记从所述传感器中的每个传感器输入的所述对象的所述图像，以及生成用于所述对象的数据库，所述数据库包括针对所述不同姿势中的每个姿势从所述传感器中的每个传感器输入的所述对象的经标记的所述图像。2.根据权利要求1所述的系统，其中，所述机械设备包括机器臂，所述机器臂包括末端执行器，所述末端执行器被配置为抓住和释放所述对象，使用所述机械设备将所述对象操纵为所述姿势的动作包括以下动作：指令所述机器臂抓住所述对象，指令所述机器臂将所述对象放置在所述工作空间的所述区域中的期望区域中的期望表面上，指令所述机器臂释放所述对象，以及指令所述机器臂缩回远离所述对象，并且指定所述姿势的所述数据包括在所述对象被释放时所述末端执行器的所述姿势的坐标。3.根据权利要求1所述的系统，其中，所述机械设备包括计算机数控(CNC)装置，所述CNC装置包括平台被附接到的工具控制点，所述对象被放置在所述平台上，使用所述机械设备将所述对象操纵为所述姿势的动作包括指令所述CNC装置将所述平台操纵为所述姿势的动作，并且指定所述姿势的所述数据包括在所述平台已经被操纵为所述姿势之后所述工具控制点的所述姿势的坐标。4.根据权利要求1所述的系统，其中，所述机械设备包括移动机器人，所述移动机器人包括所述对象被放置在其上的平台，使用所述机械设备将所述对象操纵为所述姿势的动作包括指令所述移动机器人以操纵为所述姿势的动作，并且指定所述姿势的所述数据包括在所述移动机器人已经被操纵为所述姿势之后所述移动机器人的坐标。5.根据权利要求1、2、3或4所述的系统，其中将所述传感器校准到所述机械设备的所述坐标系的动作包括以下动作：针对所述工作空间的所述区域内的各种姿势中的每个姿势，当平面校准图案处于所述姿势时，从所述传感器中的每个传感器输入所述图案的图像，所述图案的度量已知，以及在从所述传感器中的每个传感器输入的所述图案的所述图像中检测特征点；使用封闭式解析解从所述特征点估计所述传感器中的每个传感器的内在和外在参数，所述特征点在针对所述各种姿势中的每个姿势从所述传感器输入的所述图案的所述图像中被检测；以及使用基于最大似然准则的非线性优化技术来细化估计的所述参数。6.根据权利要求1、2、3或4所述的系统，其中将所述传感器校准到所述机械设备的所述坐标系的动作包括使用自动原位注册和校准方法来计算坐标系变换函数的动作，所述坐标系变换函数在所述传感器的所述坐标系和所述机械设备的所述坐标系之间映射坐标。7.根据权利要求1、2、3、4、5或6所述的系统，其中，所述系统还包括一个或多个可见光源，所述可见光源中的每个可见光源是静态的并且被...

【专利技术属性】
技术研发人员：B·J·蒂博多，M·瑞沃，M·雅洛贝安尤，G·施拉克延，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US