深度网络的训练方法技术

描述了用于训练机器人设备的深度神经网络的方法。该方法包括在训练环境中使用经由机器人设备的3D相机捕获的图像构建3D模型。该方法也包括使用深度神经网络通过人工调整训练环境的参数以形成操纵图像来从3D模型生成3D图像对。该方法还包括处理3D图像对以形成参考图像，该参考图像包括3D图像对之间的共同物体的嵌入描述符。该方法也包括使用来自神经网络的训练的参考图像来确定相关性以识别未来图像中所检测的物体。像中所检测的物体。像中所检测的物体。

【技术实现步骤摘要】
【国外来华专利技术】深度网络的训练方法
[0001]相关申请的交叉引用
[0002]本申请要求于2019年9月13日提交的题为“TRAINING METHODS FOR DEEP NETWORKS”的美国专利申请第16/570,813号的优先权，该申请要求于2019年7月23日提交的题为“KEYFRAME MATCHER”的美国临时专利申请第62/877,792号、于2019年7月23日提交的题为“VISUAL TEACH AND REPEAT FOR MANIPULATION
–
TEACHING VR”的美国临时专利申请第62/877,791号，以及于2019年7月23日提交的题为“VISUALIZATION”的美国临时专利申请第62/877,793号的优先权，其公开内容通过引用整体并入。


[0003]本公开的特定方面通常涉及物体检测训练，并且更具体地涉及用于训练深度网络的系统和方法。

技术介绍

[0004]机器人设备可以使用一个或多个传感器(例如，作为相机)来基于机器人设备使用真实世界图像的训练来识别环境中的物体。然而，在现实生活场景中，遇到的图像可能与用于训练机器人设备的真实图像不同。也就是说，来自用于训练的图像数据的变形、物体表达方式(object articulation)、视角和光照的变化可能会在真实世界操作期间妨碍物体检测。
[0005]传统系统在期望观察的实际条件下收集真实世界训练图像。例如，机器人设备的训练限于用于收集训练图像的实际条件，包括实际光照水平以及收集训练图像时的特定角度。这些传统系统不考虑环境的变化。在训练机器人设备的深度神经网络以执行物体检测时，训练数据和真实世界物体之间的这些变化尤其成问题。

技术实现思路

[0006]描述了一种用于训练机器人设备的深度神经网络的方法。该方法包括在训练环境中使用通过机器人设备的3D相机捕获的图像构建3D模型。该方法还包括使用深度神经网络通过人工调整训练环境的参数以形成操纵图像，从3D模型生成3D图像对。该方法还包括处理3D图像对以形成参考图像，该参考图像包括3D图像对之间的共同物体的嵌入描述符。该方法还包括使用来自神经网络训练的参考图像来确定相关性以识别未来图像中所检测的物体。
[0007]描述了一种用于基于未知环境中所检测的物体的识别来控制机器人设备的方法。该方法包括检测未知环境中的物体。该方法还包括选择对应的参考图像，该参考图像包括与根据人工调整图像捕获环境的参数而操纵的所训练物体对应的嵌入描述符。该方法还包括根据对应的参考图像的嵌入描述符识别所检测的物体。
[0008]描述了一种用于基于未知环境中所检测的物体的识别来控制机器人设备的系统。该系统包括一个预训练的物体识别模块。物体识别模块被配置为选择对应的参考图像以识
别捕获图像中的检测物体。对应的参考图像包括基于根据图像捕获环境的人工调整参数操纵的所训练物体的嵌入描述符。该系统还包括控制器，该控制器被配置为基于所检测的物体的身份来选择机器人设备的自主行为。
[0009]这已经相当宽泛地概述了本公开的特征和技术优点，以便可以更好地理解下面的具体实施方式。下面将描述本公开的附加特征和优点。本领域技术人员应当理解，本公开可以容易地用作修改或设计用于实现与本公开相同目的的其他结构的基础。本领域技术人员也应该认识到，这样的等效构造未背离所附权利要求中阐述的本公开的教导。当结合附图考虑时，从以下描述中将更好地理解在其组织和操作方法两者方面被认为是本公开的特征的新颖特征以及进一步的目的和优点。然而，应当清楚地理解，提供每一附图仅用于说明和描述的目的，并不旨在作为对本公开的限制的限定。
附图说明
[0010]当与附图结合使用时，本公开的特征、性质和优点将从下面阐述的具体实施方式变得更加明显，在附图中相同的附图标记在全文中相应地标识。
[0011]图1说明了根据本公开的各个方面的用于训练机器人的环境的原始图像。
[0012]图2说明了根据本公开的各个方面的使用3D模型创建以在训练环境中训练机器人的操纵图像的示例。
[0013]图3A和3B说明了根据本公开的各个方面的生成以训练机器人的训练环境的成对图像。
[0014]图4A和4B说明了根据本公开的各个方面的由机器人捕获的真实世界环境的捕获图像。
[0015]图5是说明根据本公开的各个方面的用于物体识别系统的硬件实现的示例的图。
[0016]图6是说明根据本公开的各个方面的用于训练机器人设备的深度神经网络的方法的流程图。
具体实施方式
[0017]下面结合附图阐述的具体实施方式旨在作为对各种配置的描述并且不旨在表示可以实践在此描述的概念的唯一配置。具体实施方式包括用于提供对各种概念的透彻理解的特定细节。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践这些概念。在某些情况下，众所周知的结构和组件以框图形式示出以避免混淆这些概念。
[0018]机器人设备可以使用一个或多个传感器来识别环境中的物体。传感器可以包括红
‑
绿
‑
蓝(RGB)相机、无线电探测和测距(RADAR)传感器、光探测和测距(LiDAR)传感器或其他类型的传感器。在传感器捕获的图像中，基于对机器人设备的深度神经网络的训练由机器人设备识别一个或多个物体，以执行物体检测。然而，在现实生活场景中，遇到的图像可能与用于训练机器人设备的真实图像不同。也就是说，用于训练的图像数据内的变形、物体表达方式、视角和光照的变化可能会妨碍真实世界操作期间的物体检测。
[0019]传统系统在期望观察的实际条件下收集真实世界的训练图像。例如，收集训练图像的实际条件包括实际光照水平，以及收集训练图像时的特定角度。这些传统系统不考虑
环境的变化。在训练机器人设备的深度神经网络以执行物体检测时，训练数据和真实世界物体之间的这些差异尤其成问题。
[0020]本公开旨在通过考虑环境中的变化来提供用于训练深度网络的数据。这些变化包括例如物体变形、物体表达方式、视角变化和/或光照变化。
[0021]在本公开中，为了简单起见，机器人设备可以被称为机器人。此外，物体可以包括环境中的静止和动态物体。物体可以包括人造物体(例如，椅子、桌子、汽车、书籍等)、自然物体(例如，岩石、树木、动物等)和人类。
[0022]图1说明了根据本公开的各个方面的用于训练机器人100的训练环境102的原始图像101。在图1的示例中，机器人100是类人机器人并且训练环境102是厨房。本公开的各个方面不限于类人机器人。机器人100可以是任何类型的自主或半自主设备(诸如无人机或车辆)。此外，机器人100可以处于任何类型的环境中。
[0023]在一种配置中，机器人100经由机器人100的一个或多个传感器获得训练环境102的原始图像101。机器人100可以检测并局部化(localize)原始图像101中的一个或多个物体。局部化是指确定原始图像101内本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于训练机器人设备的深度神经网络的方法，包括：在训练环境中使用经由机器人设备的3D相机捕获的图像构建3D模型；使用深度神经网络通过人工调整训练环境的参数以形成操纵图像，从3D模型生成3D图像对；处理3D图像对以形成参考图像，所述参考图像包括3D图像对之间的共同物体的嵌入描述符；和使用来自神经网络的训练的参考图像来确定相关性以识别未来图像中所检测的物体。2.如权利要求1所述的方法，其中，生成3D图像对包括：将3D图像与链接元素配对；和操纵3D图像对之间的链接元素以创建具有不同物体表达方式的场景。3.如权利要求1所述的方法，其中，人工调整参数包括：改变原始3D图像和操纵3D图像之间的物体表达方式。4.如权利要求3所述的方法，其中，改变物体表达方式包括：改变原始3D图像和操纵3D图像之间的光照。5.如权利要求3所述的方法，其中，改变物体表达方式包括：改变原始3D图像和操纵3D图像之间的视角。6.如权利要求1所述的方法，还包括：识别未知环境中可被操纵的物体，无论未知环境中的变形、物体表达方式、角度和光照如何；和操纵所识别的物体。7.一种基于未知环境中所检测的物体的识别来控制机器人设备的方法，包括：检测未知环境中的物体；选择对应的参考图像，包括与根据人工调整图像捕获环境的参数而操纵的所训练的物体对应的嵌入描述符；和根据对应的参考图像的嵌入描述符识别所检测的物体。8.如权利要求7所述的方法，还包括在一段时间内跟踪所识别的物体。9.如权利要求7所述的方法，还包括：确定所识别的物体可被操纵；和操纵所识别的物体。10.如权利要求7所述的方法，还包括：将对应的参考图像覆盖在场景的捕获图像上；和基于对应的参考图像与捕获图像之间的点对应关系，确定所检测的物体的身份。11.一种其上记录有用于训练机器人设备的深度神经网络的程序代码的非暂时性计算机可读介质，所述程序代码由处理器执行并且包括：使用深度神经网络通过人工调整训练环境的参数以形成操纵图像，从3D模型生成3D图像对...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：丰田研究所股份有限公司，
类型：发明
国别省市：