使用合成图像训练对象检测算法的方法和系统和存储介质技术方案

使用合成图像训练对象检测算法的方法和系统和存储介质。一种非暂时计算机可读介质，其实施使得一个或更多个处理器执行方法的指令。该方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，3D模型对应于对象；以及(B)设置检测真实场景中的对象的姿态时使用的摄像头的摄像头参数集。方法还包括以下步骤：(C)接收表示视图范围的数据的选择；(D)通过渲染视图范围内的3D模型，基于摄像头参数集生成至少一个2D合成图像；(E)使用该至少一个2D合成图像生成训练数据以训练对象检测算法；以及(F)将所生成的训练数据存储在一个或更多个存储器中。

Methods and Systems of Training Object Detection Algorithms Using Synthetic Images and Storage Media

【技术实现步骤摘要】
使用合成图像训练对象检测算法的方法和系统和存储介质
本公开总体涉及训练对象检测算法的领域，更具体地涉及使用合成二维(2D)图像训练对象检测算法的方法和系统。
技术介绍
增强现实(AR)已经随着计算机技术的进步而变得越来越常见。AR的一般定义是拍摄真实世界场景并使用软件添加人造(虚拟)元素。这可以增强真实世界的用户感知或向用户提供娱乐。对象跟踪在许多AR实施方案中使用。在对象跟踪中，真实世界对象被人造对象“跟随”，人造对象诸如计算机图形增强或信息泡(如由用户感知的)。换言之，如果真实世界对象移动或用户的视图相对于真实世界对象移动，则人造对象将相对于真实世界对象保持在相同位置中，和/或将基于真实世界对象的移动和/或新位置来确定人造对象的内容。许多AR实施方案中还使用位置跟踪。在位置跟踪中，虚拟对象将停留在场景中的一个位置中，而不管用户的移动如何。用于实施AR的一个平台是智能电话。摄像头、显示装置以及处理器在同一装置上的存在允许软件将人造元素容易地添加到由摄像头拍摄的现场场景。而且，运动传感器和定位器(例如，加速计和GPS)在这些装置上的存在由软件利用来更佳地实施AR。虽然智能电话提供了用于实施AR的简单且方便的平台，但它们不提供针对用户的非常沉浸式的体验。这是因为用户的眼睛与智能电话在空间上是分开的，并且不是用他们自己的眼睛感知环境，其观看如由摄像头拍摄的场景。
技术实现思路
为了对AR体验改进，透明头戴式显示器(HMD)可以实施AR。这些系统通常为眼镜，在眼镜中在眼睛前面设置棱镜。用户直接借助眼镜来观看场景。棱镜允许将人造图像叠加在如由用户感知的场景上。同时，HMD使用摄像头从场景收集数据。3D姿态估计是具有许多应用的重要技术，应用包括AR、VR以及机器人学领域。跟踪器常使用初始化方法来第一次启动跟踪，并且在跟踪丢失的情况下重新启动跟踪。这会需要根据没有先前历史的图像估计对象的姿态，一种有时被称为对象检测和姿态估计(ODPE)的技术。经常用要用于AR系统的摄像头拍摄的对象的图像来训练对象检测算法以识别特定对象。在至少一些已知系统中，训练处理的初始阶段耗时且人工执行。在这种人工训练中，训练者定位对象，使用AR系统的摄像头从大量不同视角拍摄对象的大量图像，并且向训练计算机上传图像。训练者使用训练计算机将对象的三维(3D)模型对齐到各所拍摄图像中的对象的图像。本公开的一些方面的优点是解决了上述问题中的至少一部分，并且本公开的方面可以作为以下方面来实施。本公开的一个方面是一种使用合成图像训练对象检测算法的方法。方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，3D模型对应于对象；以及(B)设置检测真实场景中的对象的姿态时使用的摄像头的摄像头参数集。设置摄像头参数集包括接收标识包括摄像头的增强现实(AR)装置的信息，并且至少部分基于标识AR装置的信息从一个或更多个存储器中存储的多个摄像头参数集获取用于摄像头的摄像头参数集。多个摄像头参数集中的各摄像头参数集在一个或更多个存储器中与多个不同AR装置中的至少一个AR装置关联。方法还包括以下步骤：(C)通过渲染视图范围内的3D模型至少基于摄像头参数集生成至少一个2D合成图像；(D)使用至少一个2D合成图像生成训练数据以训练对象检测算法；以及(E)将所生成的训练数据存储在一个或更多个存储器中。本公开的另一个方面是一种使用合成图像训练对象检测算法的方法。方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，3D模型对应于对象；以及(B)设置检测真实场景中的对象的姿态时使用的摄像头的摄像头参数集。设置摄像头参数集包括在包括摄像头的增强现实(AR)装置变得由一个或更多个处理器借助数据连接可访问时，借助数据连接从AR装置获取摄像头参数集。方法还包括以下步骤：(C)通过渲染视图范围内的3D模型至少基于摄像头参数集生成至少一个2D合成图像；(D)使用至少一个2D合成图像生成训练数据以训练对象检测算法；以及(E)将所生成的训练数据存储在一个或更多个存储器中。本公开的另外方面是一种使用合成图像训练对象检测算法的方法。方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，3D模型对应于对象；以及(B)设置用于检测真实场景中的对象的姿态的摄像头的摄像头参数集。方法还包括以下步骤：(C)接收表示视图范围的数据的选择；(D)通过渲染视图范围内的3D模型，至少基于摄像头参数集生成至少一个2D合成图像；(E)使用至少一个2D合成图像生成训练数据以训练对象检测算法；以及(F)将所生成的训练数据存储在一个或更多个存储器中。附图说明将参照附图描述本公开，附图中，同样的附图标记引用同样的要素。图1是例示了示例HMD的示意构造的图。图2是例示了图1所示的HMD的功能构造的框图。图3是例示了用于执行本公开的方法的计算机的功能构造的框图。图4是根据本公开的示例方法的流程图。图5是用于与本公开的一些示例方法一起使用的图形用户接口(GUI)的输入窗口。图6是与图5所示的GUI输入窗口关联的预览窗口。具体实施方式本公开总体涉及训练对象检测算法，更具体地涉及用于使用合成二维(2D)图像训练对象检测算法的方法和系统。在一些实施方式中，诸如AR装置这样的对象检测装置使用训练后的对象检测算法。一些示例系统包括AR装置和/或与其接口连接。在又一些实施方式中，这里描述的用于训练对象检测算法的方法由AR装置本身来执行。AR装置例如可以是HMD。将参照图1和图2描述适于与这里描述的方法和系统一起使用的示例HMD。图1是HMD100的示意构造。HMD100是头戴式显示装置(头戴式显示器)。HMD100为光学透射式。即，HMD100可以使得用户感测虚拟图像，并且同时使得用户直接视觉识别外部场景。HMD100包括可戴在用户头上的穿戴带90、显示图像的显示部20以及控制显示部20的控制部10。显示部20在显示部20戴在用户头上的状态下使得用户感测到虚拟图像。使得用户感测到虚拟图像的显示部20还被称为“显示AR”。用户所感测的虚拟图像还被称为AR图像。穿戴带90包括由树脂制成的穿戴基部91、由联接到穿戴基部91的布制成的带92、摄像头60、以及IMU(惯性测量单元)71。穿戴基部91具有沿着人前额的额区的形式弯曲的形状。带92被戴在用户的头部周围。摄像头60起成像部的作用。摄像头60能够对外部场景成像，并且设置在穿戴基部91的中部。换言之，摄像头60在穿戴带90戴在用户头上的状态下设置在与用户前额的中心对应的位置中。因此，摄像头60对沿用户的视线方向在外部的真实场景的外部场景成像，并且在用户将穿戴带90戴在头上的状态下获取所拍摄图像，该图像是由摄像头60拍摄的图像。摄像头60包括：摄像头基部61，该摄像头基部相对于穿戴基部91旋转；和镜头部62，该镜头部的相对位置相对于摄像头基部61固定。摄像头基部61被设置为能够在穿戴带90戴在用户头部上时沿着箭头CS1旋转，该箭头指示在包括用户的中心轴的平面中包括的轴线的预定范围。因此，镜头部62的光轴，即摄像头60的光轴的方向可以在箭头CS1的范围内改变。镜头部62对根据以光轴为中心的变焦变化的范围成像。IMU71是检测加速度本文档来自技高网...

【技术保护点】
1.一种使用合成图像训练对象检测算法的方法，该方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，该3D模型对应于对象；(B)通过以下处理设置检测真实场景中的所述对象的姿态时使用的摄像头的摄像头参数集：接收标识包括所述摄像头的对象检测装置的信息，至少部分基于标识所述对象检测装置的所述信息，从一个或更多个存储器中存储的多个所述摄像头参数集获取用于所述对象检测装置的所述摄像头参数集，其中，所述多个摄像头参数集中的各摄像头参数集在所述一个或更多个存储器中与多个不同对象检测装置中的至少一个对象检测装置关联；(C)通过渲染视图范围内的所述3D模型，至少基于所述摄像头参数集生成至少一个2D合成图像；(D)使用所述至少一个2D合成图像生成训练数据以训练对象检测算法；以及(E)将所生成的训练数据存储在一个或更多个存储器中。

【技术特征摘要】
2017.12.12 US 15/839,2471.一种使用合成图像训练对象检测算法的方法，该方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，该3D模型对应于对象；(B)通过以下处理设置检测真实场景中的所述对象的姿态时使用的摄像头的摄像头参数集：接收标识包括所述摄像头的对象检测装置的信息，至少部分基于标识所述对象检测装置的所述信息，从一个或更多个存储器中存储的多个所述摄像头参数集获取用于所述对象检测装置的所述摄像头参数集，其中，所述多个摄像头参数集中的各摄像头参数集在所述一个或更多个存储器中与多个不同对象检测装置中的至少一个对象检测装置关联；(C)通过渲染视图范围内的所述3D模型，至少基于所述摄像头参数集生成至少一个2D合成图像；(D)使用所述至少一个2D合成图像生成训练数据以训练对象检测算法；以及(E)将所生成的训练数据存储在一个或更多个存储器中。2.根据权利要求1所述的方法，其中，所述对象检测装置是包括所述摄像头的头戴式显示装置。3.根据权利要求1所述的方法，其中，(B)步骤包括：设置检测真实场景中的所述对象的姿态时使用的多个摄像头的多个摄像头参数集：(C)步骤包括：通过渲染所述视图范围内的所述3D模型，至少基于所述各摄像头参数集生成多个2D合成图像；以及(D)步骤包括：使用所述多个2D合成图像生成训练数据以训练具有所述多个摄像头的多个对象检测装置的对象检测算法。4.根据权利要求1所述的方法，所述方法还包括在(C)之前接收表示所述视图范围的数据的选择。5.根据权利要求1所述的方法，其中，(E)步骤包括向所述对象检测装置输出所生成的训练数据，以存储在所述对象检测装置的一个或更多个存储器中并由所述对象检测装置用于在由所述摄像头拍摄的图像帧中检测所述对象。6.根据权利要求1所述的方法，其中，(D)步骤包括使用所述至少一个2D合成图像生成外观模板和形状模板中的至少一者。7.根据权利要求1所述的方法，其中，所述视图范围包括涵盖360度以下的方位角和仰角的预定视图范围。8.一种使用合成图像训练对象检测算法的方法，该方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，该3D模型对应于对象；(B)通过以下处理设置检测真实场景中的所述对象的姿态时使用的摄像头的摄像头参数集：当所述一个或更多个处理器能够通过数据连接访问具有所述摄像头的对象检测装置时，通过所述数据连接从所述对象检测装置获取所述摄像头参数集；(C)通过渲染视图范围内的所述3D模型，至少基于所述摄像头参数集生成至少一个2D合成图像；(D)使用所述至少一个2D合成图像生成训练数据以训练对象检测算法；以及(E)将所生成的训练数据存储在一个或更多个存储器中。9.根据权利要求8所述的方法，其中，所述对象检测装置是包括所述摄像头的头戴式显示装置。10.根据权利要求8所述的方法，其中，(B)步骤包括：设置检测真实场景中的所述对象的姿态时使用的多个摄像头的多个摄像头参数集：(C)步骤包括：通过渲染所述视图范围内的所述3D模型，至少基于各摄像头参数集生成多个2D合成图像；以及(D)步骤包括：使用所述多个2D合成图像生成训练数据以训练包括所述多个摄像头的多个对象检测装置的对象检测算法。11.根据权利要求8所述的方法，所述方法还包括在(C)之前接收表示所述视图范围的数据的选择。12.根据权利要求8所述的方法，其中，(E)步骤包括向所述对象检测装置输出所生成的训练数据，以存储在所述对象检测装置的一个或更多个存储器中并由所述对象检测装置用于在由所述摄像头拍摄的图像帧中检测所述对象。13.根据权利要求8所述的方法，其中，(D)步骤包括使用所述至少一个2D合成图像生成外观模板和形状模板中的至少一者。14.根据权利要求8所述的方法，其中，所述视图范围包括涵盖360度以下的方位角和仰角的预定视图范围。15.一种使用合成图像训练对象检测算法的方...

【专利技术属性】
技术研发人员：I·莫拉维奇，王洁，S·A·胡大，
申请(专利权)人：精工爱普生株式会社，
类型：发明
国别省市：日本,JP