对二维图像的标注制造技术

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于涉及对二维图像上的地标的标注的图像处理。在一个方面，由数据处理装置执行用于训练用于估计成像设备和二维图像中的对象的相对姿态的设备的方法。所述方法包括：识别所述对象的3D模型；识别所述对象的所述3D模型上的地标；使用来自所述3D模型的所述地标在投影上的位置的知识将所述3D模型投影到二维图像的集合中；以及训练地标检测机器学习模型以在所述二维图像的集合中识别所述地标。所述地标检测机器学习模型是用于估计成像设备的所述相对姿态的设备的一部分。成像设备的所述相对姿态的设备的一部分。成像设备的所述相对姿态的设备的一部分。

【技术实现步骤摘要】
【国外来华专利技术】对二维图像的标注
[0001]相关申请的交叉引用
[0002]本申请要求享有2021年2月2日提交的第20210100068号希腊申请和2021年2月19日提交的第17/179,596号美国申请的优先权，所述希腊申请和美国申请的内容通过引用并入本文。

技术介绍

[0003]本说明书涉及图像处理，更具体地，涉及如下图像处理：该图像处理涉及对二维图像上的地标(landmark)的标注。
[0004]图像处理是一种类型的信号处理，其中被处理的信号是图像。输入图像可以被处理，例如，以产生输出图像或图像的表征。
[0005]在许多情况下，对图像的标注可以便于对图像的处理，特别是在依赖机器学习的图像处理技术中。标注可以使用结构化的信息或元数据来加标签于图像中的实体或实体的一部分。该标签可以指示例如类别(例如，猫、狗、手臂、腿)、边界、角点(corner)、位置或其他信息。该标签可以被用在各种各样的场景(context)——包括依赖机器学习和/或人工智能的场景——中。例如，经标注的图像的集合可以形成训练数据集，以用于在如医学成像、自动驾驶车辆、损害评估、面部识别和农业多种多样的场景中进行姿态估计、图像分类、特征提取和模式识别。目前，机器学习和人工智能模型需要针对由模型执行的特定任务客制化(customize)的大的数据集。

技术实现思路

[0006]本说明书描述了涉及如下图像处理的技术：该图像处理涉及对二维图像上的地标的标注。
[0007]在一个实施方式中，本说明书中所描述的主题可以体现在由数据处理装置执行的用于训练用于估计成像设备和二维图像中的对象的相对姿态的设备的方法中。所述方法包括：识别所述对象的3D模型；识别所述对象的所述3D模型上的地标；使用来自所述3D模型的所述地标在投影上的位置的知识(knowledge)来将所述3D模型投影到二维图像的集合中；以及训练地标检测机器学习模型以在所述二维图像的集合中识别所述地标。所述地标检测机器学习模型是用于估计成像设备的所述相对姿态的设备的一部分。
[0008]此实施方式以及其他实施方式可以包括以下特征中的一个或多个。所述方法可以包括：使用包括所述地标检测机器学习模型的设备来估计二维图像中的所述对象的相对姿态；确定所述相对姿态的估计的正确性；以及基于所述相对姿态的估计的所述正确性，进一步训练所述地标检测机器学习模型。可以在所述3D模型被投影到其中的所述二维图像的集合中估计所述对象的所述相对姿态。可以通过以下来确定所述相对姿态的估计的所述正确性：将所述3D模型的所述投影的相对姿态约束到所述二维图像的集合中；以及将不满足所述约束的所述相对姿态的任何估计分类为不正确的。识别所述对象的所述3D模型上的所述地标可以包括：通过将所述对象的所述3D模型投影到二维上来渲染(render)所述对象的二
维图像的集合；将所述二维图像中的所述对象的不同的区域分配给所述对象的相应的部分；使用所分配的区域来确定所述对象的所述部分的可区分区域；以及将所述可区分区域反投影到所述对象的所述3D模型上，以识别对象的所述3D模型上的所述地标。
[0009]在另一个实施方式中，本说明书中所描述的主题可以体现在由数据处理装置执行的用于估计成像设备和对象的二维图像中的所述对象的相对姿势的方法中。所述方法包括：检测所述二维图像中的所述对象上的地标；对多个地标进行过滤以建立检测到的地标的多个子集；使用所述检测到的地标的相应的子集中的每个，计算所述二维图像中的所述对象的候选相对姿态；以及基于所述候选相对姿态中的至少一个来估计成像设备和对象的所述相对姿态。
[0010]所述方法可以包括对所述对象的所述候选相对姿态进行过滤。用于对所述候选相对姿态进行过滤的标准可以反映可能拍摄真实图像的真实世界条件。估计所述成像设备和所述对象的所述相对姿态可以包括：对多个所述候选相对姿态进行平均。检测所述对象上的所述地标可以包括：使用地标检测机器学习模型来检测所述地标。可以已经通过包括以下的过程训练了所述地标检测机器学习模型：识别所述对象的3D模型；识别所述对象的所述3D模型上的地标；使用来自所述3D模型的所述地标在投影上的位置的知识来将所述3D模型投影到二维图像的集合中；以及训练所述地标检测机器学习模型以在所述二维图像的集合识别所述地标。
[0011]在另一个实施方式中，本说明书中所描述的主题可以体现在由数据处理装置执行的用于识别对象的3D模型上的地标的方法中。所述方法包括：通过将对象的所述3D模型投影到二维上来渲染所述对象的二维图像的集合；将所述二维图像中的所述对象的不同的区域分配给所述对象的相应的部分；使用所分配的区域来确定所述对象的所述部分的可区分区域；以及将所述可区分区域反投影到所述对象的所述3D模型上以识别对象的所述3D模型上的所述地标。
[0012]此实施方式以及其他实施方式可以包括以下特征中的一个或多个。确定所述部分的所述可区分区域包括：检测所述部分在所述二维图像中的投影的角点。所述方法可以包括：在反投影到所述3D模型之前减少所述可区分区域的数目。可以通过对接近所述对象的外边界的可区分区域进行过滤来减少所述可区分区域的数目。可以通过以下来减少所述可区分区域的数目：根据所述二维图像中的不同的二维图像使所述可区分区域到所述3D模型上的反投影形成聚类；以及丢弃所述可区分区域的异常值。渲染所述对象的所述二维图像的集合可以包括：对所述对象进行排列(permute，置换)；以及将所述3D模型的所述排列投影到二维上。渲染所述对象的所述二维图像的集合可以包括：使渲染变化，以模拟成像装置的特性的变化、以模拟可应用于二维图像的图像处理的特性的变化、或以模拟成像条件的变化。
[0013]上述方法的其他实施方案包括被配置为执行所述方法的动作的对应的系统和装置，以及有形地体现在机器可读数据存储设备上并且将数据处理装置配置为执行所述动作的计算机程序。
[0014]在附图和下文的描述中阐述了本说明书中所描述的主题的一个或多个实施方案的细节。根据该描述、附图和权利要求书，本主题的其他特征、方面和优点将变得明了。
附图说明
[0015]图1是获取对象的不同的图像的集合的示意性表示。
[0016]图2是由一个或多个摄像机获取的二维图像的集合的示意性表示。
[0017]图3是用于处理对象的摄影图像的计算机实施的过程的流程图。
[0018]图4是用于标注出现在3D模型上的地标的计算机实施的过程的流程图。
[0019]图5A、图5B、图5C、图5D示出了来自汽车的3D模型上的地标的标注的示例结果。
[0020]图6是用于产生地标检测器的过程的流程图，该地标检测器能够使用经标注的3D模型来检测真实二维图像中的地标。
[0021]图7是用于使用用于地标检测的机器学习模型来识别成像设备和对象之间的相对姿态的过程的流程图。
[0022]图8是表示已经使用图6的过程产生的用于地标检测的示例机器学习模型的准确性的直方图。
[0023]图9是表示使用图7本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由数据处理装置执行的用于训练用于估计成像设备和二维图像中的对象的相对姿态的设备的方法，所述方法包括：识别所述对象的3D模型；识别所述对象的所述3D模型上的地标；使用来自所述3D模型的所述地标在投影上的位置的知识将所述3D模型投影到二维图像的集合中；以及训练地标检测机器学习模型以在所述二维图像的集合中识别所述地标，其中所述地标检测机器学习模型是用于估计成像设备的所述相对姿态的设备的一部分。2.根据权利要求1所述的方法，还包括：使用包括所述地标检测机器学习模型的设备来估计二维图像中的所述对象的相对姿态；确定所述相对姿态的估计的正确性；以及基于所述相对姿态的估计的所述正确性，进一步训练所述地标检测机器学习模型。3.根据权利要求2所述的方法，其中：在所述3D模型被投影到其中的所述二维图像的集合中估计所述对象的所述相对姿态。4.根据权利要求3所述的方法，其中确定所述相对姿态的估计的正确性包括：将所述3D模型的所述投影的相对姿态约束到所述二维图像的集合中；以及将不满足所述约束的所述相对姿态的任何估计分类为不正确的。5.根据权利要求1所述的方法，其中识别所述对象的所述3D模型上的所述地标包括：通过将所述对象的所述3D模型投影到二维上来渲染所述对象的二维图像的集合；将所述二维图像中的所述对象的不同的区域分配给所述对象的相应的部分；使用所分配的区域来确定所述对象的所述部分的可区分区域；以及将所述可区分区域反投影到所述对象的所述3D模型上，以识别对象的所述3D模型上的所述地标。6.一种由数据处理装置执行的用于估计成像设备和对象的二维图像中的所述对象的相对姿态的方法，所述方法包括：检测所述二维图像中的所述对象上的地标；对多个地标进行过滤以建立检测到的地标的多个子集；使用所述检测到的地标的相应的子集中的每个，计算所述二维图像中的所述对象的候选相对姿态；以及基于所述候选相对姿态中的至少一个来估计成像设备和对象的所述相对姿态。7.根据权利要求6所述的方法，还包括：对所述对象的所述候选相对姿态进行过滤。8.根据权利要求7所述的方法，其中用于对所述候选相对姿...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：英艾特股份公司，
类型：发明
国别省市：