对图像内目标物体进行自动标注的方法、装置及系统制造方法及图纸

本申请实施例公开了对图像内目标物体进行自动标注的方法、装置及系统，该方法包括：获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；将其中一幅图像作为基准图像，并确定基准坐标系，基于所述基准三维坐标系创建三维空间模型；在所述三维空间模型被移动到所述基准图像内目标物体所在的位置时，确定所述目标物体在所述基准三维坐标系中的位置信息；根据所述各幅图像中的环境特征点确定出的各自对应的相机姿态信息，将所述三维空间模型分别映射到各幅图像的像平面。通过本申请实施例，能够更准确有效的进行图像自动标注，并提高方法的通用性。

Method, Device and System of Automatic Target Marking in Image

The embodiment of this application discloses a method, apparatus and system for automatically annotating the target object in an image. The method includes acquiring image training samples, including multiple images, each of which is acquired by taking pictures of the same target object, and having the same environmental feature points between adjacent images; using one of the images as a reference image and determining a reference seat. A three-dimensional space model is created based on the reference three-dimensional coordinate system; the position information of the target object in the reference three-dimensional coordinate system is determined when the three-dimensional space model is moved to the position of the target object in the reference image; and the three-dimensional space is determined according to the corresponding camera attitude information determined by the environmental feature points in the images. The inter-model is mapped to the image plane of each image. Through the embodiment of this application, the automatic image annotation can be performed more accurately and effectively, and the generality of the method can be improved.

【技术实现步骤摘要】
对图像内目标物体进行自动标注的方法、装置及系统
本申请涉及图像处理
，特别是涉及对图像内目标物体进行自动标注的方法、装置及系统。
技术介绍
在AR/VR等相关的业务中，利用机器学习方法在图像中进行场景/物体的识别应用广泛，而在机器学习过程中，需要用到大量的图像训练样本，并需要对图像训练样本中的目标物体进行标注。所谓的标注也就是指，需要标注出目标物体在图像中的位置，以便机器学习时从目标物体的图像中进行特征提取进行学习。现有技术中，图像训练样本的标注主要分为两种，一种是基于二维图像的标注，另一种是基于物体CAD模型的三维图像标注。所谓二维图像标注主要是指在二维图像中标注目标物体所在的矩形区域，该过程通常需要由工作人员通过手工标注的方式来完成。例如，参见图1-1所示，需要工作人员在各个图像中手动框选出目标物体所在的位置。但是，手工标注的效率会很低，在图像训练样本众多的情况下，需要耗费大量的人力以及时间成本去进行标注。基于物体CAD模型的三维图像标注，则主要是将预先拍摄的视频中的各帧作为图像训练样本，首先获得目标物体的CAD模型，例如，参见图1-2，当视频中的目标物体为一辆汽车时，需要首先获得该汽车的CAD模型，然后，在其中一帧图像中人为标注CAD模型中的多个点与目标物体对应的特征点之间的对应关系。随后可以利用model-basedtracking通过跟踪目标物体以进行批量标注，跟踪的过程具体是利用标注出的目标物体的特征点，在其他帧图像中识别出目标物体所在的位置。这种在3D空间中的标注方法较之二维图像标注自动化程度高，可实现标注视频中的一帧进而自动标注整个视频的目的。同时，自动标注本身对标注精度也有统一量化标准，较之人为标注更加精确。然而，其缺点也十分明显，即通常情况下，目标物体的CAD模型通常是由目标物体的生产或者设计方提供，但是，如果生产或者设计方无法提供CAD模型，则会无法利用上述方式实现自动标注，而且在实际应用中，这种现象又是很常见的，也即，很难获取目标物体的CAD模型，因此，影响了这种方法的通用性。其次，即使能够找到目标物体的CAD模型，由于对目标物体的跟踪通常情况下依赖物体上有足够多的特征点，但是，当物体本身是纯色、高反光或透明等情况时，model-basedtracking将无法保证其足够的准确性，进而影响自动标注的效果。因此，如何更准确有效的进行图像自动标注，并提高方法的通用性，成需要本领域技术人员解决的技术问题。
技术实现思路
本申请提供了对图像内目标物体进行自动标注的方法、装置及系统，能够更准确有效的进行图像自动标注，并提高方法的通用性。本申请提供了如下方案：一种对图像内目标物体进行自动标注的方法，包括：获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；将其中一幅图像作为基准图像，并确定基准坐标系，基于所述基准三维坐标系创建三维空间模型；在所述三维空间模型被移动到所述基准图像内目标物体所在的位置时，确定所述目标物体在所述基准三维坐标系中的位置信息；根据所述目标物体在所述基准三维坐标系中的位置信息，以及根据所述各幅图像中的环境特征点确定出的各自对应的相机姿态信息，将所述三维空间模型分别映射到各幅图像的像平面。一种建立目标物体识别模型的方法，包括：获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；各幅图像中还包括对目标物体所在位置的标注信息，所述标注信息通过以下方式获得：将其中一幅图像作为基准图像，并基于基准三维坐标系创建三维空间模型，根据三维空间模型被移动到的位置，确定目标物体在所述基准三维坐标系中的位置信息，并根据所述各幅图像中的环境特征点确定出的各自对应的相机姿态信息，将所述三维空间模型分别映射到各幅图像的像平面；根据所述图像训练样本中对所述目标物体所在位置的标注信息，生成对所述目标物体的识别模型。一种增强现实AR信息提供方法，包括：采集实景图像，并利用预先建立的目标物体识别模型从所述实景图像中识别目标物体所在的位置信息，其中，所述目标物体识别模型通过权利要求15所述的方法进行建立；根据所述目标物体在所述实景图像中的位置信息，确定关联的虚拟图像的展示位置，并对所述虚拟图像进行展示。一种对图像内目标物体进行自动标注的装置，包括：训练样本获得单元，用于获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；三维空间模型创建单元，用于将其中一幅图像作为基准图像，并确定基准坐标系，基于所述基准三维坐标系创建三维空间模型；位置信息确定单元，用于在所述三维空间模型被移动到所述基准图像内目标物体所在的位置时，确定所述目标物体在所述基准三维坐标系中的位置信息；映射单元，用于根据所述目标物体在所述基准三维坐标系中的位置信息，以及根据所述各幅图像中的环境特征点确定出的各自对应的相机姿态信息，将所述三维空间模型分别映射到各幅图像的像平面。一种建立目标物体识别模型的装置，包括：图像训练样本获得单元，用于获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；各幅图像中还包括对目标物体所在位置的标注信息，所述标注信息通过以下方式获得：将其中一幅图像作为基准图像，并基于基准三维坐标系创建三维空间模型，根据三维空间模型被移动到的位置，确定目标物体在所述基准三维坐标系中的位置信息，并根据所述各幅图像中的环境特征点确定出的各自对应的相机姿态信息，将所述三维空间模型分别映射到各幅图像的像平面；识别模型生成单元，用于根据所述图像训练样本中对所述目标物体所在位置的标注信息，生成对所述目标物体的识别模型。一种增强现实AR信息提供装置，包括：实景图像采集单元，用于采集实景图像，并利用预先建立的目标物体识别模型从所述实景图像中识别目标物体所在的位置信息，其中，所述目标物体识别模型通过权利要求15所述的方法进行建立；虚拟图像展示单元，用于根据所述目标物体在所述实景图像中的位置信息，确定关联的虚拟图像的展示位置，并对所述虚拟图像进行展示。一种计算机系统，包括：一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；将其中一幅图像作为基准图像，并确定基准坐标系，基于所述基准三维坐标系创建三维空间模型；在所述三维空间模型被移动到所述基准图像内目标物体所在的位置时，确定所述目标物体在所述基准三维坐标系中的位置信息；根据所述目标物体在所述基准三维坐标系中的位置信息，以及根据所述各幅图像中的环境特征点确定出的各自对应的相机姿态信息，将所述三维空间模型分别映射到各幅图像的像平面。根据本申请提供的具体实施例，本申请公开了以下技术效果：通过本申请实施例，是通过相对规则的三维空间模型对目标物体进行标注，相对于目标物体的CAD模型而言，具有更容易获得的优点。另外，具体在利用手动标注的基准图像对其他各本文档来自技高网...

【技术保护点】
1.一种对图像内目标物体进行自动标注的方法，其特征在于，包括：获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；将其中一幅图像作为基准图像，并确定基准坐标系，基于所述基准三维坐标系创建三维空间模型；在所述三维空间模型被移动到所述基准图像内目标物体所在的位置时，确定所述目标物体在所述基准三维坐标系中的位置信息；根据所述目标物体在所述基准三维坐标系中的位置信息，以及根据所述各幅图像中的环境特征点确定出的各自对应的相机姿态信息，将所述三维空间模型分别映射到各幅图像的像平面。

【技术特征摘要】
1.一种对图像内目标物体进行自动标注的方法，其特征在于，包括：获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；将其中一幅图像作为基准图像，并确定基准坐标系，基于所述基准三维坐标系创建三维空间模型；在所述三维空间模型被移动到所述基准图像内目标物体所在的位置时，确定所述目标物体在所述基准三维坐标系中的位置信息；根据所述目标物体在所述基准三维坐标系中的位置信息，以及根据所述各幅图像中的环境特征点确定出的各自对应的相机姿态信息，将所述三维空间模型分别映射到各幅图像的像平面。2.根据权利要求1所述的方法，其特征在于，还包括：对所述图像训练样本进行预处理，所述预处理包括：确定基准三维坐标系，并根据所述基准三维坐标系以及所述环境特征点，确定各幅图像分别对应的相机姿态信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述基准三维坐标系，确定各幅图像分别对应的相机姿态信息，包括：利用基于视觉的并发建图与定位SLAM技术对各幅图像帧的环境特征点信息进行分析，根据分析结果确定各幅图像分别对应的相机姿态信息。4.根据权利要求1所述的方法，其特征在于，所述三维空间模型被移动到所述基准图像内目标物体所在的位置时，所述目标物体位于所述三维空间模型内。5.根据权利要求1所述的方法，其特征在于，所述获得图像训练样本，包括：获得目标视频文件，将该视频文件中的多帧图像作为图像训练样本；其中，所述目标视频文件为在目标环境中对目标物体进行拍摄所获得的。6.根据权利要求5所述的方法，其特征在于，所述确定基准三维坐标系，包括：将所述视频文件中第一帧图像的相机坐标系作为所述基准三维坐标系。7.根据权利要求5所述的方法，其特征在于，所述目标视频文件通过以下方式进行拍摄：在所述目标环境中放置所述目标物体，以及带有平面结构的标志物，所述标志物的所述平面与地平面平行，先将镜头对准所述标志物，再将镜头移动到所述目标物体的位置进行拍摄；所述确定基准三维坐标系，包括：根据所述视频文件的前几帧中所述标志物所在的平面建立所述基准三维坐标系。8.根据权利要求7所述的方法，其特征在于，所述根据所述标志物所在的平面建立所述基准三维坐标系，包括：以所述标志物所在平面的中心点为原点，以所述平面为x-y面，并按右手系规则，建立所述基准三维坐标系。9.根据权利要求7所述的方法，其特征在于，所述带有平面结构的标志物包括显示有预置图样的纸件。10.根据权利要求5所述的方法，其特征在于，所述视频文件通过以下方式拍摄获得：将所述目标物体的位置固定不动，用视频拍摄设备对所述目标物体进行环绕一周的拍摄。11.根据权利要求1所述的方法，其特征在于，所述确定所述目标物体在所述基准三维坐标系中的位置信息，包括：确定所述目标物体在所述基准三维坐标系中三个维度上的位移自由度、转动自由度，以及所述三维空间模型在三个维度上的大小信息。12.根据权利要求1所述的方法，其特征在于，所述三维空间模型包括：长方体模型。13.根据权利要求12所述的方法，其特征在于，所述将所述三维空间模型分别映射到各幅图像的像平面之后，还包括：将所述三维空间模型映射后得到的四边形进行矩形化处理。14.根据权利要求1所述的方法，其特征在于，所述三维空间模型包括：由多个长方体模型组合而成的组合体模型。15.一种建立目标物体识别模型的方法，其特征在于，包括：获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；各幅图像中还包括对目标物体所在位置的标注信息，所述标注信息通过以下方式获得：将其中一幅图像作为基准图像，并基于基准三维坐标系创建三维空间模型，根据三维空间模型被移动到的位置，确定目标物体在所述基准三维坐标系中的位置信息，并根据所述各幅图像中的环境特征点确定出的各自对应的相机姿态信息，将所述三维空间模型分别映射到各幅图像的像平面；根据所述图像训练样本中对所述目标物体所在位置的标注信息，生成对所述目标物体的识别模型。16.根据权利要求15所述的方法，其特征在于，所述目标物...

【专利技术属性】
技术研发人员：李博韧，谢宏伟，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY