图像数据标注方法及其装置制造方法及图纸

本申请公开了一种图像数据标注方法及其装置。所述图像数据标注方法，包括：对任务场景进行三维重建；根据重建的任务场景的三维模型，生成虚拟合成图像数据，其中，所述虚拟合成图像数据带有任务所需的标注信息；利用所述虚拟合成图像数据和所述虚拟合成图像数据带有的所述标注信息，训练预标注神经网络；利用所述预标注神经网络对实拍采集图像数据进行标注，生成所述实拍采集图像数据的标注信息。

Image data annotation method and device

【技术实现步骤摘要】
图像数据标注方法及其装置
本说明书涉及计算机视觉领域。
技术介绍
近年来深度学习在多个领域取得了突破，特别是在图像检测识别任务上将准确率提升到了前所未有的高度，从而促进了人工智能在更多商业领域的落地，然而深度学习技术的应用依赖于大量带有标注信息的图像数据。对于实拍采集图像数据，需要进行标注以后方可用于深度学习。有别于实拍采集图像数据，虚拟合成图像数据天然带有深度学习所需要的标注信息，如轮廓，类别等。现有技术中，用于处理图像检测识别任务的深度学习，主要有以下两种技术方案：1.谷歌流体标注系统该系统基于imageNet数据库训练了一个通用的检测识别网络，并将该检测识别网络应用于新的待标注图像生成一系列轮廓及标签的候选项供人工选择。同时开发了一套交互系统方便人工操作，标注效率是传统人工标注的3倍。但是，由于该检测识别网络的训练基于一个包含大量类别物体的通用数据集，在应用于细分场景的图像时，其检测识别的精度往往会比较低，此时需要大量的人工干预才能取得比较好的标注效果，其标注效率就会相应地显著降低。2.基于虚拟样本深度学习的机器人目标识别和位姿重构方法通过3D渲染从多视角获得物体的图像，用于训练物体检测及姿态估计神经网络。但是，由于虚拟合成与实际采集图像之间存在域的差异，基于虚拟合成数据训练的网络直接应用于真实采集数据的任务精度存在不确定性，对于精度要求极高的领域存在应用风险。
技术实现思路
本说明书提供了一种图像数据标注方法及其装置，用以解决现有技术中图像标注效率低，标注结果不准确的问题。本申请的实施方式公开了一种图像数据标注方法，包括：对任务场景进行三维重建；根据重建的任务场景的三维模型，生成虚拟合成图像数据，所述虚拟合成图像数据带有任务所需的标注信息；利用所述虚拟合成图像数据和所述虚拟合成图像数据带有的所述标注信息，训练预标注神经网络；利用所述预标注神经网络对实拍采集图像数据进行标注，生成所述实拍采集图像数据的标注信息。本申请的实施方式还公开了一种图像数据标注装置，包括：场景重建模块，用于对任务场景进行三维重建；虚拟合成模块，用于根据重建的任务场景的三维模型，生成虚拟合成图像数据，所述虚拟合成图像数据带有任务所需的标注信息；预标注网络训练模块，用于利用所述虚拟合成图像数据和所述虚拟合成图像数据带有的所述标注信息，训练预标注神经网络；标注模块，利用所述预标注神经网络对实拍采集图像数据进行标注，生成所述实拍采集图像数据的标注信息。本申请的实施方式还公开了一种图像数据标注设备，包括：存储器，用于存储计算机可执行指令；以及，处理器，用于在执行所述计算机可执行指令时实现上述方法中的步骤。本申请的实施方式还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述方法中的步骤。本说明书实施方式中，通过对任务场景进行虚拟数据合成，利用虚拟合成数据训练预标注神经网络，对实拍采集图像数据进行标注，标注效率更高，标注结果也更准确，确保了训练数据与真实应用场景的一致性，保障了深度学习应用的鲁棒性。本说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本说明书上述
技术实现思路
中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均应该视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。附图说明图1是根据本说明书第一实施方式的一种图像数据标注方法的流程示意图；图2是根据本说明书第二实施方式的一种图像数据标注装置的结构示意图。具体实施方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。部分概念的说明：场景还原：针对具体的应用场景，对场景进行数字化还原的过程，包含但不限于场景三维模型重建、光照采集等。虚拟合成：通过计算机生成图像数据的方法，包含但不限于通过图形渲染生成图像数据。预标注神经网络：基于虚拟合成图像数据训练出来的用于对实拍采集图像数据进行标注的神经网络。深度学习技术的应用依赖于大量带有标注信息的图像数据，目前这些数据获得需要大量的人工参与，耗时，成本高，也不便于规模化。因此，对实拍采集图像进行标注是目前深度学习应用中主要的效率瓶颈之一。为此，本申请提出了一种基于虚拟合成数据的高效图像数据标注方法，不仅可以大幅度降低人力及时间成本，而且也具有规模化的优势。下面将结合附图对本说明书的实施方式作进一步地详细描述。本说明书的第一实施方式涉及一种图像数据标注方法，其流程如图1所示，该方法包括以下步骤：在步骤101中，对任务场景进行三维重建。针对任务场景，将场景里的环境与任务对象进行三维重建。举个例子来说，这里所述的任务可以是对图像进行检测识别，任务场景可以是所述图像的拍摄场景。在本实施方式中，三维重建的方式包括但不限于：通过建模师建模和利用三维扫描仪进行多角度融合重建等。需要说明的是，对本领域技术人员来说，三维重建属于现有技术中的成熟技术，在此不再详细描述。本领域技术人员可以理解，三维重建的结果包含了几何、文理和材质等信息。另外，优选地，在步骤101之后，还包括以下步骤：采集采集所述任务场景中的物理信息。为了能够更好地通过虚拟合成还原现实场景，还需要采集任务场景中的物理信息，所述物理信息包括但不限于：光照、相机位置、镜头视场角(FOV)和畸变等。光照采集可以通过在任务场景中放置光照探针(LightProbe)或者任意具有镜面反射材质的球体，利用相机进行多曝光采集得到高范围动态(HDR)图像来表示，也可以根据任务场景中的光照情况放置显式光源进行参数调节来获得。相机位置、FOV和畸变等信息可以通过利用棋盘格标定来获得。此后进入步骤103，根据重建的任务场景的三维模型，生成虚拟合成图像数据，所述虚拟合成图像数据带有任务所需的标注信息。进一步地，优选地，在步骤103中，通过图形渲染引擎生成虚拟合成图像数据。并且，所述图形渲染的方法包括：光栅化实时渲染和光线追踪离线渲染等。将上述重建的任务场景的三维模型导入图形系统(例如，游戏引擎UnrealUnity等)，根据采集的光照信息设置光照属性，相机位置根据标定的外参结果放置，同时根据标定的内参进行FOV以及畸变模拟。利用图形渲染引擎生成虚拟合成图像数据，有别于实拍采集图像数据需要后期进行专门标注外，虚拟合成图像数据天然带有深度学习所需要的标注信息。因此，这里所生成的虚拟合成图像数据也必然带有任务所需的标注信息，如物体的轮廓、标识等。需要说明的是，渲染方式包括但不限于：光栅化实时渲本文档来自技高网...

【技术保护点】
1.一种图像数据标注方法，包括：对任务场景进行三维重建；根据重建的任务场景的三维模型，生成虚拟合成图像数据，所述虚拟合成图像数据带有任务所需的标注信息；利用所述虚拟合成图像数据和所述虚拟合成图像数据带有的所述标注信息，训练预标注神经网络；利用所述预标注神经网络对实拍采集图像数据进行标注，生成所述实拍采集图像数据的标注信息。

【技术特征摘要】
1.一种图像数据标注方法，包括：对任务场景进行三维重建；根据重建的任务场景的三维模型，生成虚拟合成图像数据，所述虚拟合成图像数据带有任务所需的标注信息；利用所述虚拟合成图像数据和所述虚拟合成图像数据带有的所述标注信息，训练预标注神经网络；利用所述预标注神经网络对实拍采集图像数据进行标注，生成所述实拍采集图像数据的标注信息。2.如权利要求1所述的方法，其中，在所述对任务场景进行三维重建的步骤中，所述三维重建的方法包括：通过建模师建模和利用三维扫描仪进行多角度融合重建。3.如权利要求1所述的方法，其中，在所述对任务场景进行三维重建的步骤之后，还包括：采集所述任务场景中的物理信息。4.如权利要求3所述的方法，其中，所述物理信息包括：光照、相机位置、镜头视场角和畸变。5.如权利要求1所述的方法，其中，在所述根据重建的任务场景的三维模型，生成虚拟合成图像数据的步骤中，通过图形渲染引擎生成虚拟合成图像数据。6.如权利要求5所述的方法，其中，所述图形渲染的方法包括：光栅化实时渲染和光线追踪离线渲染。7.如权利要求1至6中任一项所述的方法，其中，所述标注信息包括：物体的轮廓、标识和类别。8.一种图像数据标注装置，包括：场景重建模块，用于对任务场景进行三维重建；虚拟合成模块，用于根据重建的任务场景的三维模型，生成虚拟合成图像数据，所述虚拟合成图...

【专利技术属性】
技术研发人员：马岳文，郁树达，郭林杰，邹成，李思琪，赵雄心，周大江，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY