生成样本图像对的方法、装置和更新高精地图的方法制造方法及图纸

本公开提供了一种生成样本图像对的方法、装置、电子设备和存储介质。涉及人工智能领域，具体涉及计算机视觉、智能交通、自动驾驶和深度学习领域。该生成样本图像对的方法包括：基于与实景图像对应的第一地图信息，确定实景图像包括的目标对象的位置信息；基于预定类别，确定实景图像包括的目标对象的一种随机类别组合；基于实景图像包括的目标对象的位置信息，确定针对实景图像的删除对象的位置信息；以及基于删除对象的位置信息、实景图像包括的目标对象的位置信息和随机类别组合，生成针对实景图像的第一待更新图像，并对由第一待更新图像与实景图像构成的图像对添加标签。其中，预定类别包括添加类别和无变化类别。预定类别包括添加类别和无变化类别。预定类别包括添加类别和无变化类别。

【技术实现步骤摘要】
生成样本图像对的方法、装置和更新高精地图的方法


[0001]本公开涉及人工智能
，具体涉及计算机视觉、智能交通、自动驾驶和深度学习
，更具体地涉及一种生成图像样本对的方法、装置、电子设备和存储介质，以及一种更新高精地图的方法。

技术介绍

[0002]随着计算机技术和网络技术的发展，自动驾驶技术和智能导航技术逐渐成熟。该两项技术均需依赖于包含丰富的环境信息的高精地图(High definition map)。该高精地图可以表示由道路、交通信号灯等构成的交通拓扑结构。
[0003]随着城市的发展和交通规划的变化，需要不断地更新已生成的高精地图，以使得高精地图可以表示实际的交通拓扑结构，为自动驾驶技术和智能导航技术所提供的服务提供支持，提高所提供的服务的用户体验。

技术实现思路

[0004]本公开提供了一种生成样本图像对的方法、装置、电子设备和存储介质，以基于生成的样本图像对训练目标检测模型，使得目标检测模型可以检测图像的变化。
[0005]根据本公开的一个方面，提供了一种生成样本图像对的方法，包括：基于与目标实景图像对应的第一地图信息，确定目标实景图像包括的目标对象的位置信息；基于预定类别，确定目标实景图像包括的目标对象的一种随机类别组合；基于目标实景图像包括的目标对象的位置信息，确定针对目标实景图像的删除对象的位置信息；以及基于删除对象的位置信息、目标实景图像包括的目标对象的位置信息和随机类别组合，生成针对目标实景图像的第一待更新图像，并对由第一待更新图像与目标实景图像构成的图像对添加标签，其中，标签指示目标实景图像相对于第一待更新图像的实际更新信息，预定类别包括添加类别和无变化类别。
[0006]根据本公开的另一方面，提供了一种生成样本图像对的装置，包括：第一位置确定模块，用于基于与目标实景图像对应的第一地图信息，确定目标实景图像包括的目标对象的位置信息；类别组合确定模块，用于基于预定类别，确定目标实景图像包括的目标对象的一种随机类别组合；第二位置确定模块，用于基于目标实景图像包括的目标对象的位置信息，确定针对目标实景图像的删除对象的位置信息；第一图像生成模块，用于基于删除对象的位置信息、目标实景图像包括的目标对象的位置信息和随机类别组合，生成针对目标实景图像的第一待更新图像；以及第一标签添加模块，用于对由第一待更新图像与目标实景图像构成的图像对添加标签，其中，标签指示目标实景图像相对于第一待更新图像的实际更新信息，预定类别包括添加类别和无变化类别。
[0007]根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的生成样本图像对
的方法。
[0008]根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的生成样本图像对的方法。
[0009]根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的生成样本图像对的方法。
[0010]根据本公开的另一个方面，提供了一种更新高精地图的方法，包括：确定高精地图中与采集的实景图像相对应的图像，获得第三待更新图像；将采集的实景图像输入目标检测模型的第一特征提取网络，得到第一特征数据；将第三待更新图像输入目标检测模型的第二特征提取网络，得到第二特征数据；将第一特征数据和第二特征数据输入目标检测模型的目标检测网络，得到采集的实景图像相对于第三待更新图像的更新信息；以及基于更新信息，对高精地图进行更新。目标检测模型是基于本公开提供的生成样本图像对的方法所生成的样本图像对训练得到的。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开实施例的生成样本图像对的方法的流程示意图；
[0014]图2是根据本公开实施例的生成针对实景图像的第一待更新图像的原理示意图；
[0015]图3是根据本公开实施例的确定删除对象的位置信息的原理示意图；
[0016]图4是根据本公开实施例的基于实景视频生成样本图像对的方法的原理示意图；
[0017]图5是根据本公开实施例的目标检测模型的训练方法的流程示意图；
[0018]图6是根据本公开一实施例的目标检测模型的结构示意图；
[0019]图7是根据本公开另一实施例的目标检测模型的结构示意图；
[0020]图8是根据本公开另一实施例的目标检测模型的结构示意图；
[0021]图9是根据本公开另一实施例的目标检测模型的结构示意图；
[0022]图10是根据本公开实施例的并行交叉差单元的结构示意图；
[0023]图11是根据本公开实施例的采用目标检测模型确定图像的更新信息的方法的流程图；
[0024]图12是根据本公开实施例的生成样本图像对的装置的结构框图；
[0025]图13是根据本公开实施例的目标检测模型的训练装置的结构框图；
[0026]图14是根据本公开实施例的采用目标检测模型确定图像的更新信息的装置的结构框图；以及
[0027]图15是用来实施本公开实施例提供的方法的电子设备的框图。
具体实施方式
[0028]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同
样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0029]自动驾驶技术和智能导航技术均需依赖于包含丰富的环境信息的高精地图。环境信息例如包括有车道信息、人行横道信息、交通信号灯的位置信息和交叉口的位置信息等。高精地图是先验知识的重要来源，必须通过不断地更新迭代来充分保持其对现实世界最新变化的反映能力。现实世界的变化例如可以包括指示灯的安装或移除、便携式交通信号灯的位置的移动等。
[0030]相关技术中，与地图更新相关的任务有检测场景变化的任务，该任务采用的技术方案主要分为三类。第一类是利用预先构建的3D CAD模型和通过经典的多视角立体(Multi
‑
View Stereo，MVS)方法构建的重建模型进行3D模型与3D模型之间的比较。该方法较为耗时，仅适用于离线场景。第二种方法是通过对新获取的图像与原始三维模型进行比较，来推断场景的变化。特别地，通过比较3D体素模型的体素颜色与对应的图像的像素颜色来推测变化率。相关可替代的方法是在给定的3D模型的帮助下，通过将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成样本图像对的方法，包括：基于与目标实景图像对应的第一地图信息，确定所述目标实景图像包括的目标对象的位置信息；基于预定类别，确定所述目标实景图像包括的目标对象的一种随机类别组合；基于所述目标实景图像包括的目标对象的位置信息，确定针对所述目标实景图像的删除对象的位置信息；以及基于所述删除对象的位置信息、所述目标实景图像包括的目标对象的位置信息和所述随机类别组合，生成针对所述目标实景图像的第一待更新图像，并对由所述第一待更新图像与所述目标实景图像构成的图像对添加标签，其中，所述标签指示所述目标实景图像相对于所述第一待更新图像的实际更新信息；所述预定类别包括添加类别和无变化类别。2.根据权利要求1所述的方法，还包括：基于所述第一地图信息和所述目标实景图像包括的目标对象的位置信息，生成针对所述目标实景图像的第一栅格图像，所述第一栅格图像指示所述目标实景图像包括的目标对象的位置；其中，生成针对所述目标实景图像的第一待更新图像包括：基于所述删除对象的位置信息和所述随机类别组合，对所述第一栅格图像进行调整，得到所述第一待更新图像，其中，所述第一待更新图像指示所述删除对象在所述目标实景图像中的位置和所述目标实景图像中无变化类别的目标对象的位置。3.根据权利要求2所述的方法，其中，确定删除对象的位置信息包括：基于预定位置分布信息，确定所述第一栅格图像中的第一区域，作为候选区域，所述第一区域包括基于所述位置分布信息确定的分布密度大于预定密度的区域；以及基于所述候选区域中除第二区域外的其他区域，确定所述删除对象的位置信息，所述第二区域包括指示所述目标实景图像包括的目标对象的位置的区域，其中，所述预定位置分布信息是根据多个目标实景图像包括的目标对象的位置信息确定的；所述多个目标实景图像的尺寸彼此相等。4.根据权利要求3所述的方法，其中，所述基于所述候选区域中除第二区域外的其他区域，确定所述删除对象的位置信息包括：基于所述第二区域的尺寸和所述目标实景图像包括的目标对象的个数，确定目标尺寸；以及确定所述其他区域中尺寸等于所述目标尺寸的任意区域，得到所述删除对象的位置信息。5.根据权利要求1所述的方法，还包括：从实景图像库中获取满足预定位置约束条件的图像，得到所述目标实景图像。6.根据权利要求1所述的方法，其中，所述目标实景图像包括实景视频中的目标帧；所述方法还包括针对所述实景视频中除所述目标帧外的其他帧：基于与所述其他帧对应的第二地图信息，确定所述其他帧包括的目标对象的位置信息；基于所述目标帧包括的目标对象的类别，确定所述其他帧包括的目标对象的类别；
基于所述目标帧包括的目标对象的深度和所述删除对象的位置信息，确定所述删除对象的三维空间信息；以及基于所述三维空间信息和所述其他帧包括的目标对象的位置信息及类别，生成针对所述其他帧的第二待更新图像，并对由所述第二待更新图像和所述其他帧构成的图像对添加标签。7.根据权利要求6所述的方法，还包括：基于所述第二地图信息和所述其他帧包括的目标对象的位置信息，生成针对所述其他帧的第二栅格图像，所述第二栅格图像指示所述其他帧包括的目标对象的位置；其中，生成与所述其他帧相对应的第二待更新图像包括：基于所述三维空间信息和所述其他帧包括的目标对象的类别，对所述第二栅格图像进行调整，得到所述第二待更新图像，其中，所述第二待更新图像指示所述删除对象在所述其他帧中的位置和所述其他帧中无变化类别的目标对象的位置。8.根据权利要求1所述的方法，还包括：基于针对所述目标实景图像的图像采集装置的姿态，确定离线地图中与所述目标实景图像相对应的第一地图信息。9.一种生成样本图像对的装置，包括：第一位置确定模块，用于基于与目标实景图像对应的第一地图信息，确定所述目标实景图像包括的目标对象的位置信息；类别组合确定模块，用于基于预定类别，确定所述目标实景图像包括的目标对象的一种随机类别组合；第二位置确定模块，用于基于所述目标实景图像包括的目标对象的位置信息，确定针对所述目标实景图像的删除对象的位置信息；第一图像生成模块，用于基于所述删除对象的位置信息、所述目标实景图像包括的目标对象的位置信息和所述随机类别组合，生成针对所述目标实景图像的第一待更新图像；以及第一标签添加模块，用于对由所述第一待更新图像与所述目标实景图像构成的图像对添加标签，其中，所述标签指示所述目标实景图像相对于所述第一待更新图像的实际更新信息；所述预...

【专利技术属性】
技术研发人员：何雷，宋适宇，
申请(专利权)人：阿波罗智能技术北京有限公司，
类型：发明
国别省市：