目标数据增广方法、装置、电子设备和可读存储介质制造方法及图纸

本申请公开了一种目标数据增广方法、装置、电子设备、计算机可读存储介质。其中方法包括：从目标数据集中提取出若干个符合预设条件的目标数据，目标数据包括目标图像和与所述目标图像对应的目标点云；获取场景数据，场景数据包括场景图像和与所述场景图像对应的场景点云；根据场景数据中场景图像和/或场景点云的标注信息将目标数据融合到场景数据中，得到包含目标的增广数据。上述方案能够实现包括点云和图像数据的联动增广，保证图像和点云数据的一致性，且成本低，获得的增广数据能够很好地提升神经网络模型的预测性能。

【技术实现步骤摘要】
目标数据增广方法、装置、电子设备和可读存储介质
本申请涉及深度学习
，具体涉及一种目标数据增广方法、装置、电子设备和可读存储介质。
技术介绍
无人驾驶是一个复杂系统，涉及定位、感知、决策、控制等多种技术，其中感知模块用于识别并定位环境中的各种行人、车辆等障碍物。为了实现精确的3D障碍物检测，深度学习是目前的主流技术，它需要利用大量路面数据训练卷积神经网络模型，数据量的大小决定了模型性能，因此，怎样扩充增广数据量是使用深度学习技术必须面对的技术。随着技术的迭代更新，无人驾驶设备上一般装载有摄像头和激光雷达，从而结合多个传感器的优点，实现更精准的障碍物检测效果。因此，深度学习网络是以图像和点云作为输入，数据增广需要在图像和点云上同步进行，从而为数据增广带来了不小的挑战。现有技术中的增广方案一般采用手动采集增广目标，需要消耗大量的人力和财力；且由于随机放置增广目标在背景图像上，可能将增广目标放置在了不合适的位置。申请内容鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的目标数据增广方法、装置、电子设备和可读存储介质。依据本申请的一个方面，提供了一种目标数据增广方法，所述方法包括：从目标数据集中提取出若干个符合预设条件的目标数据，所述目标数据包括目标图像和与所述目标图像对应的目标点云；获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云；根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含目标的增广数据。可选的，所述目标数据集是通过如下方式获取的：选取或采集具有对应关系的点云数据和图像数据；根据所述点云数据的标注信息，判断所述点云数据中的每一点云点是否在目标的3D框中，从而获取该目标的所述目标点云；根据所述图像数据的标注信息，获取所述目标图像的2D框，根据实例分割网络模型获取所述目标图像的实例分割。可选的，所述点云数据的标注信息包括如下任一种或几种信息：目标位置、目标大小、朝向角、是否遮挡；所述图像数据的标注信息包括所述目标图像的2D框的位置；所述根据实例分割网络模型获取所述目标图像的实例分割包括：采用预训练的识别网络模型从所述图像数据中生成所述目标图像的前景实例分割。可选的，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据包括：根据所述场景点云中标注的地面信息，通过所述目标的俯视图位置确定所述目标距离地面的理论高度，并根据所述理论高度和当前高度的差值确定所述目标在高度上的偏移量；根据所述偏移量对所述目标点云进行平移，使得所述目标点云在场景点云的地面上。可选的，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据还包括：确定所述目标点云和所述场景点云中其他目标点云的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃该目标。可选的，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据还包括：根据所述目标点云在所述场景点云中的位置以及所述场景点云到所述场景图像的标定关系，生成所述目标图像在所述场景图像中的2D框；根据所述2D框对所述目标图像进行2D碰撞检测和/或前置遮挡检测；依据计算确定的2D框尺寸调整所述目标图像的尺寸；将生成的目标图像中处于所述实例分割内的像素点覆盖所述场景图像的像素。可选的，所述对所述目标图像进行2D碰撞检测包括：确定所述目标图像的2D框和所述场景图像中其他目标的2D框的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃该目标；所述对所述目标图像进行前置遮挡检测包括：获取所述场景点云中所有能够投影到此目标图像的2D框中的点云点，且所述点云点的最远距离不超过目标距离传感器的距离，若存在所述点云点则表明存在前置遮挡物，若不存在所述点云点则表明不存在前置遮挡物。依据本申请的另一方面，提供了一种目标数据增广装置，所述装置包括：目标数据提取单元，适于从目标数据集中提取出若干个符合预设条件的目标数据，所述目标数据包括目标图像和与所述目标图像对应的目标点云；场景数据获取单元，适于获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云；数据增广实现单元，适于根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含目标的增广数据。依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。由上述可知，本申请公开的目标数据增广技术方案，能够获得以下的技术效果：相较于单纯图像数据或者单纯点云数据的增广，本申请公开的联动增广方案可以保证图像和点云数据的一致性，实现了融合书的增广，能够用于多传感器融合的深度学习模型训练，提高了检测性能；增广数据从原始数据集中直接得到，不需要额外的数据采集，节省了人力财力开支；通过利用原始数据集中标注的地面信息，保证增广的目标出现在地平面上，避免了非真实场景的出现。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本申请一个实施例的目标数据增广方法的流程示意图；图2示出了根据本申请一个实施例的目标数据增广装置的结构示意图；图3示出了根据本申请一个实施例的电子设备的结构示意图；图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图图5示出了根据本申请一个实施例的从点云数据中提取目标点云的流程示意图；图6示出了根据本申请一个实施例的从图像数据中提取目标图像2D框和目标实例分割的流程示意图；图7示出了根据本申请实施例的数据增广整体的流程示意图；图8示出了根据本申本文档来自技高网...

【技术保护点】
1.一种目标数据增广方法，其特征在于，所述方法包括：/n从目标数据集中提取出若干个符合预设条件的目标数据，所述目标数据包括目标图像和与所述目标图像对应的目标点云；/n获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云；/n根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含目标的增广数据。/n

【技术特征摘要】
1.一种目标数据增广方法，其特征在于，所述方法包括：
从目标数据集中提取出若干个符合预设条件的目标数据，所述目标数据包括目标图像和与所述目标图像对应的目标点云；
获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云；
根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含目标的增广数据。


2.如权利要求1所述的目标数据增广方法，其特征在于，所述目标数据集是通过如下方式获取的：
选取或采集具有对应关系的点云数据和图像数据；
根据所述点云数据的标注信息，判断所述点云数据中的每一点云点是否在目标的3D框中，从而获取该目标的所述目标点云；
根据所述图像数据的标注信息，获取所述目标图像的2D框，根据实例分割网络模型获取所述目标图像的实例分割。


3.如权利要求2所述的目标数据增广方法，其特征在于，所述点云数据的标注信息包括如下任一种或几种信息：目标位置、目标大小、朝向角、是否遮挡；所述图像数据的标注信息包括所述目标图像的2D框的位置；
所述根据实例分割网络模型获取所述目标图像的实例分割包括：
采用预训练的识别网络模型从所述图像数据中生成所述目标图像的前景实例分割。


4.如权利要求2或3所述的目标数据增广方法，其特征在于，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据包括：
根据所述场景点云中标注的地面信息，通过所述目标的俯视图位置确定所述目标距离地面的理论高度，并根据所述理论高度和当前高度的差值确定所述目标在高度上的偏移量；
根据所述偏移量对所述目标点云进行平移，使得所述目标点云在场景点云的地面上。


5.如权利要求4所述的目标数据增广方法，其特征在于，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据还包括：
确定所述目标点云和所述场景点云中其他目标点云的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃...

【专利技术属性】
技术研发人员：付良成，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11