训练数据生成、模型训练及检测方法、装置及电子设备制造方法及图纸

本说明书实施例公开了训练数据生成、模型训练及检测方法、装置及电子设备。所述训练数据生成方法包括：获取多传感器对目标场景采集的初始图像数据和初始点云数据，确定所述初始图像数据的深度值信息，根据所述深度值信息，将所述初始图像数据与所述初始点云数据融合，获得融合点云数据，基于所述融合点云数据得到投影图像数据，基于所述投影图像数据、所述初始点云数据以及所述初始图像数据生成训练数据。基于此训练数据进行监督训练得到的检测模型，实现了对多传感器数据的特征提取和信息融合，克服了单一传感器对于获取目标特征信息和位置信息的不足，提高了系统的容错性和互补性，确保了识别的有效性和准确性。确保了识别的有效性和准确性。确保了识别的有效性和准确性。

【技术实现步骤摘要】
训练数据生成、模型训练及检测方法、装置及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种训练数据生成方法、目标检测模型的训练方法、目标检测方法、装置及电子设备。

技术介绍

[0002]基于计算机视觉的目标检测技术广泛应用在许多领域。在智能交通领域，通过传感器对道路环境进行数据采集，利用计算机目标检测技术识别出道路环境中的三维目标物体的类别、位置、方向、速度等信息，对自动驾驶及智能路侧等应用系统具有重要的意义。
[0003]常见的路侧传感器有激光雷达、单目相机等。激光雷达扫描物体生成的3D点云比较稀疏(垂直扫描线只有64或128)，在远距离物体或者体积很小物体上的反射点的数量会非常少。同时，激光雷达不具有光传感器所具有的分辨率，不能检测出目标物体的颜色特征，且其具有环境敏感度高，易受大雪、灰尘影响的特点。利用单目相机虽然能检测目标物体的颜色特征，但是其获取场景和物体的深度(距离)信息时比较困难，同时由于摄像头受外界光照条件的影响较大，在低光照、大雾等恶劣天气下的检测效果不佳，很难适用于所有天气条件。
[0004]可见，在智能交通领域应用单一传感器进行道路环境监测时存在诸多的限制和不足。

技术实现思路

[0005]有鉴于此，本说明书实施例提供了融合多传感器的训练数据生成方法、检测模型训练方法、目标检测方法、装置及电子设备，至少解决现有技术中应用单一传感器进行目标检测效果不佳的问题。
[0006]本说明书实施例采用下述技术方案：
[0007]一种训练数据生成方法，包括：
[0008]获取多传感器对目标场景采集的初始图像数据和初始点云数据；
[0009]确定所述初始图像数据的深度信息；
[0010]根据所述深度信息，将所述初始图像数据与所述初始点云数据融合，获得融合点云数据；
[0011]基于所述融合点云数据得到投影图像数据；
[0012]基于所述投影图像数据、所述初始点云数据以及所述初始图像数据生成训练数据。
[0013]本说明书实施例还提供一种目标检测模型的训练方法，所述目标检测模型包括第一特征提取单元、第二特征提取单元、第三特征提取单元、候选框生成单元、融合单元，所述方法包括：
[0014]获取训练数据和对应的标签信息，所述训练数据包括初始点云数据、初始图像数据以及投影图像数据；
[0015]通过第一特征提取单元处理所述投影图像数据，获得投影特征图，所述第一特征提取单元为支持向量机；
[0016]通过第二特征提取单元处理所述初始图像数据，获得初始图像特征；
[0017]通过第三特征提取单元处理所述初始点云数据，获得初始点云特征；
[0018]通过候选框生成单元处理所述投影特征图，生成三维候选框；
[0019]将所述三维候选框、所述初始图像特征、所述初始点云特征通过融合单元，获得输出数据；
[0020]根据所述输出数据和所述标签信息，训练所述目标检测模型的参数。
[0021]本说明书实施例还提供一种目标检测方法，包括：
[0022]获取待检数据，所述待检数据包括多传感器对目标场景采集的初始图像数据和初始点云数据；
[0023]对所述待检数据进行预处理，获得输入数据，所述预处理包括：确定所述初始图像数据的深度信息；根据所述深度信息，将所述初始图像数据与所述初始点云数据融合，获得融合点云数据；基于所述融合点云数据得到投影图像数据；基于所述投影图像数据、所述初始点云数据以及所述初始图像数据生成输入数据；
[0024]将所述输入数据输入目标检测模型，获得第一检测结果，所述第一检测结果包括候选目标的三维预测框。
[0025]本说明书实施例还提供一种训练数据的生成装置，所述装置包括：
[0026]获取模块，被配置为获取多传感器对目标场景采集的初始图像数据和初始点云数据；
[0027]确定模块，被配置为确定所述初始图像数据的深度信息；
[0028]融合模块，被配置为根据所述深度信息，将所述初始图像数据与所述初始点云数据融合，获得融合点云数据；
[0029]投影模块，被配置为基于所述融合点云数据得到投影图像数据；
[0030]生成模块，被配置为基于所述投影图像数据、所述初始点云数据以及所述初始图像数据生成训练数据。
[0031]本说明书实施例还提供一种电子设备，包括：
[0032]至少一个处理器；以及，
[0033]与所述至少一个处理器通信连接的存储器；其中，
[0034]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述程序时实现上述任一项所述的方法。
[0035]本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0036]通过融合多传感器采集的初始数据，将二维图像数据反投影到三维点云数据中，形成融合的点云数据，再将该融合点云数据投影为俯视图数据，与初始点云数据和初始图像数据，生成用于模型训练的数据或检测的输入数据，可以实现了对多传感器数据的特征提取和信息融合，能够利用不同环境下的特征信息，有利于在目标检测中获得准确的目标位置、大小、颜色等信息，克服了单一传感器对于获取目标特征信息和位置信息的不足，提高了系统的容错性和互补性，从而确保了识别的有效性和准确性。将利用本技术方案的目
标检测模型部署在路侧感知设备中，可有效改善目标检测的效果。
附图说明
[0037]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0038]图1为本公开实施例提出的一种目标检测应用场景的示意图；
[0039]图2为本公开实施例提出的一种目标检测模型的训练数据生成方法的流程图；
[0040]图3为本公开实施例提出的一种目标检测模型的训练方法的流程图；
[0041]图4为本公开实施例提出的一种目标检测方法的流程图；
[0042]图5为本公开实施例提出的一种目标检测模型的训练数据生成装置的框图。
具体实施方式
[0043]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0044]图1为根据本公开实施例提出的一种目标检测应用场景的示意图。需要注意的是，图1所示仅为本公开实施例的目标检测模型的一种应用场景的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练数据生成方法，包括：获取多传感器对目标场景采集的初始图像数据和初始点云数据；确定所述初始图像数据的深度信息；根据所述深度信息，将所述初始图像数据与所述初始点云数据融合，获得融合点云数据；基于所述融合点云数据得到投影图像数据；基于所述投影图像数据、所述初始点云数据以及所述初始图像数据生成训练数据。2.根据权利要求1所述的方法，所述将所述初始图像数据与所述初始点云数据融合包括：根据所述深度信息确定像素的z坐标；分别根据所述像素在像素坐标中的位置、对应方向的相机焦距、像素坐标原点相对于相机中心的位置偏移，以及所述z坐标，确定所述像素的x坐标和y坐标。3.一种目标检测模型的训练方法，所述目标检测模型包括第一特征提取单元、第二特征提取单元、第三特征提取单元、候选框生成单元、融合单元，所述方法包括：获取训练数据和对应的标签信息，所述训练数据包括初始点云数据、初始图像数据以及投影图像数据；通过第一特征提取单元处理所述投影图像数据，获得投影特征图，所述第一特征提取单元为支持向量机；通过第二特征提取单元处理所述初始图像数据，获得初始图像特征；通过第三特征提取单元处理所述初始点云数据，获得初始点云特征；通过候选框生成单元处理所述投影特征图，生成三维候选框；将所述三维候选框、所述初始图像特征、所述初始点云特征通过融合单元，获得输出数据；根据所述输出数据和所述标签信息，训练所述目标检测模型的参数。4.根据权利要求3所述的方法，所述投影图像数据由所述初始点云数据和所述初始图像数据得到的融合点云数据投影得到。5.根据权利要求4所述的方法，所述方法还包括：获取多传感器对目标场景采集的所述初始图像数据和所述初始点云数据；确定所述初始图像数据的深度信息；根据所述深度信息，将所述初始图像数据与所述初始点云数据融合，获得融合点云数据；将所述融合点云数据投影为投影图...

【专利技术属性】
技术研发人员：史天宇，陈亚卿，常雪阳，杨轩，
申请(专利权)人：云控智行科技有限公司，
类型：发明
国别省市：