图像信息增强方法、模型训练方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例提供了一种图像信息增强方法。方法包括：获取多个相机采集的图像信息序列和点云信息；从目标样本集中选取备选目标样本，将备选目标样本添加到当前时刻图像信息中，得到增强当前时刻图像信息，并将备选目标样本对应的点云信息添加，将备选目标样本添加到其他时刻图像信息中，得到增强其他时刻图像信息，并将备选目标样本对应的点云信息添加，使得备选目标样本在其他时刻图像信息和当前时刻图像信息中的位置符合时序训练要求，使得通过目标样本抽取、筛选与贴图处理，大幅增加了图像信息中目标样本的多样性，避免模型参数量过大，目标样本的数目分布更均衡，继而提升模型的泛化性能和检测精度，还能提升对较少目标样本类别的检测性能。标样本类别的检测性能。标样本类别的检测性能。

【技术实现步骤摘要】
图像信息增强方法、模型训练方法、装置、设备及介质


[0001]本专利技术涉及计算机
，特别是涉及一种图像信息增强方法、一种基于图像信息增强的目标检测模型训练方法、一种图像信息增强装置、一种基于图像信息增强的目标检测模型训练装置、一种电子设备以及一种可读存储介质。

技术介绍

[0002]人工智能技术的快速发展，带来了自动驾驶技术的飞跃。自动驾驶系统包括感知、规划、控制等三个部分，其中感知部分充当自动驾驶汽车“眼睛”的角色，起着关键性的作用。一个自动驾驶系统的好坏，往往很大程度上取决于其感知系统的好坏。自动驾驶感知系统是指自动驾驶车辆通过摄像头、雷达等各类传感器对周围环境进行感知，其不仅需要准确地识别出周围环境中的车辆、行人、障碍物、交通标识等，还需要对其进行准确的识别、定位与速度预测。考虑到量产车的成本因素，由于摄像头价格便宜，技术成熟，而且图像本身可以获取丰富的目标表观信息，所以其在自动驾驶车辆中得到了广泛应用，基于摄像头图像数据的三维目标检测技术也一直是研究的重点。
[0003]感知系统通过读取摄像头图像信息，输出检测目标在三维空间中的位置、长宽高和速度等信息，以便驾驶车辆后续进一步的进行决策规划。目前基于图像数据的三维目标检测技术，首先通过已有的图像目标检测技术，在图像中检测出车辆、行人、自行车等目标，得到目标在图像坐标系中的位置、大小等信息，然后通过相机与世界坐标系之间的关系，将检测到的目标映射到世界坐标系中，得到各目标在三维空间中的位置、长宽高和速度等信息。这种方法受益于已有的成熟二维目标检测体系，能够输出较为准确的图像目标检测结果。但是，这种两步式的检测框架无法做到端到端的训练，难于与自动驾驶系统后续模块集成联调，同时，目标结果映射过程调节能力较弱，导致三维精度效果不佳。
[0004]在深度神经网络的训练过程中，由于模型参数量过大，往往会发生过拟合的现象，从而影响模型的泛化性能。同时，由于目标种类样本在数据集中数目分布不均衡，会影响检测器对较少样本类别的检测性能。

技术实现思路

[0005]本专利技术实施例所要解决的技术问题是提供一种目标检测模型训练方法、装置、电子设备及可读存储介质，以便解决由于模型参数量过大，往往会发生过拟合的现象，从而影响模型的泛化性能，同时，由于目标种类样本在数据集中数目分布不均衡，会影响检测器对较少样本类别的检测性能的问题。
[0006]为了解决上述问题，本专利技术提供了一种图像信息增强方法，所述方法包括：获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；从目标样本集中选取备选目标样本；根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息
中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。
[0007]可选地，所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息包括：根据所述图像信息序列中的当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，将所述备选目标样本和所述当前时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述当前时刻图像信息中，得到增强当前时刻图像信息。
[0008]可选地，所述根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息包括：根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，将所述备选目标样本和所述其他时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述其他时刻图像信息中，得到增强其他时刻图像信息；其中，所述三维标签包括速度信息。
[0009]可选地，在所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中之前，所述方法还包括：根据所述当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，确定所述备选目标样本应添加到的所述当前时刻图像信息，以及采集所述当前时刻图像信息的相机；根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，确定所述备选目标样本应添加到的所述其他时刻图像信息，以及采集所述其他时刻图像信息的相机；若采集所述其他时刻图像信息的相机和采集当前时刻图像信息的相机为同一相机，则保留所述备选目标样本。
[0010]本专利技术还提供了一种基于图像信息增强的目标检测模型训练方法，所述方法包括：获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；从目标样本集中选取备选目标样本；根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息
中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求；采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型；其中，所述目标检测模型输出的目标检测结果包括目标的位置信息、长宽高和速度。
[0011]可选地，所述目标检测模型包括图像特征提取模块、特征图深度估计模块、图像特征映射模块和目标检测模块，所述采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型包括：将所述增强当前时刻图像信息和增强其他时刻图像输入所述图像特征提取模块进行特征提取，得到对应的图像特征，并将所述图像特征输出至所述特征图深度估计模块；将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块。
[0012]可选地，所述特征图深度估计模块包括第一层神经网络和第二层神经网络，在所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块之前，所述方法还包括：将所述图像特征输出至所述第一层神经网络，得到所述第一层神经网络输出的第一深度图；将所述第一深度图和所述第一层神经网络输出的特征数据，在特征通道进行级联后，输入到所述第二层神经网络，得到所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像信息增强方法，其特征在于，包括：获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；从目标样本集中选取备选目标样本；根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。2.根据权利要求1所述的方法，其特征在于，所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息包括：根据所述图像信息序列中的当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，将所述备选目标样本和所述当前时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述当前时刻图像信息中，得到增强当前时刻图像信息。3.根据权利要求1所述的方法，其特征在于，所述根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息包括：根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，将所述备选目标样本和所述其他时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述其他时刻图像信息中，得到增强其他时刻图像信息；其中，所述三维标签包括速度信息。4.根据权利要求1所述的方法，其特征在于，在所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中之前，所述方法还包括：根据所述当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，确定所述备选目标样本应添加到的所述当前时刻图像信息，以及采集所述当前时刻图像信息的相机；根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，确定所述备选目标样本应添加到的所述其他时刻图像信息，以及采集所述其他时刻图像信息的相机；若采集所述其他时刻图像信息的相机和采集当前时刻图像信息的相机为同一相机，则保留所述备选目标样本。5.一种基于图像信息增强的目标检测模型训练方法，其特征在于，所述方法包括：获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；从目标样本集中选取备选目标样本；
根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求；采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型；其中，所述目标检测模型输出的目标检测结果包括目标的位置信息、长宽高和速度。6.根据权利要求5所述的方法，其特征在于，所述目标检测模型包括图像特征提取模块、特征图深度估计模块、图像特征映射模块和目标检测模块，所述采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型包括：将所述增强当前时刻图像信息和增强其他时刻图像输入所述图像特征提取模块进行特征提取，得到对应的图像特征，并将所述图像特征输出至所述特征图深度估计模块；将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块。7.根据权利要求6所述的方法，其特征在于，所述特征图深度估计模块包括第一层神经网络和第二层神经网络，在所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块之前，所述方法还包括：将所述图像特征输出至所述第一层神经网络，得到所述第一层神经网络输出的第一深度图；将所述第一深度图和所述第一层神经网络输出的特征数据，在特征通道进行级联后，输入到所述第二层神经网络，得到所述第二层神经网络输出的第二深度图，作为所述特征图深度估计模块输出的深度图。8.根据权利要求6所述的方法，其特征在于，所述目标检测模型还包括时序信息融合模块，所述目标检测结果包括目标的速度；所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块包括：针对每个时刻的图像信息，分别将所述图像特征、所述特征图深度估计模块输出的深度图和不同时刻的坐标系相关信息输入所述图像特征映射模块，得到对应的鸟瞰图特征；将各个时刻对应的鸟瞰图特征输入所述时序信息融合模块进行融合，得到融合鸟瞰图特征，并将所述融合鸟瞰图特征输出至所述目标检测模块。9.根据权利要求6所述的方法，其特征在于，所述目标检测模型还包括特征解码模块，所述将所述鸟瞰图特征输出至所述目标检测模块包括：将所述鸟瞰图特征输入所述特征解码模块进行解码，得到解码后的鸟瞰图特征；将所述解码后的鸟瞰图特征输出至所述目标检测模块。
10.一种图像信息增强装置，其特征在于，包括：信息获取模块，用于获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；样本选取模块，用于从目标样本集中选取备选目标样本；第一信息增强模块，用于根据所述...

【专利技术属性】
技术研发人员：赵云，龚湛，李军，朱红，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：