本公开实施例公开了一种神经网络模型的训练方法、图像处理方法、装置和设备，其中，方法包括：基于获取的训练图像数据，确定各视角分别对应的训练图像特征；对各视角分别对应的原相机外参增加随机扰动，获得各视角分别对应的扰动后的新相机外参；基于各视角分别对应的新相机外参，将各视角分别对应的训练图像特征转换到车辆坐标系的预设平面，获得第一鸟瞰图特征；基于第一鸟瞰图特征和标签数据，对预先获得的第一神经网络模型进行训练，获得训练后的目标神经网络模型。本公开实施例可以提高模型对失真的鸟瞰图特征的适应能力，从而在应用于实际图像处理时，可以降低IPM变换引起的失真对图像处理结果的不利影响，提高模型的鲁棒性和准确性。性和准确性。性和准确性。
【技术实现步骤摘要】
神经网络模型的训练方法、图像处理方法、装置和设备
[0001]本公开涉及计算机视觉技术，尤其是一种神经网络模型的训练方法、图像处理方法、装置和设备。
技术介绍
[0002]在自动驾驶领域，利用相机感知结果的后续决策与规划都是在车辆所处的3D世界(比如车辆坐标系)下进行，而相机采集的图像描述的是2D的像素世界(图像像素坐标系)，导致基于相机感知结果(图像特征)直接进行自动驾驶的决策规划变得异常困难，为此，通常需要将相机感知结果转换到车辆所在的3D世界，获得鸟瞰图(Bird
’
s Eye View Map，简称：BEVMap)。相关技术中，通常基于IPM(Inverse Perspective Mapping，逆透视变换)将相机感知结果转换为BEVMap，但是IPM变换是基于地面平坦、没有起伏、且相机标定参数固定不变实现的，否则经IPM变换后的BEV特征会出现失真情况，在用于目标检测、语义分割等应用时，导致检测结果、分割结果等处理结果不够准确。
技术实现思路
[0003]为了解决上述IPM变换失真导致图像处理结果不够准确等技术问题，提出了本公开。本公开的实施例提供了一种神经网络模型的训练方法、图像处理方法、装置和设备。
[0004]根据本公开实施例的一个方面，提供了一种神经网络模型的训练方法，包括：获取训练图像数据及标签数据，所述训练图像数据包括至少一个视角的图像数据；基于所述训练图像数据，确定各所述视角分别对应的训练图像特征；对各所述视角分别对应的原相机外参增加随机扰动，获得各所述视角分别对应的扰动后的新相机外参，所述原相机外参为相机坐标系相对车辆坐标系的标定外参；基于各所述视角分别对应的所述新相机外参，将各所述视角分别对应的训练图像特征转换到所述车辆坐标系的预设平面，获得第一鸟瞰图特征，所述预设平面与地平面平行；基于所述第一鸟瞰图特征和所述标签数据，对预先获得的第一神经网络模型进行训练，获得训练后的目标神经网络模型。
[0005]根据本公开实施例的另一个方面，提供了一种图像处理方法，包括：获取待处理图像数据，所述待处理图像数据包括至少一个视角的图像；基于所述待处理图像数据，确定各所述视角分别对应的第一图像特征；基于各所述视角分别对应的第一图像特征，确定目标鸟瞰图特征；利用预先训练获得的目标神经网络模型，对所述目标鸟瞰图特征进行处理，获得图像处理结果，所述目标神经网络模型基于上述任一实施例所述的神经网络模型的训练方法训练获得。
[0006]根据本公开实施例的再一个方面，提供了一种神经网络模型的训练装置，包括：第一获取模块，用于获取训练图像数据及标签数据，所述训练图像数据包括至少一个视角的图像数据；第一处理模块，用于基于所述训练图像数据，确定各所述视角分别对应的训练图像特征；第二处理模块，用于对各所述视角分别对应的原相机外参增加随机扰动，获得各所述视角分别对应的扰动后的新相机外参，所述原相机外参为相机坐标系相对车辆坐标系的
标定外参；第三处理模块，用于基于各所述视角分别对应的所述新相机外参，将各所述视角分别对应的训练图像特征转换到所述车辆坐标系的预设平面，获得第一鸟瞰图特征，所述预设平面与地平面平行；第四处理模块，用于基于所述第一鸟瞰图特征和所述标签数据，对预先获得的第一神经网络模型进行训练，获得训练后的目标神经网络模型。
[0007]根据本公开实施例的又一个方面，提供了一种图像处理装置，包括：第二获取模块，用于获取待处理图像数据，所述待处理图像数据包括至少一个视角的图像；第五处理模块，用于基于所述待处理图像数据，确定各所述视角分别对应的第一图像特征；第六处理模块，用于基于各所述视角分别对应的第一图像特征，确定目标鸟瞰图特征；第七处理模块，用于利用预先训练获得的目标神经网络模型，对所述目标鸟瞰图特征进行处理，获得图像处理结果，所述目标神经网络模型基于上述任一实施例所述的神经网络模型的训练方法训练获得。
[0008]根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的神经网络模型的训练方法；或者，所述计算机程序用于执行本公开上述任一实施例所述的图像处理方法。
[0009]根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的神经网络模型的训练方法；或者，执行所述指令以实现本公开上述任一实施例所述的图像处理方法。
[0010]基于本公开上述实施例提供的神经网络模型的训练方法、图像处理方法、装置和设备，通过在将多视角训练图像数据转换到鸟瞰图视角过程中，对转换需要的标定相机外参施加扰动，获得带有噪声的鸟瞰图特征用于神经网络模型的训练，提高模型对失真的鸟瞰图特征的适应能力，从而在应用于实际图像处理时，可以降低IPM变换引起的失真对图像处理结果的不利影响，提高模型的鲁棒性和准确性。
[0011]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0012]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0013]图1是本公开提供的神经网络模型的训练方法的一个示例性的应用场景；
[0014]图2是本公开一示例性实施例提供的神经网络模型的训练方法的流程示意图；
[0015]图3是本公开另一示例性实施例提供的神经网络模型的训练方法的流程示意图；
[0016]图4是本公开一示例性实施例提供的步骤2052的流程示意图；
[0017]图5是本公开一示例性实施例提供的图像处理方法的流程示意图；
[0018]图6是本公开一示例性实施例提供的神经网络模型的训练装置的结构示意图；
[0019]图7是本公开另一示例性实施例提供的神经网络模型的训练装置的结构示意图；
[0020]图8是本公开一示例性实施例提供的图像处理装置的结构示意图；
[0021]图9是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
[0022]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0023]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0024]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[002本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种神经网络模型的训练方法，包括：获取训练图像数据及标签数据，所述训练图像数据包括至少一个视角的图像数据；基于所述训练图像数据，确定各所述视角分别对应的训练图像特征；对各所述视角分别对应的原相机外参增加随机扰动，获得各所述视角分别对应的扰动后的新相机外参，所述原相机外参为相机坐标系相对车辆坐标系的标定外参；基于各所述视角分别对应的所述新相机外参，将各所述视角分别对应的训练图像特征转换到所述车辆坐标系的预设平面，获得第一鸟瞰图特征，所述预设平面与地平面平行；基于所述第一鸟瞰图特征和所述标签数据，对预先获得的第一神经网络模型进行训练，获得训练后的目标神经网络模型。2.根据权利要求1所述的方法，其中，所述对各所述视角分别对应的原相机外参增加随机扰动，获得各所述视角分别对应的扰动后的新相机外参，包括：针对任一所述视角，基于预设生成规则，生成随机数据，所述随机数据包括横滚角扰动值、俯仰角扰动值和偏航角扰动值中的至少一种；基于所述随机数据，确定扰动旋转矩阵；基于所述扰动旋转矩阵与所述原相机外参，确定该视角对应的所述新相机外参。3.根据权利要求2所述的方法，其中，所述基于所述第一鸟瞰图特征和所述标签数据，对预先获得的第一神经网络模型进行训练，获得训练后的目标神经网络模型，包括：基于所述扰动旋转矩阵对所述标签数据进行转换，获得转换后的新标签数据；基于所述第一鸟瞰图特征和所述新标签数据，对所述第一神经网络模型进行训练，获得所述目标神经网络模型。4.根据权利要求3所述的方法，其中，所述基于所述第一鸟瞰图特征和所述新标签数据，对所述第一神经网络模型进行训练，获得所述目标神经网络模型，包括：利用所述第一神经网络模型对所述第一鸟瞰图特征进行处理，获得处理结果；基于所述处理结果和所述新标签数据，确定网络损失；基于所述网络损失对所述第一神经网络模型的网络参数进行调整，获得调整后的网络参数；基于所述调整后的网络参数，确定第二神经网络模型；将所述第二神经网络模型作为所述第一神经网络模型，重复执行所述对各所述视角分别对应的原相机外参增加随机扰动，获得各所述视角分别对应的扰动后的新相机外参的步骤；响应于满足训练结束条件，获得所述目标神经网络模型。5.根据权利要求1所述的方法，其中，所述基于各所述视角分别对应的所述新相机外参，将各所述视角分别对应的训练图像特征转换到所述车辆坐标系的预设平面，获得第一鸟瞰图特征，包括：针对任一所述视角，基于该视角对应的相机内参，将该视角对应的训练图像特征转换到该视角对应的相机坐标系，获得该视角对应的相机坐标系下的第一特征；基于该视角对应的所述新相机外参，将该视角对应的所述第一特征转换到所述车辆坐标系下，获得该视角对应的所述车辆坐标系下的第二特征；将各所述视角分别对应的所述第二特征进行融合，获得所述车辆坐标系下的融合特
...
【专利技术属性】
技术研发人员：请求不公布姓名，杨德刚，
申请(专利权)人：南京地平线集成电路有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。