神经网络模型的训练方法、车辆视图的生成方法和车辆技术

本申请公开了一种神经网络模型的训练方法、车辆视图的生成方法和车辆，该训练方法包括：确定样本车辆的第一视图和第二视图作为训练样本对，其中，第一视图的采集角度与第二视图的采集角度不同，然后根据第一视图确定样本车辆的初始目标视图；将第一视图和初始目标视图作为用于生成车辆实景视图的神经网络模型的输入数据，将第二视图作为神经网络模型的目标数据，对神经网络模型进行训练。解决了通过语义分割得到的视图与实际情况相差甚远，真实度较低，导致驾驶员很难将其对应到实际场景的技术问题，提高了车辆视图的真实性，有利于为驾驶员分辨道路中的其他车辆，减少误判，提高驾驶过程的安全性。驾驶过程的安全性。驾驶过程的安全性。

【技术实现步骤摘要】
神经网络模型的训练方法、车辆视图的生成方法和车辆


[0001]本文涉及车辆辅助驾驶技术，尤指一种神经网络模型的训练方法、车辆视图的生成方法和车辆。

技术介绍

[0002]随着人们生活水平的提升，汽车在现代社会中得到了广泛的使用。现代交通变得越来越复杂，行车安全变得越来越重要，如何让用户获得更好的驾驶体验，成为汽车产业竞争的热点，也加速了辅助驾驶、自动驾驶技术的发展。
[0003]随着摄像头技术的成熟以及摄像头价格的下降，将计算机视觉技术应用于汽车驾驶，为用户提供更准确、直观的感知，成为了目前主流的辅助驾驶技术。利用计算机视觉技术，在车辆行驶过程中，通过车载相机获取车辆周围信息，并将所述车辆周围信息展示给车辆驾驶员，能够帮助车辆驾驶员快速了解车辆周围情况。
[0004]目前已有的获取车辆周围信息的方式包括：通过车载相机拍摄车辆周围的车辆，利用目标检测、测距等技术从所述拍摄图片中获取周围车辆相对本车的位置，将周围车辆按照其相对本车的位置显示在以本车为圆点的二维坐标系下，如图1所示，图1中的方框表示车辆，一个方框代表一辆车。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的训练方法，其特征在于，所述方法包括：确定样本车辆的第一视图和第二视图作为训练样本对，其中，所述第一视图的采集角度与所述第二视图的采集角度不同，所述第二视图为以预设采集角度对所述样本车辆进行采集的视图；根据所述第一视图确定所述样本车辆的初始目标视图；将所述第一视图和所述初始目标视图作为用于生成车辆实景视图的神经网络模型的输入数据，将所述第二视图作为所述神经网络模型的目标数据，对所述神经网络模型进行训练。2.根据权力要求1所述的方法，其特征在于，所述第二视图为样本车辆的采集俯视图，所述神经网络模型用于生成车辆实景俯视图，所述根据所述第一视图确定所述样本车辆的初始目标视图包括：对所述第一视图进行逆投影映射处理得到所述样本车辆的车辆鸟瞰图作为所述初始目标视图。3.根据权利要求2所述的方法，其特征在于，所述神经网络模型为生成对抗网络模型，包括生成网络和判别网络，所述将所述第一视图和所述初始目标视图作为用于生成车辆实景视图的神经网络模型的输入数据，将所述第二视图作为所述神经网络模型的目标数据，对所述神经网络模型进行训练包括：将所述第一视图与所述车辆鸟瞰图输入所述生成网络，通过所述生成网络得到所述样本车辆的预测俯视图；将所述预测俯视图与所述采集俯视图输入所述判别网络进行判别，并对所述生成网络和所述判别网络进行交叉训练；当所述生成对抗网络模型的损失函数收敛或交叉训练的轮次达到预设轮次阈值时，对所述生成网络和所述判别网络的交叉训练完成。4.根据权利要求3所述的方法，其特征在于，所述生成对抗网络模型的损失函数包括所述生成网络的损失函数和所述判别网络的损失函数，所述生成网络的损失函数至少包括以下之一：内容损失函数，用于评价所述预测俯视图和所述采集俯视图之间的内容差异；风格损失函数，用于评价所述预测俯视图和所述采集俯视图之间的风格差异。5.根据权利要求4所述的方法，其特征在于，所述内容损失函数至少包括以下之一：第一特征损失函数，用于评价所述预测俯视图和所述采集俯视图之间在第一特征上的差异，所述第一特征至少包括：像素、纹理、颜色、边缘和棱角中的一种或多种；第二特征损失函数，用于评价所述预测俯视图和所述采集俯视图之间在第二特征上的差异，所述第二特征至少包括：感知特征。6.根据权利要求5所述的方法，其特征在于，所述第一特征损失函数和/或所述第二特征损失函数的计算方法包括：对比所述预测俯视图和所述采集俯视图，确定前景差异和背景差异；对所述前景差异和所述背景差异进行加权计算，确定所述第一特征损失函数和/或所述第二特征损失函数。7.根据权利要求3所述的方法，其特征在于，所述生成网络包括：
注意力模块，用于在所述第一视图与所述车辆鸟瞰图中提取所述样本车辆的全局特征。8.根据权利要求3所述的方法，其特征在于，所述生成网络包括：编码模块和解码模块；所述将所述第一视图与所述车辆鸟瞰图输入所述生成网络，通过所述生成网络得到所述样本车辆的预测俯视图包括：所述编码模块包括第一编码单元和第二编码单元，通过所述第一编码单元在所述第一视图中提取所述样本车辆的第一车辆特征，通过所述第二编码单元在所述车辆鸟瞰图中提取所述样本车辆的第二车辆特征，将所述第一车辆特征和所述第二车辆特征进行融合，得到所述样本车辆的融合特征，将所述融合特征输入所述解码模块得到所述预测俯视图；或者，将所述第一视图和所述车辆鸟瞰图进行融合，得到所述样本车辆的融合图像，将所述融合图像输入所述生成网络的编码模块确定所述样本车辆的融合特征，将所述融合特征输入所述生成网络的解码模块得到所述预测俯视图。9.根据权利要求2所述的方法，其特征在于，对所述第一视图进行逆投影映射处理得到所述样本车辆的车辆鸟瞰图作为所述初始目标视图之后，所述方法还包括：确定所述样本车辆的外接图形...

【专利技术属性】
技术研发人员：邱翰，朱从贤，王进，
申请(专利权)人：虹软科技股份有限公司，
类型：发明
国别省市：