训练车道线检测网络的方法、电子设备、程序产品及介质技术

本申请提供一种训练车道线检测网络的方法包括：将道路图像输入深度神经网络，通过深度神经网络输出第一车道线检测结果；确定第一车道线检测结果与车道线标签之间的第一网络损失；根据深度神经网络中至少两个卷积层输出的张量生成目标张量，将目标张量输入语义分割网络，通过语义分割网络输出第二车道线检测结果；确定第二车道线检测结果与车道线标签之间的第二网络损失；根据第一网络损失和第二网络损失的加权和确定目标损失；根据目标损失对深度神经网络进行训练。该方法利用语义分割网络对深度神经网络进行辅助训练，以提高深度神经网络的车道线识别能力。本申请还提供了能够实现上述方法的电子设备、程序产品及计算机可读存储介质。存储介质。存储介质。

【技术实现步骤摘要】
训练车道线检测网络的方法、电子设备、程序产品及介质


[0001]本申请涉及通信
，尤其涉及一种训练车道线检测网络的方法、电子设备、程序产品及计算机可读存储介质。

技术介绍

[0002]车道线是分隔行驶车辆的交通标线，其包括白色虚线、白色实线、黄色虚线和黄色实线。车道线检测是智能驾驶的一项基本功能。
[0003]目前有一种训练车道线检测模型的方法大致如下：将样本图像的样本车道线进行标注，标注结果包括第一参考点和第二参考点；根据样本车道线的标注结果训练出样本车道线的参数集合，参数集合包括样本车道线的中点、角度和长度；根据参数集合训练得到检测模型。
[0004]在车道线识别时，将待识别图像输入检测模型，通过检测模型输出车道线的中点、角度和长度，根据输出的车道线的中点、角度和长度生成待识别图像的车道线。上述方法可能将车道线的中点、角度和长度进行错误组合，这样会生成错误的车道线。

技术实现思路

[0005]本申请提供了一种训练车道线检测网络的方法、电子设备、程序产品及计算机可读存储介质，目的在于解决现有检测模型输出车道线的几何特征后，错误组合车道线的几何特征得到错误车道线的问题。
[0006]为了实现上述目的，本申请提供了以下技术方案：第一方面提供一种训练车道线检测网络的方法，该方法包括：获取道路图像以及道路图像的车道线标签；将道路图像输入深度神经网络，通过深度神经网络输出第一车道线检测结果；根据第一损失函数确定第一车道线检测结果与车道线标签之间的第一网络损失；根据深度神经网络中至少两个卷积层输出的张量生成目标张量，至少两个卷积层中任意两个卷积层的尺寸不同；将目标张量输入语义分割网络，通过语义分割网络输出第二车道线检测结果；根据第二损失函数确定第二车道线检测结果与车道线标签之间的第二网络损失；根据第一网络损失和第二网络损失的加权和确定目标损失；根据目标损失对深度神经网络进行训练。
[0007]依此实施，从深度神经网络的至少两个卷积层输出的张量对应于不同分辨率的图像特征，不同分辨率的图像特征保留了道路图像的不同层次的特征，因此至少两个卷积层输出的张量能够代表不同层次的道路图像特征，依此计算得到的第二网络损失能够在一定程度上反映出道路图像的特征与真实车道线的差异。
[0008]通过深度神经网络计算出的第一网络损失能够反映出深度神经网络的车道线检测结果与车道线标签之间的差异，通过语义分割网络计算出的第二网络损失能够反映出语义分割网络的车道线检测结果与车道线标签之间的差异，这样根据第一网络损失和第二网络损失计算出的目标损失包含了上述两种差异，与单个深度神经网络输出的网络损失相
比，上述目标损失包含了更加全面的信息，因此基于目标损失训练深度神经网络能够提高深度神经网络识别车道线的准确性以及能够提高训练深度神经网络的鲁棒性。与现有的检测模型相比，本申请的深度神经网络的输入数据和输出数据都是像素，因此无需组合车道线的几何特征，由此能够克服错误组合车道线的几何特征生成错误车道线的问题。
[0009]在一种可能的实现方式中，语义分割网络包括主干网络和深监督分支网络，深监督分支网络与主干网络的卷积层连接，第二车道线检测结果包括主干网络检测结果和分支网络检测结果；根据第二损失函数确定第二车道线检测结果与车道线标签之间的第二网络损失包括：根据第二损失函数确定主干网络检测结果与车道线标签之间的主干网络损失；根据第二损失函数确定分支网络检测结果与车道线标签之间的分支网络损失；确定第二网络损失为主干网络损失与分支网络损失的加权和。
[0010]在另一种可能的实现方式中，深度神经网络包括卷积层、注意力层和空洞空间金字塔池化层，注意力层用于给前一层输出的张量分配自注意力权重，空洞空间金字塔池化层用于按照空洞空间金字塔参数将前一层输出的张量进行池化。
[0011]在另一种可能的实现方式中，本申请的训练车道线检测网络的方法还包括：从第一车道线检测结果中从下往上依次选取像素组，像素组包括连续两行车道线像素；确定连续两行车道线像素中第一行车道线像素和第二行车道线像素；确定像素组的像素差为第一行车道线像素与第二行车道线像素之差；确定第一形状损失为全部像素组的像素差之和；根据第一网络损失和第二网络损失的加权和确定目标损失包括：将第一网络损失和第二网络损失的加权和与第一形状损失进行第一加权运算；根据第一加权运算结果确定目标损失。
[0012]在另一种可能的实现方式中，本申请的训练车道线检测网络的方法还包括：从第一车道线检测结果中从下往上依次选取像素集合，像素集合包括连续三行车道线像素；从连续三行车道线像素中获取每行车道线像素的最大像素值；根据像素集合中每行车道线像素的最大像素值计算像素集合的目标差值；确定第二形状损失为全部像素集合的目标差值之和；根据第一加权运算结果确定目标损失包括：将第一加权运算结果与第二形状损失进行第二加权运算；确定目标损失为第二加权运算结果。
[0013]在另一种可能的实现方式中，像素集合的目标差值、像素集合中每行车道线像素的最大像素值满足以下公式：；其中，为像素集合的目标差值，为像素集合中第一行车道线像素的最大像素值，为像素集合中第二行车道线像素的最大像素值，为像素集合中第三行车道线像素的最大像素值。
[0014]在另一种可能的实现方式中，车道线标签为经过平滑处理的标签；根据第一网络损失和第二网络损失的加权和确定目标损失包括：获取车道线标签与整数型标签之间的交叉熵平滑损失；将第一网络损失和第二网络损失的加权和与交叉熵
平滑损失进行第三加权运算；确定目标损失为第三加权运算结果。
[0015]在另一种可能的实现方式中，第一损失函数为二值交叉熵损失函数，第二损失函数为戴斯损失函数。
[0016]在另一种可能的实现方式中，获取道路图像包括：获取待修改道路图像；根据第一高度确定待修改道路图像的顶部区域；根据第二高度确定待修改道路图像的底部区域；根据剩余区域的图像生成道路图像，剩余区域为将待修改道路图像去除顶部区域和底部区域得到的区域。
[0017]在另一种可能的实现方式中，根据剩余区域的图像生成道路图像包括：将剩余区域的图像进行下采样，以得到道路图像。
[0018]在另一种可能的实现方式中，根据深度神经网络中至少两个卷积层输出的张量生成目标张量包括：将从深度神经网络中至少两个卷积层输出的张量修改为目标尺寸的张量；确定目标张量为目标尺寸的张量之和。
[0019]在另一种可能的实现方式中，上述方法还包括：获取待处理道路图像；将待处理道路图像输入深度神经网络，通过深度神经网络输出车道线图像，车道线图像包括多个像素；根据多个像素的位置从待处理道路图像中选取目标像素集合；将目标像素集合中每个像素的颜色修改为目标颜色，目标颜色与待处理道路图像中车道线的颜色不同。
[0020]第二方面提供一种电子设备，该电子设备包括获取单元和处理单元；获取单元用于获取道路图像以及道路图像的车道线标签；处理单元用于将道路图像输入深度神经网络，通过深度神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练车道线检测网络的方法，其特征在于，包括：获取道路图像；获取所述道路图像的车道线标签；将所述道路图像输入深度神经网络，通过所述深度神经网络输出第一车道线检测结果；根据第一损失函数确定所述第一车道线检测结果与所述车道线标签之间的第一网络损失；根据所述深度神经网络中至少两个卷积层输出的张量生成目标张量，所述至少两个卷积层中任意两个卷积层的尺寸不同；将所述目标张量输入语义分割网络，通过所述语义分割网络输出第二车道线检测结果；根据第二损失函数确定所述第二车道线检测结果与所述车道线标签之间的第二网络损失；根据所述第一网络损失和所述第二网络损失的加权和确定目标损失；根据所述目标损失对所述深度神经网络进行训练。2.根据权利要求1所述的方法，其特征在于，所述语义分割网络包括主干网络和深监督分支网络，所述深监督分支网络与所述主干网络的卷积层连接，所述第二车道线检测结果包括主干网络检测结果和分支网络检测结果；所述根据第二损失函数确定所述第二车道线检测结果与所述车道线标签之间的第二网络损失包括：根据第二损失函数确定所述主干网络检测结果与所述车道线标签之间的主干网络损失；根据所述第二损失函数确定所述分支网络检测结果与所述车道线标签之间的分支网络损失；确定所述第二网络损失为所述主干网络损失与所述分支网络损失的加权和。3.根据权利要求1所述的方法，其特征在于，所述深度神经网络包括卷积层、注意力层和空洞空间金字塔池化层，所述注意力层用于给前一层输出的张量分配自注意力权重，空洞空间金字塔池化层用于按照空洞空间金字塔参数将前一层输出的张量进行池化。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：从所述第一车道线检测结果中从下往上依次选取像素组，所述像素组包括连续两行车道线像素；确定所述连续两行车道线像素中第一行车道线像素和第二行车道线像素；确定所述像素组的像素差为所述第一行车道线像素与所述第二行车道线像素之差；确定第一形状损失为全部像素组的像素差之和；所述根据第一网络损失和第二网络损失的加权和确定目标损失包括：将所述第一网络损失和第二网络损失的加权和与第一形状损失进行第一加权运算；根据第一加权运算结果确定目标损失。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：从所述第一车道线检测结果中从下往上依次选取像素集合，所述像素集合包括连续三行车道线像素；从连续三行车道线像素中获取每行车道线像素的最大像
素值；根据所述像素集合中每行车道线像素的最大像素值计算所述像素集合的目标差值；确定第二形状损失为全部像素集合的目标差值之和；所述根据第一加权运算结果确定目标损失包括：将所述第一加权运算结果与所述第二形状损失进行第二加权运算；确定目标损失为第二加权运算结果。6.根据权利要求5所述的方法，其特征在于，所述像素集合的目标差值、所述像素集合中每行车道线像素的最大像素值满足以下公式：其中，为所述像素集合的目标差值，为所述像素集合中第一行车道线像素的最大像素值，为所述像素集合中第二行车道线像素的最大像素值，为所述像素集...

【专利技术属性】
技术研发人员：李丹洪，谢字希，邸皓轩，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：