本发明专利技术实施例公开了一种神经网络训练方法、车道线检测方法、装置和电子设备。所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；所述方法包括：通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；基于所述m个注意力图之间的差异确定第一损失，所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。和所述任务检测网络的网络参数。和所述任务检测网络的网络参数。
【技术实现步骤摘要】
神经网络训练方法、车道线检测方法、装置和电子设备
[0001]本专利技术涉及神经网络领域，具体涉及一种神经网络训练方法、车道线检测方法、装置和电子设备。
技术介绍
[0002]车道线检测一直都是无人驾驶领域的核心技术之一。稳定，精确，尤其是是快速地检测出车道线对无人驾驶技术的发展具有重大意义。
技术实现思路
[0003]本专利技术实施例提供一种神经网络训练方法、车道线检测方法、装置和电子设备。
[0004]本专利技术实施例的技术方案是这样实现的：
[0005]本专利技术实施例提供了一种神经网络训练方法，
[0006]所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；所述方法包括：
[0007]通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为第n-1个第一网络对应的特征图；
[0008]分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；所述m个注意力图基于m个生成网络分别对所述m个特征图的处理而生成；
[0009]基于所述m个注意力图之间的差异确定第一损失；
[0010]所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；
[0011]基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；
[0012]根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。
[0013]上述方案中，所述基于所述m个注意力图之间的差异确定第一损失，包括：
[0014]确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失；j为大于等于1小于m的整数；k为大于j的整数；
[0015]所述根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数，包括：
[0016]根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数；
[0017]根据所述第二损失调整所述N个第一网络和所述任务检测网络的网络参数。
[0018]上述方案中，所述确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失，包括：
[0019]分别确定所述第k个注意力图与第j个注意力图之间的欧式距离，得到k-j个欧式
距离；
[0020]基于所述k-j个欧式距离确定第一损失。
[0021]上述方案中，在k与j的差值大于1的情况下，所述基于所述k-j个欧式距离确定第一损失，包括：
[0022]对所述k-j个欧式距离进行特定处理，基于特定处理结果确定第一损失；其中，所述特定处理包括：平均处理或加权平均处理。
[0023]上述方案中，所述任务检测网络用于车道线检测，所述任务检测网络包括第二网络，所述第一样本图像的标注结果包括标注的车道线；
[0024]所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果，包括：
[0025]所述第二网络根据第N个第一网络输出的特征图，确定所述第一样本图像中的车道线；
[0026]所述基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失，包括：
[0027]基于确定的所述第一图像中的车道线和所述第一样本图像中标注的车道线确定第二损失。
[0028]上述方案中，所述任务检测网络还包括第三网络；
[0029]所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果，还包括：
[0030]所述第三网络根据第N个第一网络输出的特征图确定表征检测到的车道线数量的特征向量；
[0031]所述方法还包括：根据所述特征向量和所述第一样本图像对应的车道线数量的指示向量确定第三损失；所述车道线数量的指示向量根据所述第一样本图像中标注的车道线确定；
[0032]所述根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数，包括：
[0033]根据所述第一损失、所述第二损失和所述第三损失调整所述N个第一网络、所述第二网络、所述第三网络和所述m个生成网络的网络参数。
[0034]上述方案中，所述神经网络采用以下步骤获得：
[0035]利用初始神经网络对第二样本图像进行处理，确定所述第二样本图像的检测结果；
[0036]根据确定的所述第二样本图像的检测结果以及所述第二样本图像的标注结果，调整所述初始神经网络的网络参数，直至所述初始神经网络的检测准确率达到第一预设阈值，得到所述神经网络。
[0037]本专利技术实施例还提供了一种车道线检测方法，所述方法包括：
[0038]利用神经网络对道路图像进行检测，确定出所述道路图像中的车道线，和/或确定出表征所述道路图像中的车道线数量的特征向量，其中，所述神经网络采用本专利技术实施例所述的神经网络训练方法训练得到，所述神经网络中的任务检测网络用于进行车道线检测。
[0039]本专利技术实施例还提供了一种神经网络训练装置，所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；
[0040]所述装置包括：
[0041]特征提取模块，用于通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为第n-1个第一网络对应的特征图；
[0042]生成模块，用于分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；所述m个注意力图基于m个生成网络分别对所述m个特征图的处理而生成；
[0043]第一损失确定模块，用于基于所述m个注意力图之间的差异确定第一损失；
[0044]检测模块，用于所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；
[0045]第二损失确定模块，用于基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；
[0046]调整模块，用于根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。
[0047]上述方案中，所述第一损失确定模块，用于确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失；j为大于等于1小于m的整数；k为大于j的整数；
[0048]所述调整模块，用于根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数，根据所述第二损失调整所述N个第一网络和所述任务检测网络的网络参数。
[0049]上述方案中，所述第一损失确定模块，用于分别确定所述第k个注意本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种神经网络训练方法，其特征在于，所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；所述方法包括：通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为第n-1个第一网络对应的特征图；分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；所述m个注意力图基于m个生成网络分别对所述m个特征图的处理而生成；基于所述m个注意力图之间的差异确定第一损失；所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。2.根据权利要求1所述的方法，其特征在于，所述基于所述m个注意力图之间的差异确定第一损失，包括：确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失；j为大于等于1小于m的整数；k为大于j的整数；所述根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数，包括：根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数；根据所述第二损失调整所述N个第一网络和所述任务检测网络的网络参数。3.根据权利要求2所述的方法，其特征在于，所述确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失，包括：分别确定所述第k个注意力图与第j个注意力图之间的欧式距离，得到k-j个欧式距离；基于所述k-j个欧式距离确定第一损失。4.根据权利要求3所述的方法，其特征在于，在k与j的差值大于1的情况下，所述基于所述k-j个欧式距离确定第一损失，包括：对所述k-j个欧式距离进行特定处理，基于特定处理结果确定第一损失；其中，所述特定处理包括：平均处理或加权平均处理。5.根据权利要求1至4任一项所述的方法，其特征在于，所述任务检测网络用于车道线检测，所述任务检测网络包括第二网络，所述第一样本图像的标注结果包括标注的车道线；所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果，包括：所述第二网络根据第N个第一网络输出的特征图，确定所述第一样本图像中的车道线；所述基于确定的检测结果和...
【专利技术属性】
技术研发人员：刘春晓，马政，侯跃南，吕健勤，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。