神经网络训练、路面检测、智能驾驶控制方法和装置制造方法及图纸

本发明专利技术实施例提供一种神经网络训练、路面检测、智能驾驶控制方法和装置，神经网络训练方法包括：将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；分别确定各训练图像的任务预测结果与各训练图像相对至少二个检测任务的任务检测真值之间的损失；根据确定的各损失确定神经网络相对至少二个检测任务的共享损失；根据共享损失调整神经网络的网络参数。通过在多任务神经网络的训练中，根据多任务的检测损失确定共享损失，并回传神经网络进行神经网络参数的调整，提高了神经网络对多任务的训练效果。

Neural network training, road detection, intelligent driving control methods and devices

【技术实现步骤摘要】
神经网络训练、路面检测、智能驾驶控制方法和装置
本专利技术计算机视觉技术，尤其涉及一种神经网络训练、路面检测、智能驾驶控制方法和装置。
技术介绍
可行驶区域检测技术、车道线检测技术以及车道线类型检测技术是辅助驾驶系统和自动驾驶系统的关键技术，基于视觉的可行驶区域检测系统由于信息丰富，成本低廉等优势成为科研人员的研究重点。目前的可行驶区域检测技术、车道线检测技术以及车道线类型检测技术主要是基于模式识别和相机几何，即对图像中的主要特征，包括颜色、纹理、形状模型、消失点等，进行识别，从而检测出可行驶区域、车道线以及车道线类型。
技术实现思路
本专利技术实施例提供一种神经网络训练、路面检测、智能驾驶控制方法和装置。第一方面，本专利技术实施例提供一种神经网络训练方法，包括：将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；根据所述共享损失调整所述神经网络的网络参数。在第一方面的一种可行的实施方式中，所述根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失，包括：根据确定的各损失调整所述至少二个检测任务对应的损失的权重；根据确定的各损失和所述各损失分别对应的权重，确定所述共享损失。在第一方面的一种可行的实施方式中，在所述确定的损失越大时，所述确定的损失的权重越大；在所述确定的损失越小时，所述确定的损失的权重越小。在第一方面的一种可行的实施方式中，所述根据所述共享损失调整所述神经网络的网络参数之后，神经网络训练方法还包括：确定所述训练图像集包括的第二训练图像子集，其中，所述第二训练图像子集包括的训练图像和所述第一训练图像子集包括的训练图像至少部分不同；将所述第二训练图像子集作为第一训练子集输入所述神经网络，以调整所述神经网络的网络参数。在第一方面的一种可行的实施方式中，所述神经网络包括：共享网络层以及分别与所述共享网络层连接的至少二个任务检测分支；所述将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果，包括：将所述第一训练图像子集输入所述神经网络，以经所述神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。在第一方面的一种可行的实施方式中，所述根据所述共享损失调整所述神经网络的网络参数，包括：根据所述共享损失调整所述神经网络的共享网络层的网络参数。在第一方面的一种可行的实施方式中，神经网络训练方法还包括：根据确定的各损失分别调整所述神经网络相应任务检测分支的网络参数。在第一方面的一种可行的实施方式中，所述共享网络层包括：至少一个卷积层和至少一个残差网络单元。在第一方面的一种可行的实施方式中，所述共享网络层中至少一个卷积层包括连接的N个卷积层，所述至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。在第一方面的一种可行的实施方式中，所述至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。在第一方面的一种可行的实施方式中，所述训练图像集包括：在至少二个不同场景下采集的图像。第二方面，本专利技术实施例提供一种路面检测方法，包括：经车辆上设置的摄像头采集所述车辆所在路面的道路图；将所述道路图输入神经网络，所述神经网络包括共享网络层和至少二个检测任务分支，所述至少二个检测任务分支对应以下检测任务中的至少二个检测任务：车道线检测、车道线属性检测、可行驶区域检测；经所述神经网络的共享网络层提取所述道路图的特征图；经所述至少二个检测任务分支，基于所述特征图，分别执行所述至少二个检测任务，得到所述至少二个检测任务的检测结果。在第二方面的一种可行的实施方式中，所述神经网络为由训练图像集预先训练而得，所述训练图像集包括多个训练图像以及各所述训练图像与所述至少二个检测任务分支相应的标注信息。在第二方面的一种可行的实施方式中，所述神经网络的训练方法，包括：将所述训练图像集包括的第一训练图像子集输入所述神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；根据所述共享损失调整所述神经网络的网络参数。在第二方面的一种可行的实施方式中，所述根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失，包括：根据确定的各损失调整所述至少二个检测任务对应的损失的权重；根据确定的各损失和所述各损失分别对应的权重，确定所述共享损失。在第二方面的一种可行的实施方式中，在所述确定的损失越大时，所述确定的损失的权重越大；在所述确定的损失越小时，所述确定的损失的权重越小。在第二方面的一种可行的实施方式中，所述根据所述共享损失调整所述神经网络的网络参数之后，路面检测方法还包括：确定所述训练图像集包括的第二训练图像子集，其中，所述第二训练图像子集包括的训练图像和所述第一训练图像子集包括的训练图像至少部分不同；将所述第二训练图像子集作为第一训练子集输入所述神经网络，以调整所述神经网络的网络参数。在第二方面的一种可行的实施方式中，所述神经网络包括：共享网络层以及分别与所述共享网络层连接的至少二个任务检测分支；所述将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果，包括：将所述第一训练图像子集输入所述神经网络，以经所述神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。在第二方面的一种可行的实施方式中，所述根据所述共享损失调整所述神经网络的网络参数，包括：根据所述共享损失调整所述神经网络的共享网络层的网络参数。在第二方面的一种可行的实施方式中，路面检测方法还包括：根据确定的各损失分别调整所述神经网络相应任务检测分支的网络参数。在第二方面的一种可行的实施方式中，所述共享网络层包括：至少一个卷积层和至少一个残差网络单元。在第二方面的一种可行本文档来自技高网...

【技术保护点】
1.一种神经网络训练方法，其特征在于，包括：/n将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；/n分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；/n根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；/n根据所述共享损失调整所述神经网络的网络参数。/n

【技术特征摘要】
1.一种神经网络训练方法，其特征在于，包括：
将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；
分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；
根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；
根据所述共享损失调整所述神经网络的网络参数。


2.根据权利要求1所述的方法，其特征在于，所述根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失，包括：
根据确定的各损失调整所述至少二个检测任务对应的损失的权重；
根据确定的各损失和所述各损失分别对应的权重，确定所述共享损失。


3.一种路面检测方法，其特征在于，包括：
经车辆上设置的摄像头采集所述车辆所在路面的道路图；
将所述道路图输入神经网络，所述神经网络包括共享网络层和至少二个检测任务分支，所述至少二个检测任务分支对应以下检测任务中的至少二个检测任务：车道线检测、车道线属性检测、可行驶区域检测；
经所述神经网络的共享网络层提取所述道路图的特征图；
经所述至少二个检测任务分支，基于所述特征图，分别执行所述至少二个检测任务，得到所述至少二个检测任务的检测结果。


4.一种智能驾驶控制方法，其特征在于，包括：
获取经车辆上设置的摄像头采集所述车辆所在路面的道路图的检测结果，所述道路图的检测结果采用如权利要求3所述的路面检测方法得到；
根据所述道路图的检测结果输出提示信息和/或对车辆进行智能驾驶控制。


5.一种神经网络训练装置，其特征在于，包括：
任务预设结果获取模块，用于将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述...

【专利技术属性】
技术研发人员：孙鹏，程光亮，石建萍，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11