本申请的实施方式公开了一种神经网络的训练方法、车辆智能驾驶的横向控制方法、装置、电子设备、计算机可读存储介质及计算机程序，其中的神经网络的训练方法包括：将视频序列样本分别提供给用于车辆横向控制预测处理的待训练的神经网络以及至少一个辅助神经网络；对所述神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，以获得至少一对具有相同维度的第一特征图和第二特征图；根据具有相同维度的第一特征图和第二特征图之间的差异，调整所述神经网络的网络参数。
【技术实现步骤摘要】
神经网络的训练方法、横向控制方法、装置、设备及介质
本申请涉及计算机视觉技术，尤其是涉及一种神经网络的训练方法、神经网络的训练装置、车辆智能驾驶的横向控制方法、车辆智能驾驶的横向控制装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
横向控制通常是指垂直于车辆运动方向上的控制，可以认为横向控制是车辆的转向控制。横向控制是车辆智能驾驶领域中的核心技术之一，如何实现车辆的精准横向控制，尤其是如何在复杂路况的交通环境中(例如，大角度弯道、道路光线明显变化、光线暗淡的隧道或者车流湍急的直行道路等)，实现车辆的精准横向控制，是一个值得关注的技术问题。
技术实现思路
本申请实施方式提供一种训练神经网络以及车辆智能驾驶的横向控制的技术方案。根据本申请实施方式其中一方面，提供一种神经网络的训练方法，所述方法包括：将视频序列样本分别提供给用于车辆横向控制预测处理的待训练的神经网络以及至少一个辅助神经网络；对所述神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，以获得至少一对具有相同维度的第一特征图和第二特征图；根据具有相同维度的第一特征图和第二特征图之间的差异，调整所述神经网络的网络参数。在本申请一实施方式中，所述辅助神经网络包括：用于针对交通场景图像进行识别、检测、分割、分类和/或目标跟踪的神经网络。在本申请又一实施方式中，所述辅助神经网络与所述待训练的神经网络异构。在本申请再一实施方式中，所述对待训练的神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，包括：由所述神经网络中的至少一层对所述视频序列样本进行特征提取，获得第一特征图；由所述辅助神经网络中的至少一层对所述视频序列样本进行特征提取，获得第二特征图；由特征转移神经网络单元对所述第一特征图和/或所述第二特征图进行维度转换处理。在本申请再一实施方式中，所述由所述神经网络中的至少一层对所述视频序列样本进行特征提取，获得第一特征图包括：由所述神经网络中的多个层分别对所述视频序列样本进行特征提取，获得多个第一特征图；所述由特征转移神经网络单元对所述第一特征图和/或所述第二特征图进行维度转换处理包括：由与所述神经网络中的多个层分别连接的不同特征转移神经网络单元中的第一特征转移神经网络单元，分别对第一特征图进行维度转换处理；所述由所述辅助神经网络中的至少一层对所述视频序列样本进行特征提取，获得第二特征图包括：由所述辅助神经网络中的多个层分别对所述视频序列样本进行特征提取，获得多个第二特征图；所述由特征转移神经网络单元对所述第一特征图和/或所述第二特征图进行维度转换处理包括：由与所述辅助神经网络中的多个层分别连接的不同特征转移神经网络单元中的第二特征转移神经网络单元，分别对第二特征图进行维度转换处理。在本申请再一实施方式中，所述待训练的神经网络和辅助神经网络被划分为至少两个特征层次，不同特征层次中的层分别与不同特征转移神经网络单元连接。在本申请再一实施方式中，所述根据具有相同维度的第一特征图和第二特征图之间的差异，调整所述神经网络的网络参数包括：根据具有相同维度的第一特征图和第二特征图之间的差异、以及待训练的神经网络输出的车辆横向控制预测信息和辅助任务预测信息分别与视频序列样本中的横向控制标注信息和辅助任务标注信息之间的差异，调整所述神经网络以及各特征转移神经网络单元的网络参数。在本申请再一实施方式中，所述车辆横向控制预测信息包括：方向盘转角预测值。在本申请再一实施方式中，所述辅助任务预测信息包括：车辆时速预测值和/或车辆方向盘转角力矩预测值。在本申请再一实施方式中，所述将视频序列样本分别提供给用于车辆横向控制预测处理的待训练的神经网络以及至少一个辅助神经网络之前，所述方法还包括：基于多任务预训练所述神经网络，其中，所述多任务包括主任务和至少一个辅助任务，所述主任务为车辆横向控制任务，所述辅助任务为与所述主任务不同的其他车辆控制任务。在本申请再一实施方式中，所述至少一个辅助任务包括：车辆时速预测任务和/或车辆方向盘转角力矩预测任务。在本申请再一实施方式中，所述基于多任务预训练所述神经网络包括：初始化所述神经网络；将视频序列样本提供给所述神经网络；由所述神经网络进行多任务处理，并根据多任务处理各自的预测结果分别与视频序列样本的多任务标注信息之间的差异，调整所述神经网络的网络参数。在本申请再一实施方式中，在所述神经网络为三维时空残差卷积神经网络的情况下，所述初始化所述待训练的神经网络包括：利用已成功训练的二维残差卷积神经网络，对待训练的神经网络进行初始化。根据本申请实施方式的其中再一方面，提供一种车辆智能驾驶的横向控制方法，所述方法包括：获取待处理视频序列；其中，所述待处理视频序列包括：车辆行驶过程中拍摄的视频序列；将所述待处理视频序列提供给神经网络；由所述神经网络对所述待处理视频序列进行车辆横向控制预测处理，并输出车辆横向控制预测信息；其中，所述神经网络利用上述神经网络的训练方法，训练而成的。在本申请一实施方式中，所述车辆横向控制预测信息包括：方向盘转角预测值。在本申请又一实施方式中，所述神经网络包括：三维时空残差卷积神经网络；其中，所述三维包括：时间维度。根据本申请实施方式的其中再一方面，提供一种神经网络的训练装置，所述装置包括：提供视频序列样本模块，用于将视频序列样本分别提供给用于车辆横向控制预测处理的待训练的神经网络以及至少一个辅助神经网络；维度转换模块，用于对所述神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，以获得至少一对具有相同维度的第一特征图和第二特征图；调整网络参数模块，用于根据具有相同维度的第一特征图和第二特征图之间的差异，调整所述神经网络的网络参数。在本申请一实施方式中，所述辅助神经网络包括：用于针对交通场景图像进行识别、检测、分割、分类和/或目标跟踪的神经网络。在本申请又一实施方式中，所述辅助神经网络与所述待训练的神经网络异构。在本申请再一实施方式中，由所述神经网络中的至少一层对所述视频序列样本进行特征提取，获得第一特征图；由所述辅助神经网络中的至少一层对所述视频序列样本进行特征提取，获得第二特征图；所述维度转换模块包括：特征转移神经网络单元，所述特征转移神经网络单元用于对所述第一特征图和/或所述第二特征图进行维度转换处理。在本申请再一实施方式中，所述神经网络中的多个层分别对所述视频序列样本进行特征提取，获得多个第一特征图；所述特征转移神经网络单元包括：多个第一特征转移神经网络单元，多个第一特征转移神经网络单元与所述神经网络中的多个层分别连接，第一特征转移神经网络单元用于对所述神经网络中的相应层输出的第一特征图进行维度转换处理；所述辅助神经网络中的多个层分别对所述视频序列样本进行特征提取，获得多个第二特征图；所述特征转移神经网络单元包括：多个第二特征转移神经网络单元，第二特征转移神经网络单元用于对所述辅助神经网络中本文档来自技高网...
【技术保护点】
1.一种神经网络的训练方法，其特征在于，所述训练方法包括：将视频序列样本分别提供给用于车辆横向控制预测处理的待训练的神经网络以及至少一个辅助神经网络；对所述神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，以获得至少一对具有相同维度的第一特征图和第二特征图；根据具有相同维度的第一特征图和第二特征图之间的差异，调整所述神经网络的网络参数。
【技术特征摘要】
1.一种神经网络的训练方法，其特征在于，所述训练方法包括：将视频序列样本分别提供给用于车辆横向控制预测处理的待训练的神经网络以及至少一个辅助神经网络；对所述神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，以获得至少一对具有相同维度的第一特征图和第二特征图；根据具有相同维度的第一特征图和第二特征图之间的差异，调整所述神经网络的网络参数。2.根据权利要求1所述的方法，其特征在于，所述辅助神经网络包括：用于针对交通场景图像进行识别、检测、分割、分类和/或目标跟踪的神经网络。3.根据权利要求1至2中任一项所述的方法，其特征在于，所述辅助神经网络与所述待训练的神经网络异构。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述对待训练的神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，包括：由所述神经网络中的至少一层对所述视频序列样本进行特征提取，获得第一特征图；由所述辅助神经网络中的至少一层对所述视频序列样本进行特征提取，获得第二特征图；由特征转移神经网络单元对所述第一特征图和/或所述第二特征图进行维度转换处理。5.一种车辆智能驾驶的横向控制方法，其特征在于，包括：获取待处理视频序列；其中，所述待处理视频序列包括：车辆行驶过程中拍摄的视频序列；将所述待处理视频序列提供给神经网络；由所述神经网络对所述待处理视频序列进行车辆横向控制预测处理，并输出车辆横...
【专利技术属性】
技术研发人员：侯跃南，吕健勤，马政，刘春晓，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。