基于场景分割的自动驾驶处理方法及装置、计算设备制造方法及图纸

本发明专利技术公开了一种基于场景分割的自动驾驶处理方法及装置、计算设备，其方法包括：实时获取图像采集设备所拍摄和/或所录制的车辆驾驶途中的视频中的当前帧图像；将当前帧图像输入至第二神经网络中，得到当前帧图像对应的场景分割结果；其中，第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，第一神经网络的层数多于第二神经网络的层数；根据场景分割结果，确定行驶路线和/或行驶指令；按照所确定的行驶路线和/或行驶指令，对自身车辆进行自动驾驶控制。本发明专利技术利用训练后层数较少的神经网络快速准确计算得到场景分割结果，利用场景分割结果精准地确定行驶路线和/或行驶指令，有助于提高自动驾驶的安全性。

【技术实现步骤摘要】
基于场景分割的自动驾驶处理方法及装置、计算设备
本专利技术涉及深度学习领域，具体涉及一种基于场景分割的自动驾驶处理方法及装置、计算设备。
技术介绍
在现有技术中，对图像场景分割处理主要是基于深度学习中的全卷积神经网络，这些处理方法利用迁移学习的思想，将在大规模分类数据集上经过预训练得到的网络迁移到图像分割数据集上进行训练，从而得到用于场景分割的分割网络，然后利用该分割网络对图像进行场景分割。基于场景分割的自动驾驶对场景分割的时效性和准确性都有较高的要求，以保障自动驾驶的安全性。现有技术中使用的全卷积神经网络往往具有多层中间层，这样可以得到更精准的场景分割结果。但多层中间层的计算速度会较慢，不能快速的将场景进行分割，无法快速的得到自身车辆在驾驶途中的状况。而使用中间层较少的神经网络时，由于中间层层数较少，其计算速度较快，但受其层数限制，有可能造成计算能力有限、拟合能力较差、得到结果不准确等问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于场景分割的自动驾驶处理方法及装置、计算设备。根据本专利技术的一个方面，提供了一种基于场景分割的自动驾驶处理方法，其包括：实时获取图像采集设备所拍摄和/或所录制的车辆驾驶途中的视频中的当前帧图像；将当前帧图像输入至第二神经网络中，得到当前帧图像对应的场景分割结果；其中，第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，第一神经网络的层数多于第二神经网络的层数；根据场景分割结果，确定行驶路线和/或行驶指令；按照所确定的行驶路线和/或行驶指令，对自身车辆进行自动驾驶控制。可选地，根据场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据场景分割结果，确定特定对象的轮廓信息；依据特定对象的轮廓信息，计算自身车辆与特定对象的相对位置关系；根据计算得到的相对位置关系，确定行驶路线和/或行驶指令。可选地，自身车辆与特定对象的相对位置关系包括自身车辆与特定对象之间的距离信息和/或角度信息。可选地，根据场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据场景分割结果中包含的交通标志信息，确定自身车辆行驶路线和/或行驶指令。可选地，根据场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据场景分割结果中包含的交通信号灯信息，确定行驶路线和/或行驶指令。可选地，第二神经网络的训练过程包括：将场景分割的训练样本数据输入至经训练得到的第一神经网络中，获得第一神经网络的至少一层第一中间层的输出数据；将场景分割的训练样本数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据，至少一层第二中间层与至少一层第一中间层具有对应关系；利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练。可选地，至少一层第一中间层包含第一神经网络的瓶颈层；至少一层第二中间层包含第二神经网络的瓶颈层。可选地，利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练进一步包括：根据至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失更新第二神经网络的权重参数，根据最终输出数据与预标注的输出数据之间的损失更新第二神经网络的权重参数，对第二神经网络进行训练。可选地，在将训练样本的输入数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据之前，方法还包括：将场景分割的训练样本数据进行下采样处理，将处理后的数据作为第二神经网络的场景分割的训练样本数据。可选地，利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练进一步包括：利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与对下采样处理后场景分割的训练样本数据的预标注的输出数据之间的损失，对第二神经网络进行训练。可选地，方法还包括：收集当前帧图像作为场景分割的训练样本输入数据，以及，对当前帧图像进行人工标注，将标注后的图像作为预标注的输出数据。根据本专利技术的另一个方面，提供了一种基于场景分割的自动驾驶处理装置，其包括：获取模块，适于实时获取图像采集设备所拍摄和/或所录制的车辆驾驶途中的视频中的当前帧图像；识别模块，适于将当前帧图像输入至第二神经网络中，得到当前帧图像对应的场景分割结果；其中，第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，第一神经网络的层数多于第二神经网络的层数；确定模块，适于根据场景分割结果，确定行驶路线和/或行驶指令；控制模块，适于按照所确定的行驶路线和/或行驶指令，对自身车辆进行自动驾驶控制。可选地，确定模块进一步适于：根据场景分割结果，确定特定对象的轮廓信息；依据特定对象的轮廓信息，计算自身车辆与特定对象的相对位置关系；根据计算得到的相对位置关系，确定行驶路线和/或行驶指令。可选地，自身车辆与特定对象的相对位置关系包括自身车辆与特定对象之间的距离信息和/或角度信息。可选地，确定模块进一步适于：根据场景分割结果中包含的交通标志信息，确定自身车辆行驶路线和/或行驶指令。可选地，确定模块进一步适于：根据场景分割结果中包含的交通信号灯信息，确定行驶路线和/或行驶指令。可选地，装置还包括：场景分割网络指导训练模块；场景分割网络指导训练模块包括：第一输出单元，适于将场景分割的训练样本数据输入至经训练得到的第一神经网络中，获得第一神经网络的至少一层第一中间层的输出数据；第二输出单元，适于将场景分割的训练样本数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据，至少一层第二中间层与至少一层第一中间层具有对应关系；指导训练单元，适于利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练。可选地，至少一层第一中间层包含第一神经网络的瓶颈层；至少一层第二中间层包含第二神经网络的瓶颈层。可选地，指导训练单元进一步适于：根据至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失更新第二神经网络的权重参数，根据最终输出数据与预标注的输出数据之间的损失更新第二神经网络的权重参数，对第二神经网络进行训练。可选地，场景分割网络指导训练模块还包括：下采样单元，适于将场景分割的训练样本数据进行下采样处理，将处理后的数据作为第二神经网络的场景分割的训练样本数据。可选地，指导训练单元进一步适于：利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与对下采样处理后场景分割的训练样本数据的预标注的输出数据之间的损失，对第二神经网络进行训练。可选地，装置还包括：收集模块，适于收集当前帧图像作为场景分割的训练样本输入数据，以及，对当前帧图像进行人工标注，将标注后的图像作为预标注的输出数据。根据本专利技术的又一方面本文档来自技高网...

【技术保护点】
一种基于场景分割的自动驾驶处理方法，其包括：实时获取图像采集设备所拍摄和/或所录制的车辆驾驶途中的视频中的当前帧图像；将当前帧图像输入至第二神经网络中，得到当前帧图像对应的场景分割结果；其中，所述第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，所述第一神经网络的层数多于所述第二神经网络的层数；根据所述场景分割结果，确定行驶路线和/或行驶指令；按照所确定的行驶路线和/或行驶指令，对所述自身车辆进行自动驾驶控制。

【技术特征摘要】
1.一种基于场景分割的自动驾驶处理方法，其包括：实时获取图像采集设备所拍摄和/或所录制的车辆驾驶途中的视频中的当前帧图像；将当前帧图像输入至第二神经网络中，得到当前帧图像对应的场景分割结果；其中，所述第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，所述第一神经网络的层数多于所述第二神经网络的层数；根据所述场景分割结果，确定行驶路线和/或行驶指令；按照所确定的行驶路线和/或行驶指令，对所述自身车辆进行自动驾驶控制。2.根据权利要求1所述的方法，其中，所述根据所述场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据所述场景分割结果，确定特定对象的轮廓信息；依据所述特定对象的轮廓信息，计算自身车辆与所述特定对象的相对位置关系；根据计算得到的相对位置关系，确定行驶路线和/或行驶指令。3.根据权利要求2所述的方法，其中，所述自身车辆与所述特定对象的相对位置关系包括自身车辆与所述特定对象之间的距离信息和/或角度信息。4.根据权利要求1所述的方法，其中，所述根据所述场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据所述场景分割结果中包含的交通标志信息，确定自身车辆行驶路线和/或行驶指令。5.根据权利要求1所述的方法，其中，所述根据所述场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据所述场景分割结果中包含的交通信号灯信息，确定行驶路线和/或行驶指令。6.根据权利要求1-5中任一项所述的方法，其中，所述第二神经网络的训练过程包括：将场景分割的训练样本数据输入至经训练得到的第一神经网络中，获得第一神经网络的至少一层第一中间层的输出数据；将场景分...

【专利技术属性】
技术研发人员：董健，韩玉刚，颜水成，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11