本发明专利技术公开了一种基于场景分割的自动驾驶处理方法及装置、计算设备，方法对所拍摄和/或所录制视频所包含的帧图像进行分组处理，包括：实时获取图像采集设备所拍摄和/或所录制的车辆驾驶途中的视频中的当前帧图像；将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行场景分割，得到当前帧图像的场景分割结果；根据场景分割结果，确定行驶路线和/或行驶指令；按照所确定的行驶路线和/或行驶指令，对自身车辆进行自动驾驶控制。本发明专利技术根据当前帧图像在其所属分组中的帧位置不同，对应的对帧图像进行场景分割。利用场景分割结果精准地确定行驶路线和/或行驶指令，有助于提高自动驾驶的安全性。
【技术实现步骤摘要】
基于场景分割的自动驾驶处理方法及装置、计算设备
本专利技术涉及图像处理领域，具体涉及一种基于场景分割的自动驾驶处理方法及装置、计算设备。
技术介绍
图像场景分割处理主要是基于深度学习中的全卷积神经网络，这些处理方法利用迁移学习的思想，将在大规模分类数据集上经过预训练得到的网络迁移到图像分割数据集上进行训练，从而得到用于场景分割的分割网络，然后利用该分割网络对图像进行场景分割。基于场景分割的自动驾驶对场景分割的时效性和准确性都有较高的要求，以保障自动驾驶的安全性。现有技术在对场景进行分割时，往往是将视频数据中的每一帧图像作为单独的帧图像进行场景分割，得到每一帧图像的场景分割结果。但这种处理方式对每一帧图像进行相同的处理，没有考虑到视频数据中各帧图像之间的关联性。使得处理的速度较慢，需要花费较多的时间。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于场景分割的自动驾驶处理方法及装置、计算设备。根据本专利技术的一个方面，提供了一种基于场景分割的自动驾驶处理方法，方法对所拍摄和/或所录制视频所包含的帧图像进行分组处理，其包括：实时获取图像采集设备所拍摄和/或所录制的车辆驾驶途中的视频中的当前帧图像；将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行场景分割，得到当前帧图像的场景分割结果；根据场景分割结果，确定行驶路线和/或行驶指令；按照所确定的行驶路线和/或行驶指令，对自身车辆进行自动驾驶控制。可选地，根据场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据场景分割结果，确定特定对象的轮廓信息；依据特定对象的轮廓信息，计算自身车辆与特定对象的相对位置关系；根据计算得到的相对位置关系，确定行驶路线和/或行驶指令。可选地，自身车辆与特定对象的相对位置关系包括自身车辆与特定对象之间的距离信息和/或角度信息。可选地，根据场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据场景分割结果中包含的交通标志信息，确定自身车辆行驶路线和/或行驶指令。可选地，根据场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据场景分割结果中包含的交通信号灯信息，确定行驶路线和/或行驶指令。可选地，将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行场景分割，得到当前帧图像的场景分割结果进一步包括：判断当前帧图像是否为任一分组的第1帧图像；若是，则将当前帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到当前帧图像的场景分割结果；若否，则将当前帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取当前帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到当前帧图像的场景分割结果；其中，i和j为自然数。可选地，在判断出当前帧图像不是任一分组的第1帧图像之后，方法还包括：计算当前帧图像与其所属分组的第1帧图像的帧间距；根据帧间距，确定i和j的取值；其中，第i层卷积层与最后一层卷积层之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。可选地，方法还包括：预先设置帧间距与i和j的取值的对应关系。可选地，在直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合之后，方法还包括：若第j层反卷积层是神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到当前帧图像的场景分割结果；若第j层反卷积层不是神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续反卷积层和输出层的运算，以得到当前帧图像的场景分割结果。可选地，将当前帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到当前帧图像的场景分割结果进一步包括：在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。可选地，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果之前，方法还包括：在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。可选地，视频每组包含n帧帧图像；其中，n为固定预设值。根据本专利技术的另一方面，提供了一种基于场景分割的自动驾驶处理装置，装置对所拍摄和/或所录制视频所包含的帧图像进行分组处理，其包括：获取模块，适于实时获取图像采集设备所拍摄和/或所录制的车辆驾驶途中的视频中的当前帧图像；分割模块，适于将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行场景分割，得到当前帧图像的场景分割结果；确定模块，适于根据场景分割结果，确定行驶路线和/或行驶指令；控制模块，适于按照所确定的行驶路线和/或行驶指令，对自身车辆进行自动驾驶控制。可选地，确定模块进一步适于：根据场景分割结果，确定特定对象的轮廓信息；依据特定对象的轮廓信息，计算自身车辆与特定对象的相对位置关系；根据计算得到的相对位置关系，确定行驶路线和/或行驶指令。可选地，自身车辆与特定对象的相对位置关系包括自身车辆与特定对象之间的距离信息和/或角度信息。可选地，确定模块进一步适于：根据场景分割结果中包含的交通标志信息，确定自身车辆行驶路线和/或行驶指令。可选地，确定模块进一步适于：根据场景分割结果中包含的交通信号灯信息，确定行驶路线和/或行驶指令。可选地，分割模块进一步包括：判断单元，适于判断当前帧图像是否为任一分组的第1帧图像，若是，执行第一分割单元；否则，执行第二分割单元；第一分割单元，适于将当前帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到当前帧图像的场景分割结果；第二分割单元，适于将当前帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取当前帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到当前帧图像的场景分割结果；其中，i和j为自然数。可选地，分割模块还包括：帧间距计算单元，适于计算当前帧图像与其所属分组的第1帧图像的帧间距；确定单元，适于根据帧间距，确定i和j的取值；其中，第i层卷积层与最后一层卷积层之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。可选地，分割模块还包括：预设单元，适于预先设置帧间距与i和j的取值的对应关系。可选地，第二分割单元进一步适于：若第j层反卷积层是神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到当前帧图像的场景分割结果；若第j层反卷积层不是神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续反卷积层和输出层的运算，以得到当前帧图像的场景分割结果。可选地，第一分割单元进一步适于：在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。可选地，第二分割单元进一步本文档来自技高网...
【技术保护点】
一种基于场景分割的自动驾驶处理方法，所述方法对所拍摄和/或所录制视频所包含的帧图像进行分组处理，其包括：实时获取图像采集设备所拍摄和/或所录制的车辆驾驶途中的视频中的当前帧图像；将所述当前帧图像输入至经训练得到的神经网络中，根据所述当前帧图像在其所属分组中的帧位置，对当前帧图像进行场景分割，得到所述当前帧图像的场景分割结果；根据所述场景分割结果，确定行驶路线和/或行驶指令；按照所确定的行驶路线和/或行驶指令，对自身车辆进行自动驾驶控制。
【技术特征摘要】
1.一种基于场景分割的自动驾驶处理方法，所述方法对所拍摄和/或所录制视频所包含的帧图像进行分组处理，其包括：实时获取图像采集设备所拍摄和/或所录制的车辆驾驶途中的视频中的当前帧图像；将所述当前帧图像输入至经训练得到的神经网络中，根据所述当前帧图像在其所属分组中的帧位置，对当前帧图像进行场景分割，得到所述当前帧图像的场景分割结果；根据所述场景分割结果，确定行驶路线和/或行驶指令；按照所确定的行驶路线和/或行驶指令，对自身车辆进行自动驾驶控制。2.根据权利要求1所述的方法，其中，所述根据所述场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据所述场景分割结果，确定特定对象的轮廓信息；依据所述特定对象的轮廓信息，计算自身车辆与所述特定对象的相对位置关系；根据计算得到的相对位置关系，确定行驶路线和/或行驶指令。3.根据权利要求2所述的方法，其中，所述自身车辆与所述特定对象的相对位置关系包括自身车辆与所述特定对象之间的距离信息和/或角度信息。4.根据权利要求1所述的方法，其中，所述根据所述场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据所述场景分割结果中包含的交通标志信息，确定自身车辆行驶路线和/或行驶指令。5.根据权利要求1所述的方法，其中，所述根据所述场景分割结果，确定行驶路线和/或行驶指令进一步包括：根据所述场景分割结果中包含的交通信号灯信息，确定行驶路线和/或行驶指令。6.根据权利要求1-5中任一项所述的方法，其中，所述将所述当前帧图像输入至经训练得到的神经网络中，根据所述当前帧图像在其所属分组中的帧位置，对当前帧图像进行场景分割，得到所述当前帧图像的场景分割结果进一步包括：判断所述当前帧图像是否为任一分组的第1帧图像；若是，则将所述当前帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到所述当前帧图像的场景分割结果；...
【专利技术属性】
技术研发人员：董健，韩玉刚，颜水成，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。