一种图像处理方法、装置以及智能汽车制造方法及图纸

本申请公开了一种图像处理方法，可以应用于智能汽车、智能网联汽车上。该方法可以包括：获取待处理图像。将待处理图像输入至第一神经网络，以获取第一预测结果。第一预测结果指示待处理图像的第一区域是车道线时，根据高度信息和第一区域获取待处理图像中待检测物体的感兴趣区域，高度信息包括预设定的待检测物体的物理高度，感兴趣区域用于第二神经网络获取待检测物体的候选框和分类。通过本申请提供的方案，可以提升路口路段物体识别的准确度，比如提升交通灯识别的准确度。如提升交通灯识别的准确度。如提升交通灯识别的准确度。

【技术实现步骤摘要】
一种图像处理方法、装置以及智能汽车


[0001]本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置以及智能汽车。

技术介绍

[0002]人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
[0003]自动驾驶是人工智能领域的一种主流应用，自动驾驶技术依靠计算机视觉、雷达、监控装置和全球定位系统等协同合作，让机动车辆可以在不需要人类主动操作下，实现自动驾驶。自动驾驶的车辆使用各种计算系统来帮助将乘客从一个位置运输到另一位置。一些自动驾驶车辆可能要求来自操作者(诸如，领航员、驾驶员、或者乘客)的一些初始输入或者连续输入。自动驾驶车辆准许操作者从手动模操作式切换到自动驾驶模式或者介于两者之间的模式。由于自动驾驶技术无需人类来驾驶机动车辆，所以理论上能够有效避免人类的驾驶失误，减少交通事故的发生，且能够提高公路的运输效率。因此，自动驾驶技术越来越受到重视。
[0004]交通灯作为交通运转的枢纽设备，提升交通灯检测的准确度，对于自动驾驶有非常重要的意义。

技术实现思路

[0005]本申请提供了一种图像处理方法、装置以及智能汽车，以提升路口路段物体识别的准确度，比如提升交通灯识别的准确度。
[0006]为解决上述技术问题，本申请提供以下技术方案：
[0007]本申请第一方面提供一种图像处理方法，可用于人工智能领域的自动驾驶领域中。可以包括：获取待处理图像。将待处理图像输入至第一神经网络，以获取第一预测结果。该第一神经网络可以是用于执行图像分割任务的神经网络。相关技术中可以用于执行图像分割任务的神经网络本申请实施例均可以采用，比如第一神经网络包括但不限于：特殊卷积神经网络(specia convolutional neural network，SCNN)全卷积网络(fully convolutional networks，FCN)、U型神经网络(U
‑
Net)、掩膜区域卷积神经网络(maskregion convolutional neural network，Mask
‑
RCNN)、语义分割网(semanticsegmentation net，SegNet)。第一预测结果会指示待处理图像中每个像素属于车道线的概率，具体的指示每个像素属于停止车道线的概率，每个像素属于导向车道线的概率。属于停止车道线的概率超过预设阈值的像素点的集合可以用于获取一条停止车道线
在待处理图像中的区域。属于一条导向车道线的概率超过预设阈值的像素点的集合可以用于获取一条导向车道线在待处理图像中的区域。第一预测结果指示待处理图像的第一区域是车道线时，根据高度信息和第一区域获取待处理图像中待检测物体的感兴趣区域。高度信息可以包括预设定的待检测物体的物理高度，感兴趣区域用于第二神经网络获取待检测物体的候选框和分类。其中，该第二神经网络可以是用于还行物体识别任务的神经网络，包括但不限于卷积神经网络(convolutional neuron network，CNN)、深度神经网络(deep neural network，DNN)、你只能看一次(you only look once，YOLO)v3(版本号，代表第三版)、单发多核探测器(single shot multibox detector，SSD)。本申请中的ROI是指从待处理的图像以方框的方式勾勒出需要处理的区域(本申请也称之为抠图区域)，将该ROI输入至第二神经网络，以输出待检测物体的候选框和分类。确定感兴趣区域包括确定感兴趣的位置、感兴趣区域的长度以及感兴趣区域的宽度。本申请提供的方案提出了一种利用车道线获取感兴趣区域的方式，具体的，可以根据车道线确定感兴趣区域的位置以及感兴趣区域的长度，根据待检测物体的物体高度确定感兴趣的宽度。本申请提供的方案利用车道线，在待处理图像中选出路口路段对应的区域，有利于提升路口路段的待检测物体的检测的准确度。
[0008]在一种可能的实施方式中，第一区域中的车道线可以包括停止线，根据高度信息和第一区域获取待处理图像的感兴趣区域，可以包括：获取停止线在待处理图像中的长度。根据停止线在待处理图像中的长度获取感兴趣区域的长度。根据高度信息和比例尺获取待检测物体在待处理图像中的长度，比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。待处理图像中包括停止车道线时，说明车辆处于路口路段或者车辆即将驶入路口路段，根据停止车道线获取感兴趣区域，可以很好的在待处理图像中选出路口路段对应的区域，有利于提升路口路段的待检测物体的检测的准确度。
[0009]在一种可能的实施方式中，第一区域中可以包括多个第一像素，多个第一像素中各个第一像素属于停止线的概率超过第一预设阈值，停止线由多个第一像素组成，获取停止线在待处理图像中的长度，可以包括：根据多个第一像素中距离最远的两个像素之间的距离获取停止线在待处理图像中的长度。在这种实施方式中，给出了一种具体的获取停止线在待处理图像中的长度，增加了方案的多样性。
[0010]在一种可能的实施方式中，方法还可以包括：获取第一距离，第一距离是待检测物体和自车之间的距离。获取第二距离，第二距离是停止线和待处理图像的下边缘之间的距离。根据第一距离和第二距离获取比例尺。在这种实施方式中，给出了一种具体的获取比例尺的方式，增加了方案的多样性。
[0011]在一种可能的实施方式中，第一区域中的车道线还可以包括至少两条导向车道线，方法还可以包括：获取至少两条导向车道线中任意两条相邻的导向车道线在待处理图像中的宽度。根据任意两条相邻的导向车道线在待处理图像中的宽度和预设定的两条导向车道线的物理宽度获取比例尺。在这种实施方式中，给出了另一种具体的获取比例尺的方式，增加了方案的多样性。
[0012]在一种可能的实施方式中，根据停止线在待处理图像中的长度获取感兴趣区域的长度，可以包括：根据第一交点和第二交点之间的距离获取感兴趣区域的长度，第一交点是
待处理图像中第一导向车道线和停止线一端的交点，第二交点是待处理图像中第二导向车道线和停止线另一端的交点，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线。在这种实施方式中，给出了一种具体的根据停止线的长度获取感兴趣区域的长度的方式，增加了方案的多样性。
[0013]在一种可能的实施方式中，感兴趣区域的下边缘的位置根据停止线在待处理图像中的位置确定。在这种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像；将所述待处理图像输入至第一神经网络，以获取第一预测结果；所述第一预测结果指示所述待处理图像的第一区域是车道线时，根据高度信息和所述第一区域获取所述待处理图像中待检测物体的感兴趣区域，所述高度信息包括预设定的所述待检测物体的物理高度，所述感兴趣区域用于第二神经网络获取待检测物体的候选框和分类。2.根据权利要求1所述的方法，其特征在于，所述第一区域中的车道线包括停止线，所述根据高度信息和所述第一区域获取所述待处理图像的感兴趣区域，包括：获取所述停止线在所述待处理图像中的长度；根据所述停止线在所述待处理图像中的长度获取所述感兴趣区域的长度；根据所述高度信息和比例尺获取所述待检测物体在所述待处理图像中的长度，所述比例尺用于指示所述待检测物体在所述待处理图像中的长度和所述待检测物体的物理高度之间的比例关系；根据所述待检测物体在所述待处理图像中的长度获取所述感兴趣区域的宽度。3.根据权利要求2所述的方法，其特征在于，所述第一区域中包括多个第一像素，所述多个第一像素中各个第一像素属于所述停止线的概率超过第一预设阈值，所述停止线由所述多个第一像素组成，所述获取所述停止线在所述待处理图像中的长度，包括：根据所述多个第一像素中距离最远的两个像素之间的距离获取所述停止线在所述待处理图像中的长度。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取第一距离，所述第一距离是所述待检测物体和自车之间的距离；获取第二距离，所述第二距离是所述停止线和所述待处理图像的下边缘之间的距离；根据所述第一距离和所述第二距离获取所述比例尺。5.根据权利要求2所述的方法，其特征在于，所述第一区域中的车道线还包括至少两条导向车道线，所述方法还包括：获取所述至少两条导向车道线中任意两条相邻的导向车道线在所述待处理图像中的宽度；根据所述任意两条相邻的导向车道线在所述待处理图像中的宽度和预设定的两条导向车道线的物理宽度获取所述比例尺。6.根据权利要求2至5任一项所述的方法，其特征在于，所述根据所述停止线在所述待处理图像中的长度获取所述感兴趣区域的长度，包括：根据第一交点和第二交点之间的距离获取所述感兴趣区域的长度，所述第一交点是所述待处理图像中第一导向车道线和所述停止线一端的交点，所述第二交点是所述待处理图像中第二导向车道线和所述停止线另一端的交点，所述第一导向车道线和所述第二导向车道线是所述至少两条导向车道线中距离最远的两条导向车道线。7.根据权利要求2至6任一项所述的方法，其特征在于，所述感兴趣区域的下边缘的位置根据所述停止线在所述待处理图像中的位置确定。8.根据权利要求1所述的方法，其特征在于，所述第一区域中的车道线包括至少两条导
向车道线且不包括停止线，所述根据高度信息和所述第一区域获取所述待处理图像的感兴趣区域，包括：根据第三交点和第四交点之间的距离获取所述感兴趣区域的长度，所述第三交点是所述待处理图像中第一导向车道线和第一线段的一端的交点，所述第二交点是所述待处理图像中第二导向车道线和所述第一线段另一端的交点，所述第一导向车道线和所述第二导向车道线是所述至少两条导向车道线中距离最远的两条导向车道线，所述第一线段是经过第二像素的一条线段，所述第二像素是所述至少两条导向车道线中最短的导向车道线在所述待处理图像中最高点对应的像素；根据所述高度信息和比例尺获取所述待检测物体在所述待处理图像中的长度，所述比例尺用于指示所述待检测物体在所述待处理图像中的长度和所述待检测物体的物理高度之间的比例关系；根据所述待检测物体在所述待处理图像中的长度获取所述感兴趣区域的宽度。9.根据权利要求8所述的方法，其特征在于，所述第一线段与所述待处理图像的下边缘平行。10.根据权利要求1所述的方法，其特征在于，所述第一区域中的车道线包括至少两条导向车道线且不包括停止线，所述根据高度信息和所述第一区域获取所述待处理图像的感兴趣区域，包括：根据第一线段在所述待处理图像中的位置确定所述感兴趣区域的下边缘的位置，所述第一线段占据预设长度的像素，且所述第一线段的一端与第一导向车道线相交，所述第一线段的另一端与第二导向车道线相交，所述第一导向车道线和所述第二导向车道线是所述至少两条导向车道线中距离最远的两条导向车道线。11.根据权利要求10所述的方法，其特征在于，所述根据高度信息和所述第一区域获取所述待处理图像的感兴趣区域，还包括：根据所述第一线段的长度获取所述感兴趣区域的长度；根据所述高度信息和比例尺获取所述待检测物体在所述待处理图像中的长度，所述比例尺用于指示所述待检测物体在所述待处理图像中的长度和所述待检测物体的物理高度之间的比例关系；根据所述待检测物体在所述待处理图像中的长度获取所述感兴趣区域的宽度。12.根据权利要求1至11任一项所述的方法，其特征在于，若根据所述高度信息和所述第一区域获取的所述感兴趣区域的分辨率大于第二预设阈值时，所述方法还包括：将所述感兴趣区域的分辨率压缩至所述第二预设阈值。13.根据权利要求1至11任一项所述的方法，其特征在于，若根据所述高度信息和所述第一区域获取的所述感兴趣区域的分辨率小于第二预设阈值时，所述方法还包括：对所述感兴趣区域进行超分辨率处理，以使所述感兴趣的分辨率提升至所述第二预设阈值。14.根据权利要求1至13任一项所述的方法，其特征在于，所述待检测物体包括交通灯。15.一种图像处理装置，其特征在于，包括：获取模块，用于获取待处理图像；图像分割模块，用于将所述待处理图像输入至第一神经网络，以获取第一预测结果；
感兴趣区域模块，还用于所述第一预测结果指示所述待处理图像的第一区域是车道线时，根据高度信息和所述第一区域获取所述待处理图像中待检测物体的感兴趣区域，所述高度信息包括预设定的所述待检测物体的物理高度，所述感兴趣区域用...

【专利技术属性】
技术研发人员：郑永豪，黄梓亮，位硕权，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：