自动驾驶的视觉感知方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种自动驾驶的视觉感知方法、装置、计算机设备和存储介质。所述方法包括：获取采集的视觉感知图像；将所述视觉感知图像输入训练好的多任务神经网络的主干网络，通过所述主干网络提取所述视觉感知图像的共享特征，得到共享特征图；将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务的分类，输出相应任务的分类结果；根据预设视觉感知目标，提取对应任务的分类结果进行融合，得到视觉感知结果，所述视觉感知结果包括车道线信息、路面标志信息、通行区域路况信息和路面障碍物信息中的至少一种。采用本方法能够提高视觉感知的精度。

Visual perception methods, devices, computer equipment and storage media for autonomous driving

【技术实现步骤摘要】
自动驾驶的视觉感知方法、装置、计算机设备和存储介质
本申请涉及自动驾驶
，特别是涉及一种自动驾驶的视觉感知方法、装置、计算机设备和存储介质。
技术介绍
随着计算机软硬件能力的不断提升，以及各种传感器精度的普遍提升，自动驾驶技术成为一个重要的研究领域，受到了学术界和工业界广泛的关注。自动驾驶系统主要可以分为感知层、决策层和控制层三个层次。其中，感知层是这三个模块层的基础，用来完成对车辆周围环境的感知识别。而感知层需要用到各种类型的感知技术协同工作，例如摄像头、毫米波雷达、激光雷达、超声波雷达、红外夜视以及用于定位和导航的GPS(GlobalPositionSystem,全球定位系统)和IMU(InertialMeasurementUnit,惯性测量单元)等传感器。另外还有一类虽然不是主动式的探测元件，但是属于协同式的全局数据辅助可以扩展车辆的环境感知能力，例如高精度地图和车联网技术等。每种类型的感知技术通过相互补充融合，最终使得车辆达到驾驶场景下非常高的安全性要求。近几年，随着深度学习技术的快速发展，使得计算机视觉领域的很多传统任务本文档来自技高网...

【技术保护点】
1.一种自动驾驶的视觉感知方法，所述方法包括：/n获取采集的视觉感知图像；/n将所述视觉感知图像输入训练好的多任务神经网络的主干网络，通过所述主干网络提取所述视觉感知图像的共享特征，得到共享特征图；/n将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务的分类，输出相应任务的分类结果；/n根据预设视觉感知目标，提取对应任务的分类结果进行融合，得到视觉感知结果，所述视觉感知结果包括车道线信息、路面标志信息、通行区域路况信息和路面障碍物信息中的至少一种。/n

【技术特征摘要】
1.一种自动驾驶的视觉感知方法，所述方法包括：
获取采集的视觉感知图像；
将所述视觉感知图像输入训练好的多任务神经网络的主干网络，通过所述主干网络提取所述视觉感知图像的共享特征，得到共享特征图；
将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务的分类，输出相应任务的分类结果；
根据预设视觉感知目标，提取对应任务的分类结果进行融合，得到视觉感知结果，所述视觉感知结果包括车道线信息、路面标志信息、通行区域路况信息和路面障碍物信息中的至少一种。


2.根据权利要求1所述的方法，其特征在于，所述分支网络包括车道线语义分割网络、车道线实例分割网络和线型分类网络；
所述将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务的分类，输出相应任务的分类结果，包括：
将所述共享特征图输入所述车道线语义分割网络，通过所述车道线语义分割网络基于所述共享特征图进行车道线检测，得到二进制车道线图像；
将所述共享特征图输入所述车道线实例分割网络，通过所述车道线实例分割网络基于所述共享特征图进行车道线实例分割，得到车道线实例分割图像；
将所述共享特征图输入所述线型分类网络，通过所述线型分类网络基于所述共享特征图进行车道线线型分类，得到车道线线型图像。


3.根据权利要求1所述的方法，其特征在于，所述根据预设视觉感知目标，提取对应任务的分类结果进行融合，得到视觉感知结果，包括：
根据预设视觉感知目标从所述分类结果中提取得到二进制车道线图像、车道线实例分割图像和车道线线型图像；
将所述车道线实例分割图像对应的图像矩阵进行聚类，得到车道线实例聚类图像；
根据所述车道线实例聚类图像和所述车道线线型图像，对所述二进制车道线图像进行实例分类和线型分类，得到车道线图像；
对所述车道线图像中各车道线进行曲线拟合，并计算各所述车道线对应的车道线像素点的平均置信度，得到车道线信息。


4.根据权利要求1所述的方法，其特征在于，所述分支网络包括路面标志分类网络；
所述将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务的分类，输出相应任务的分类结果，包括：
将所述共享特征图输入所述路面标志分类网络，通过所述路面标志分类网络基于所述共享特征图进行路面标志的检测分类，得到路面标志分类图像。


5.根据权利要求1所述的方法，其特征在于，所述根据预设视觉感知目标，提取对应任务的分类结果进行融合，得到视觉感知结果，包括：
根据预设视觉感知目标从所述分类结果中提取得到路面标志分类图像；
从所述路面标志分类图像中提取得到各路面标志对应的路面标志图像；
分别将各所述路面标志图像进行椭圆拟合，并计算各所述路面标志图像对应像素点的平均置信度，得到路面标志信息。


6.根据权利要求1所述的方法，其特征在于，所述分支网络包括通行区域检测网络和车辆行人实例分割网络；
所述将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务分类，输出相应任务的分类结果，包括：
将所述共享特征图输入通行区域检测网络，通过所述通行区域检测网络基于所述共享特征图进行区域检测，得到区域分类图像；
将所述共享特征图输入车辆行人实例分割网络，通过所述车辆行人实例分割网络基于所述共享特征图进行车辆行人的实例分割，得到车辆行人实例分割图像。


7.根据权利要求1所述的方法，其特征在于，所述根据预设视觉感知目标，提取对应任务的分类结果进行融合，得到视觉感知结果，包括下述至少一项：
第一项：
根据预设视觉感知目标从所述分类结果中提取得到区域分类图像；
从所述区域分类图像中提取得到可通行区域图像和路沿图像，并获取第一需求；
根据所述第一需求对所述可通行区域图像和路沿图像进行参数化，并分别计算所述可通行区域图像对应...

【专利技术属性】
技术研发人员：李宇明，刘国清，郑伟，杨广，敖争光，
申请(专利权)人：深圳佑驾创新科技有限公司，
类型：发明
国别省市：广东;44