使用车辆摄像机系统的道路特征检测技术方案

本发明专利技术公开了使用车辆摄像机系统的道路特征检测。在一个示例实施例中，计算机实施方法包括由处理装置从与道路上的车辆相关联的摄像机中接收图像。所述计算机实施方法进一步包括由所述处理装置至少部分地基于所述图像而生成所述道路的俯视图。所述计算机实施方法进一步包括由所述处理装置至少部分地基于所述道路的所述俯视图而检测所述道路的车道的车道边界。所述计算机实施方法进一步包括由所述处理装置使用机器学习来检测所述道路的所述车道的所述车道边界内的道路特征。

Road feature detection using vehicle camera system

Road feature detection using a vehicle camera system is disclosed. In an exemplary embodiment, a computer implementation method includes receiving images from a camera associated with a vehicle on a road by a processing device. The computer implementation method further includes a top view of the road generated by the processing device at least partially based on the image. The computer implementation method further comprises detecting the lane boundaries of the lanes of the road at least in part based on the top view of the road. The computer implementation method further includes road characteristics within the lane boundary of the lane of the road, which is investigated by machine learning using the processing device.

【技术实现步骤摘要】
使用车辆摄像机系统的道路特征检测相关申请的交叉引用本申请要求2016年4月19日提交的、名称为“用于多道路特征检测的环绕取景摄像机系统”的美国临时专利申请第62/324,606的优先权，其全部公开内容通过引用并入本文中。
本公开内容一般涉及车辆摄像机系统，并且更具体地涉及用于道路特征检测、分类和追踪的环绕取景摄像机系统。
技术介绍
车辆（诸如，轿车、摩托车、船或其他类型的汽车）可以配备有一个或多个摄像机以便向驾驶者、车辆的其他乘坐者或者车辆的内置感知系统提供车辆的外部视野。例如，车辆能够包括前面、侧面和/或后面的摄像机。在所有侧面具有摄像机的车辆能够实现提供车辆及其周围环境的“鸟瞰”视图或“俯”视图的环绕取景摄像机系统。来自摄像机的图像能够在车辆内的显示装置上（诸如，在仪表板、中控面板、抬头显示装置等上）呈现给驾驶者或车辆的其他乘坐者。额外地，来自摄像机的图像能够由车辆的感知计算系统使用以便检测车辆外部的物体和道路特征。
技术实现思路
在一个示例性实施例中，用于道路特征检测的计算机实施方法包括由处理装置从与道路上的车辆相关联的摄像机系统中接收图像。该计算机实施方法进一步包括由处理装置至少部分地基于图像而生成道路的俯视图。该计算机实施方法进一步包括由处理装置至少部分地基于道路的俯视图而检测该道路的车道的车道边界。该计算机实施方法进一步包括由处理装置使用机器学习来检测道路的车道的车道边界内的道路特征。在一些示例中，机器学习使用卷积神经网络。在一些示例中，机器学习使用人工神经网络。在一些示例中，检测车道边界内的道路特征进一步包括使用神经网络执行特征提取以便从俯视图中提取道路特征，并且使用神经网络执行道路特征的分类。在一些示例中，车道边界由车道标记、路肩或路缘限定。在一些示例中，检测车道边界进一步包括检测俯视图上的图元特征，执行俯视图上的图元特征的聚类，执行俯视图上的图元特征的曲线拟合，以及执行俯视图上的图元特征的曲线整合。在一些示例中，摄像机包括鱼眼镜头。在一些示例中，道路特征是限速指示器，自行车道指示器，铁路指示器，学校区指示器和方向指示器之一。示例方法可以额外地包括将被检测的道路特征添加至道路特征的数据库，其中，道路特征的数据库能够由其他车辆访问。在另一个示例性实施例中，用于对道路的平整度（roughness）进行分类的系统包括与车辆相关联的多个摄像机。该系统还包括存储器和处理装置，该存储器包括计算机可读指令，该处理装置用于执行该计算机可读指令以用于执行方法。在示例中，该方法包括由处理装置从多个摄像机的每一个中接收图像。该方法进一步包括，对于多个摄像机的每一个，由处理装置至少部分地基于图像而生成道路的俯视图；由处理装置至少部分地基于道路的俯视图而检测道路的车道的车道边界；以及由处理装置使用机器学习来检测道路的车道的车道边界内的道路特征。该方法进一步包括由处理装置使来自多个摄像机的每一个中的道路特征融合。示例方法可以额外地包括为多个摄像机的每一个执行时间同步。示例方法可以额外地包括将时间同步应用于使来自多个摄像机中的每一个的道路特征融合。示例方法可以额外地包括从与车辆相关联的传感器中接收传感器数据。在一些示例中，来自多个摄像机的每一个中的道路特征的融合进一步包括利用传感器数据而使来自多个摄像机的每一个中的道路特征融合。在一些示例中，传感器数据由与车辆相关联的光检测和测距（LIDAR）传感器产生。在一些示例中，传感器数据由与车辆相关联的远距离摄像机产生。在一些示例中，传感器数据是全球定位系统数据。在有一个示例性实施例中，用于道路特征检测的计算机程序产品包括计算机可读存储介质，该计算机可读存储介质包括与其一起体现的程序指令，其中，该计算机可读存储介质本身不是暂时性信号，程序指令能够由处理装置执行以便使得处理装置执行方法。在示例中，该方法包括由处理装置从与道路上的车辆相关联的摄像机中接收图像。该方法进一步包括由处理装置至少部分地基于图像而生成道路的俯视图。该方法进一步包括由处理装置至少部分地基于道路的俯视图而检测该道路的车道的车道边界。该方法进一步包括由处理装置使用机器学习来检测道路的车道的车道边界内的道路特征。在一些示例中，机器学习使用卷积神经网络。在一些示例中，机器学习使用人工神经网络。在一些示例中，检测车道边界内的道路特征进一步包括使用神经网络执行特征提取以便从俯视图中提取道路特征，并且使用神经网络执行道路特征的分类。在一些示例中，车道边界由车道标记、路肩或路缘限定。从下面结合附图的详细描述中，本公开的上述特征和优点以及其它特征和优点将是显而易见的。方案1：一种用于道路特征检测的计算机实施方法，所述方法包括：由处理装置从与道路上的车辆相关联的摄像机系统中接收图像；由所述处理装置至少部分地基于所述图像而生成所述道路的俯视图；由所述处理装置至少部分地基于所述道路的所述俯视图而检测所述道路的车道的车道边界；由所述处理装置使用机器学习来检测所述道路的所述车道的所述车道边界内的道路特征。方案2：如方案1所述的计算机实施方法，其中，所述机器学习使用卷积神经网络。方案3：如方案1所述的计算机实施方法，其中，所述机器学习使用人工神经网络。方案4：如方案1所述的计算机实施方法，其中，检测所述车道边界内的所述道路特征进一步包括：使用神经网络执行特征提取以便从所述俯视图中提取道路特征；以及使用所述神经网络执行所述道路特征的分类。方案5：如方案1所述的计算机实施方法，其中，所述车道边界由车道标记、路肩或路缘限定。方案6：如方案1所述的计算机实施方法，其中，检测所述车道边界进一步包括：检测所述俯视图上的特征图元；执行所述俯视图上的所述特征图元的聚类；执行所述俯视图上的所述特征图元的曲线拟合；以及执行所述俯视图上的所述特征图元的曲线整合。方案7：如方案1所述的计算机实施方法，其中，所述摄像机包括鱼眼镜头。方案8：如方案1所述的计算机实施方法，其中，所述道路特征从由下述内容组成的组中选择：限速指示器，自行车道指示器，铁路指示器，学校区指示器和方向指示器。方案9：如方案1所述的计算机实施方法，进一步包括将被检测的道路特征添加至道路特征的数据库，其中，所述道路特征的数据库能够由其他车辆访问。方案10：一种用于道路特征检测的系统，所述系统包括：与车辆相关联的多个摄像机；包括计算机可读指令的存储器；以及用于执行所述计算机可读指令的处理装置，所述计算机可读指令用于执行方法，所述方法包括：由处理装置从所述多个摄像机的每一个中接收图像；对于所述多个摄像机的每一个，由所述处理装置至少部分地基于所述图像而生成所述道路的俯视图；由所述处理装置至少部分地基于所述道路的所述俯视图而检测所述道路的车道的车道边界；由所述处理装置使用机器学习来检测所述道路的所述车道的所述车道边界内的道路特征；由所述处理装置使来自所述多个摄像机的每一个中的所述道路特征融合。方案11：如方案10所述的系统，其中，所述方法进一步包括为所述多个摄像机的每一个执行时间同步。方案12：如方案11所述的系统，其中，所述方法进一步包括将所述时间同步应用于使来自所述多个摄像机的每一个中的所述道路特征融合。方案13：如方案10所述的系统，其中，所述方法进一步包括：从与所述车辆相关联的传感器本文档来自技高网...

【技术保护点】
一种用于道路特征检测的计算机实施方法，所述方法包括：由处理装置从与道路上的车辆相关联的摄像机系统中接收图像；由所述处理装置至少部分地基于所述图像而生成所述道路的俯视图；由所述处理装置至少部分地基于所述道路的所述俯视图而检测所述道路的车道的车道边界；由所述处理装置使用机器学习来检测所述道路的所述车道的所述车道边界内的道路特征。

【技术特征摘要】
2016.04.19 US 62/324606;2017.04.13 US 15/4866381.一种用于道路特征检测的计算机实施方法，所述方法包括：由处理装置从与道路上的车辆相关联的摄像机系统中接收图像；由所述处理装置至少部分地基于所述图像而生成所述道路的俯视图；由所述处理装置至少部分地基于所述道路的所述俯视图而检测所述道路的车道的车道边界；由所述处理装置使用机器学习来检测所述道路的所述车道的所述车道边界内的道路特征。2.如权利要求1所述的计算机实施方法，其中，所述机器学习使用卷积神经网络。3.如权利要求1所述的计算机实施方法，其中，所述机器学习使用人工神经网络。4.如权利要求1所述的计算机实施方法，其中，检测所述车道边界内的所述道路特征进一步包括：使用神经网络执行特征提取以便从所述俯视图中提取道路特征；以及使用所述神经网络执行所述道路特征的分类。5.如权利要求1所述的计算机实施方法，其中，所述车道边界由车道标记、路肩或路缘限定。6.如权利要求1所述的计算机实施方法，其中，检测所述车道边界进一步包括：检测所述俯视图上的特征...

【专利技术属性】
技术研发人员：GJ邹，J王，UP穆达利奇，S曾，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US