识别交通灯的方法、装置及车辆制造方法及图纸

本公开提供了一种识别交通灯的方法、装置及车辆。该方法采用由单个摄像机与TOF传感器组合成的图像采集装置来采集图像。针对同一拍摄区域，通过单个摄像头获得彩色图像，通过飞行时间传感器获得深度图像。单个摄像头通常用于获取彩色图像的颜色或亮度信息，不具备获取被拍摄物体与摄像头之间的距离的能力。本公开中结合飞行时间传感器，以获取深度图像，使得交通灯的识别结果更加准确。

Methods, devices and vehicles for identifying traffic lights

The present disclosure provides a method, device and vehicle for identifying traffic lights. The method uses image acquisition device composed of single camera and TOF sensor to collect images. For the same shooting area, a color image is obtained by a single camera and the depth image is obtained through the time of flight sensor. A single camera is usually used to acquire color or luminance information of color images, and does not have the ability to get the distance between the object and the camera. In the present disclosure, the depth image is obtained by combining the time of flight sensor to make the identification result of the traffic light more accurate.

【技术实现步骤摘要】
识别交通灯的方法、装置及车辆
本公开涉及图像处理
，具体地，涉及一种识别交通灯的方法、装置及车辆。
技术介绍
随着社会经济的快速发展，车辆越来越普及，但与此同时，交通事故的发生率也日益提高。为避免交通事故的发生，智能交通系统越来越得到重视，而交通信号灯的识别是智能交通系统的一个重要方面。目前的交通灯识别方法能够识别的交通灯的种类不够全面，且识别的准确率无法满足用户的需求，主要原因在于现有的传感器技术以及摄像头自身的局限性，使得交通灯的识别存在缺陷。
技术实现思路
本公开的目的是提供一种识别交通灯的方法、装置及车辆，以能够识别更多类型的交通灯，且提高识别交通灯的准确率。为了实现上述目的，本公开提供一种识别交通灯的方法，所述方法包括：获取针对同一拍摄区域的彩色图像和深度图像；根据所述深度图像中的深度信息，确定交通灯候选区域；结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯；对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型；根据所述彩色图像中的颜色信息，确定所述目标交通灯的灯光颜色；结合所述目标交通灯的灯光颜色和所述目标交通灯的形状类型，确定所述目标交通灯的类型。可选地，根据所述深度图像中的深度信息，确定交通灯候选区域，包括：根据所述深度图像中的深度信息，确定多个连通域，每个连通域内的像素点的深度值在预设深度阈值范围内，且任两个像素点的深度值之差在预设差值范围内；对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形；从确定出的多个外接矩形中筛选出目标外接矩形，所述目标外接矩形的四条边是由深度值相同的像素点组成的。可选地，对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形，包括：对所述多个连通域分别进行水平投影，以确定所述多个连通域的行坐标范围；对所述多个连通域分别进行垂直投影，以确定所述多个连通域的列坐标范围；分别结合所述多个连通域的行坐标范围和列坐标范围，确定所述多个连通域的外接矩形。可选地，对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型，包括：对所述目标交通灯进行水平投影，以确定所述目标交通灯的水平投影特征，所述目标交通灯的水平投影特征为所述目标交通灯所占的行范围内每一行上用于组成所述目标交通灯的像素点数量；对所述目标交通灯进行垂直投影，以确定所述目标交通灯的垂直投影特征，所述目标交通灯的垂直投影特征为所述目标交通灯所占的列范围内每一列上用于组成所述目标交通灯的像素点数量；将所述目标交通灯的水平投影特征与模板交通灯的水平投影特征进行比较，并将所述目标交通灯的垂直投影特征与所述模板交通灯的垂直投影特征进行比较，以确定所述目标交通灯的形状类型；其中，所述模板交通灯的水平投影特征为所述模板交通灯所占的行范围内每一行上用于组成所述模板交通灯的像素点数量，所述模板交通灯的垂直投影特征为所述模板交通灯所占的列范围内每一列上用于组成所述模板交通灯的像素点数量。可选地，结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯，包括：根据所述彩色图像中的颜色信息，确定多个彩色区域，每个彩色区域内的像素点的颜色为红、绿和黄三种颜色中任一种；根据所述彩色图像和所述深度图像之间的映射关系，从所述彩色图像中确定出与所述交通灯候选区域对应的目标区域；从所述彩色图像中提取出属于所述目标区域且属于所述彩色区域的目标像素点，所述目标像素点为组成所述目标交通灯的像素点。本公开还提供一种识别交通灯的装置，所述装置包括：图像获取模块，用于获取针对同一拍摄区域的彩色图像和深度图像；候选区域确定模块，用于根据所述深度图像中的深度信息，确定交通灯候选区域；目标交通灯提取模块，用于结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯；形状类型确定模块，用于对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型；灯光颜色确定模块，用于根据所述彩色图像中的颜色信息，确定所述目标交通灯的灯光颜色；目标交通灯类型确定模块，用于结合所述目标交通灯的灯光颜色和所述目标交通灯的形状类型，确定所述目标交通灯的类型。可选地，所述候选区域确定模块包括：连通域确定子模块，用于根据所述深度图像中的深度信息，确定多个连通域，每个连通域内的像素点的深度值在预设深度阈值范围内，且任两个像素点的深度值之差在预设差值范围内；第一外接矩形确定子模块，用于对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形；目标外接矩形确定子模块，用于从确定出的多个外接矩形中筛选出目标外接矩形，所述目标外接矩形的四条边是由深度值相同的像素点组成的。可选地，所述第一外接矩形确定子模块包括：行坐标范围确定子模块，用于对所述多个连通域分别进行水平投影，以确定所述多个连通域的行坐标范围；列坐标范围确定子模块，用于对所述多个连通域分别进行垂直投影，以确定所述多个连通域的列坐标范围；第二外接矩形确定子模块，用于分别结合所述多个连通域的行坐标范围和列坐标范围，确定所述多个连通域的外接矩形。可选地，所述形状类型确定模块包括：第一特征确定子模块，用于对所述目标交通灯进行水平投影，以确定所述目标交通灯的水平投影特征，所述目标交通灯的水平投影特征为所述目标交通灯所占的行范围内每一行上用于组成所述目标交通灯的像素点数量；第二特征确定子模块，用于对所述目标交通灯进行垂直投影，以确定所述目标交通灯的垂直投影特征，所述目标交通灯的垂直投影特征为所述目标交通灯所占的列范围内每一列上用于组成所述目标交通灯的像素点数量；形状类型确定子模块，用于将所述目标交通灯的水平投影特征与模板交通灯的水平投影特征进行比较，并将所述目标交通灯的垂直投影特征与所述模板交通灯的垂直投影特征进行比较，以确定所述目标交通灯的形状类型；其中，所述模板交通灯的水平投影特征为所述模板交通灯所占的行范围内每一行上用于组成所述模板交通灯的像素点数量，所述模板交通灯的垂直投影特征为所述模板交通灯所占的列范围内每一列上用于组成所述模板交通灯的像素点数量。可选地，所述目标交通灯提取模块包括：彩色区域确定子模块，用于根据所述彩色图像中的颜色信息，确定多个彩色区域，每个彩色区域内的像素点的颜色为红、绿和黄三种颜色中任一种；目标区域确定子模块，用于根据所述彩色图像和所述深度图像之间的映射关系，从所述彩色图像中确定出与所述交通灯候选区域对应的目标区域；目标像素点确定子模块，用于从所述彩色图像中提取出属于所述目标区域且属于所述彩色区域的目标像素点，所述目标像素点为组成所述目标交通灯的像素点。本公开还提供了一种车辆，所述车辆包括：单个摄像机，用于采集彩色图像；TOF传感器，用于采集深度图像；以及根据本公开提供的上述识别交通灯的装置。本公开提出利用单个摄像机与TOF传感器组合成的图像采集装置来识别交通灯的方法。针对同一拍摄区域，通过单个摄像头获得彩色图像，通过飞行时间传感器获得深度图像。相关技术中，交通灯的识别都是以单个摄像头拍摄图像为基础的，单个摄像头通常用于获取彩色图像的颜色或亮度信息，不具备获取被拍摄物体与摄像头之间的距离的能力，本公开中除单个摄像头以外，还采用了飞行时间传感器，以获取深度图像，使得交通灯的识别结本文档来自技高网...

【技术保护点】
一种识别交通灯的方法，其特征在于，所述方法包括：获取针对同一拍摄区域的彩色图像和深度图像；根据所述深度图像中的深度信息，确定交通灯候选区域；结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯；对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型；根据所述彩色图像中的颜色信息，确定所述目标交通灯的灯光颜色；结合所述目标交通灯的灯光颜色和所述目标交通灯的形状类型，确定所述目标交通灯的类型。

【技术特征摘要】
1.一种识别交通灯的方法，其特征在于，所述方法包括：获取针对同一拍摄区域的彩色图像和深度图像；根据所述深度图像中的深度信息，确定交通灯候选区域；结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯；对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型；根据所述彩色图像中的颜色信息，确定所述目标交通灯的灯光颜色；结合所述目标交通灯的灯光颜色和所述目标交通灯的形状类型，确定所述目标交通灯的类型。2.根据权利要求1所述的方法，其特征在于，根据所述深度图像中的深度信息，确定交通灯候选区域，包括：根据所述深度图像中的深度信息，确定多个连通域，每个连通域内的像素点的深度值在预设深度阈值范围内，且任两个像素点的深度值之差在预设差值范围内；对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形；从确定出的多个外接矩形中筛选出目标外接矩形，所述目标外接矩形的四条边是由深度值相同的像素点组成的。3.根据权利要求2所述的方法，其特征在于，对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形，包括：对所述多个连通域分别进行水平投影，以确定所述多个连通域的行坐标范围；对所述多个连通域分别进行垂直投影，以确定所述多个连通域的列坐标范围；分别结合所述多个连通域的行坐标范围和列坐标范围，确定所述多个连通域的外接矩形。4.根据权利要求1所述的方法，其特征在于，对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型，包括：对所述目标交通灯进行水平投影，以确定所述目标交通灯的水平投影特征，所述目标交通灯的水平投影特征为所述目标交通灯所占的行范围内每一行上用于组成所述目标交通灯的像素点数量；对所述目标交通灯进行垂直投影，以确定所述目标交通灯的垂直投影特征，所述目标交通灯的垂直投影特征为所述目标交通灯所占的列范围内每一列上用于组成所述目标交通灯的像素点数量；将所述目标交通灯的水平投影特征与模板交通灯的水平投影特征进行比较，并将所述目标交通灯的垂直投影特征与所述模板交通灯的垂直投影特征进行比较，以确定所述目标交通灯的形状类型；其中，所述模板交通灯的水平投影特征为所述模板交通灯所占的行范围内每一行上用于组成所述模板交通灯的像素点数量，所述模板交通灯的垂直投影特征为所述模板交通灯所占的列范围内每一列上用于组成所述模板交通灯的像素点数量。5.根据权利要求1所述的方法，其特征在于，结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯，包括：根据所述彩色图像中的颜色信息，确定多个彩色区域，每个彩色区域内的像素点的颜色为红、绿和黄三种颜色中任一种；根据所述彩色图像和所述深度图像之间的映射关系，从所述彩色图像中确定出与所述交通灯候选区域对应的目标区域；从所述彩色图像中提取出属于所述目标区域且属于所述彩色区域的目标像素点，所述目标像素点为组成所述目标交通灯的像素点。6.一种识别交通灯的装置，其特征在于，所述装置包括：图像获取模块，用于获取针对同一拍摄区域的彩色图像和深度图像；候选区域确定模块，用于根据所述深度图像中的深度信息，确定交通灯候选区域；目标交通灯提取模块，用于结合...

【专利技术属性】
技术研发人员：马锋，黄忠伟，姜波，
申请(专利权)人：比亚迪股份有限公司，
类型：发明
国别省市：广东,44