信号显示推定系统技术方案

提供一种信号显示推定系统，能在检测到多个识别对象的信号器的状况下，高精度地推定车辆应该遵循的行进方向前方的信号器的信号显示。信号显示推定系统基于车辆的位置信息和信号器信息，识别摄像头图像所包含的信号器，按所识别到的各信号器来识别信号显示，按各信号器来计算表示所识别到的信号显示的确定度的第1评价值。信号显示推定系统在所识别到的多个信号器中，基于信号器间关系信息，对车辆应该遵循的行进方向前方的前方信号器和在信号显示上与前方信号器具有相关性的信号器进行整合。信号显示推定系统在被整合后的多个信号器之间，在所识别到的信号显示上存在不匹配的情况下，基于各信号器的第1评价值决定前方信号器的第1推定信号显示。号器的第1推定信号显示。号器的第1推定信号显示。

【技术实现步骤摘要】
信号显示推定系统


[0001]本专利技术涉及从摄像头的图像中识别在车辆的行进方向上出现的信号器、并对其信号显示进行推定的信号显示推定系统。

技术介绍

[0002]根据专利文献1所公开的方法，通过摄像头对信号器通常所处于的目标区域进行扫描，取得目标区域信息，根据目标区域信息检测信号器。另外，也判定信号器的位置、判定信号器的显示状态，进一步判定对于信号器的可靠性。对于可靠性的判定，例如通过信号器的位置与多个已知的信号器的位置的比较来进行判定。并且，根据上述方法，基于信号器的显示状态和对于信号器的可靠性，车辆被以自主模式进行控制。
[0003]现有技术文献
[0004]专利文献1：美国专利公开第2013/0253754号

技术实现思路

[0005]专利技术要解决的技术问题
[0006]例如，在交叉路口设置有多个信号器。有时在通过车载摄像头拍摄到的图像中包含那些多个信号器。另外，例如，在能见度良好的道路中，有时能够在跟前的信号器的里侧看到位于远处的信号器。在那样的情况下，也可能在摄像头的图像中包含多个信号器。也即是，从摄像头的图像中识别到的信号器不限于一个，也有可能一次识别到多个信号器。但是，在专利文献1所公开的方法中，在识别到多个信号器的情况下，有可能会误认车辆应该遵循的行进方向前方的信号器的信号显示。
[0007]本专利技术的目的在于提供一种信号显示推定系统，其能够在检测到多个识别对象的信号器的状况下高精度地推定车辆应该遵循的行进方向前方的信号器的信号显示。
[0008]用于解决问题的技术方案
[0009]本专利技术涉及的信号显示推定系统具备：摄像头，其安装于车辆，对行进方向前方的风景进行拍摄；与摄像头结合的计算机；以及与计算机结合的存储装置。搭载于车辆的摄像头既可以为1台，也可以为多台。存储装置也可以与计算机、一个或者多个摄像头一起搭载于车辆，直接地或者经由车辆内网络与计算机结合。另外，存储装置也可以配置在车辆之外、例如互联网上，通过无线通信与计算机结合。
[0010]存储装置包括信号器数据库，信号器数据库包含表示信号器的位置和朝向的信号器信息。信号器信息所表示的信号器的位置是三维空间中的绝对位置，信号器信息所表示的信号器的朝向是三维空间中的方向。另外，存储装置也包括关系数据库，关系数据库包含表示多个信号器间的信号显示的关系的信号器间关系信息。由信号器间关系信息表示的信号器间的信号显示的关系例如包括信号器间的灯光颜色有无相关性和相关性的内容。
[0011]计算机在物理上具有处理器和存储程序的存储器。存储于存储器的程序构成为在由处理器执行时使计算机执行以下的信号器识别处理、信号显示识别处理、第1评价值计算
处理、信号器整合处理以及信号显示推定处理。
[0012]在信号器识别处理中，计算机基于车辆的位置信息和信号器信息，对通过一个或者多个摄像头拍摄到的摄像头图像所包含的信号器进行识别。在此所说的摄像头的位置是指三维空间中的绝对位置。若知道相对于车辆位置的信号器的位置和方向，则能够在摄像头图像中确定信号器可能存在的区域，能够容易地识别摄像头图像所包含的信号器。
[0013]信号器识别处理也可以包括如下处理：使用车辆的位置信息和信号器信息，对位于距一个或者多个摄像头为指定距离内的位置的信号器进行选择，在摄像头图像中对所选择的信号器进行识别。另外，信号器识别处理也可以包括如下处理：使用车辆的位置信息和信号器信息，对位于一个或者多个摄像头的视角内的信号器进行选择，在摄像头图像中对所选择的信号器进行识别。
[0014]另外，信号器识别处理也可以包括如下处理：使用车辆的位置信息和信号器信息，计算各信号器相对于一个或者多个摄像头的正对程度，在摄像头图像中对正对程度为阈值以上的信号器进行识别。进一步，信号器识别处理也可以包括如下处理：使用车辆的位置信息和信号器信息，计算各信号器相对于一或者多个摄像头的仰角，并且，使用车辆的位置和时刻，计算太阳高度，在摄像头图像中对仰角为根据太阳高度决定的仰角阈值以下的信号器进行识别。
[0015]在信号显示识别处理中，计算机按通过信号器识别处理识别到的各信号器来识别信号显示。信号显示是指在交通法规中确定的灯光颜色的显示。信号显示的识别可以使用公知的图像处理、例如基于机器学习的图像处理。
[0016]在第1评价值计算处理中，计算机按各信号器来计算第1评价值，第1评价值表示通过信号显示识别处理识别到的信号显示的确定度。第1评价值也可以为通过基于机器学习的图像处理得到的似然度。另外，第1评价值例如也可以基于所识别到的信号显示的识别条件、实际空间内的信号器与车辆的位置关系、所识别到的信号器在摄像头图像内的位置、识别结果在时间上的变化等来进行计算。另外，第1评价值例如也可以在每当车辆通过信号器使或者接近信号器使按照预定的规则来重新计算。
[0017]第1评价值计算处理也可以包括如下处理：在通过信号器识别处理识别到的特定的两个信号器之间，通过信号显示识别处理识别到的信号显示的关系与信号器间关系信息匹配的情况下，分别使特定的两个信号器的信号显示的第1评价值增加。根据该处理，通过将信号器间关系信息利用于信号显示的确定度的评价，能够提高第1评价值的精度。
[0018]另外，第1评价值计算处理也可以包括如下处理：计算通过信号器识别处理识别到的信号器距摄像头图像的中心的距离，越是该距离短的信号器，越使其信号显示的第1评价值增加。根据该处理，通过将摄像头图像内的摄像头与信号器的相对的位置关系利用于信号显示的确定度的评价，能够提高第1评价值的精度。
[0019]另外，第1评价值计算处理也可以包括如下处理：使用车辆的位置信息和所述信号器信息，计算信号器矢量，越是车辆矢量与信号器矢量所成的角度大的信号器，越使其信号显示的第1评价值减少，信号器矢量是表示通过信号器识别处理识别到的信号器相对于一个或者多个摄像头的实际空间上的方向的矢量，车辆矢量是表示车辆在实际空间上的行进方向的矢量。根据该处理，通过将实际空间中的摄像头与信号器的相对的位置关系利用于信号显示的确定度的评价，能够提高第1评价值的精度。
[0020]另外，第1评价值计算处理也可以包括如下处理：计算在摄像头图像中通过信号器识别处理识别到的信号器被其他目标物遮挡的遮挡度，越是遮挡度大的信号器，越使其信号显示的第1评价值减少。根据该处理，能够降低遮挡度大、信号显示的精度低的信号器给与推定结果的不良影响。
[0021]另外，第1评价值计算处理也可以包括如下处理：对于在过去时刻的信号显示识别处理中识别到信号显示、但在当前时刻的信号显示识别处理中未识别到信号显示的信号器，基于过去时刻的第1评价值和从过去时刻起的经过时间，计算当前时刻的第1评价值。根据该处理，例如能够在因遮挡物而暂时未识别到信号显示的情况下，防止第1评价值继续减小，能够保持信号显示的识别结果的连续性。
[0022]进一步，第1评价值计算处理也可以包括如下处理：在通过信号器识别处理识别到的特定的信号器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信号显示推定系统，其特征在于，具备：一个或者多个摄像头，其安装于车辆，对行进方向前方的风景进行拍摄；计算机，其与所述一个或者多个摄像头结合；以及存储装置，其与所述计算机结合，所述存储装置包括：信号器数据库，其包含表示信号器的位置和朝向的信号器信息；和关系数据库，其包含表示多个信号器间的信号显示的关系的信号器间关系信息，所述计算机执行：信号器识别处理，基于所述车辆的位置信息和所述信号器信息，对通过所述一个或者多个摄像头拍摄到的摄像头图像所包含的信号器进行识别；信号显示识别处理，按通过所述信号器识别处理识别到的各信号器，对信号显示进行识别；第1评价值计算处理，按各信号器计算第1评价值，所述第1评价值表示通过所述信号显示识别处理识别到的信号显示的确定度；信号器整合处理，在通过所述信号器识别处理识别到的多个信号器中，基于所述信号器间关系信息，对所述车辆应该遵循的行进方向前方的前方信号器和在信号显示上与所述前方信号器具有相关性的信号器进行整合；以及信号显示推定处理，在通过所述信号器整合处理整合后的多个信号器之间，在通过所述信号显示识别处理识别到的信号显示上存在不匹配的情况下，基于通过所述第1评价值计算处理计算出的第1评价值最高的信号器的信号显示，决定所述前方信号器的第1推定信号显示。2.根据权利要求1所述的信号显示推定系统，其特征在于，所述信号器识别处理包括如下处理：使用所述车辆的位置信息和所述信号器信息，选择位于距所述一个或者多个摄像头为指定距离内的位置的信号器，在所述摄像头图像中对所选择的信号器进行识别。3.根据权利要求1或者2所述的信号显示推定系统，其特征在于，所述信号器识别处理包括如下处理：使用所述车辆的位置信息和所述信号器信息，选择位于所述一个或者多个摄像头的视角内的信号器，在所述摄像头图像中对所选择的信号器进行识别。4.根据权利要求1～3中任一项所述的信号显示推定系统，其特征在于，所述信号器识别处理包括如下处理：使用所述车辆的位置信息和所述信号器信息，计算各信号器相对于所述一个或者多个摄像头的正对程度，在所述摄像头图像中对所述正对程度为阈值以上的信号器进行识别。5.根据权利要求1～4中任一项所述的信号显示推定系统，其特征在于，所述信号器识别处理包括如下处理：使用所述车辆的位置信息和所述信号器信息，计算各信号器相对于所述一个或者多个摄像头的仰角，并且，使用所述车辆的位置和时刻，计算太阳高度，在所述摄像头图像中对所述仰角为根据所述太阳高度决定的仰角阈值以下的信号器进行识别。6.根据权利要求1～5中任一项所述的信号显示推定系统，其特征在于，
所述第1评价值计算处理包括如下处理：在通过所述信号器识别处理识别到的特定的两个信号器之间，通过所述信号显示识别处理识别到的信号显示的关系与所述信号器间关系信息匹配的情况下，分别使所述特定的...

【专利技术属性】
技术研发人员：林勇介，河内太一，市川健太郎，菅岩泰亮，
申请(专利权)人：丰田自动车株式会社，
类型：发明
国别省市：