一种基于双目摄像头的信号灯检测和提醒系统及方法技术方案

本发明专利技术公开了一种基于双目摄像头的信号灯检测和提醒系统及方法，包括基于双目摄像头的行车记录仪和语音播报装置，行车记录仪包括图像采集模块、信息处理模块和信息收发模块；语音播报装置包括车载电脑；图像采集模块、信息处理模块和信息收发模块之间依次通过信号连接，且信息收发模块通过信号线分别连接CAN总线和车载电脑；信息处理模块通过对图像采集模块输入的图像进行图像来源确认，基于车辆与信号灯的直线距离S进行相应的通行判断并输出相应的提示信息。本发明专利技术能够在车辆距离信号灯较远距离时就能够发现信号灯并快速有效的识别出信号灯信息，避免在驾驶员在等待信号灯时因为忽略信号灯变化，而耽误行车时间的问题，间接提高了路口通行效率。间接提高了路口通行效率。间接提高了路口通行效率。

【技术实现步骤摘要】
进行相应的通行判断并输出相应的提示信息。
[0008]进一步，所述图像采集模块由长焦和广角摄像头组成，长焦摄像头能在远距离采集到含有信号灯的图像，并且能够保证图像的清晰度；广角摄像头能在近距离拍摄到清晰的含有信号灯的图像；广角摄像头最佳拍摄距离设为0
‑
S1，长焦摄像头最佳拍摄距离为S2‑
S3，且S2＜S1。
[0009]进一步，所述信息收发模块包含一个副处理器，副处理器利用自带的CAN总线收发器通过CAN总线接收车速、转向等车况信息，并且副处理器提供的接口与车载电脑相连实现记录仪与车载电脑的信息交互，信息处理模块的指令也通过副处理器传递给车载电脑。
[0010]进一步，所述信息处理模块包含一个中央处理器，信息处理模块接收并分析图像采集模块所采集的包含信号灯信息的原始图像，并对原始图像进行处理判断当前车辆与信号灯之间的直线距离，通过信息收发模块向车载电脑发送语音播报指令等。
[0011]一种基于双目摄像头的信号灯检测和提醒方法，包括如下步骤：
[0012]S1，利用双目摄像头采集车辆行驶方向前方包含信号灯信息的图像，并基于当前车辆与信号灯的直线距离S，进行图像来源确认；
[0013]S2，基于S1中选取的图像进行候选区定位；
[0014]S3，候选区过滤，即利用转向信息排除非车辆行驶方向上的候选区；
[0015]S4，候选区范围确认，获得与车辆转向方向相匹配的候选区；
[0016]S5，根据车辆的行驶状态、车辆与信号灯的距离S与预设距离S4的关系进行通行性判断，并输出通行性判断结果。
[0017]进一步，图像来源确认的方法为：
[0018]S1.1，利用双目测距原理可以确定候选区内信号灯与车辆的直线距离S；
[0019]S1.2，当S＜S2，选取广角摄像头所拍摄的图像为原始图像；当S＞S1，选取长焦摄像头所拍摄的图像为原始图像，当S2＜S＜S1时，选取广角摄像头或长焦摄像头所采集的图像中清晰程度更高的图像作为原始图像。
[0020]进一步，候选区定位的方法为：
[0021]S2.1，对S1中选取的原始图像进行感兴趣区域划分，进而将原始图像划分为右上、左上、右下、左下四个感兴趣区域，
[0022]S2.2，按照右上、左上、右下、左下的顺序依次去除4个感兴趣区域中不包含信号灯的区域，将含有信号灯的区域作为候选区域。
[0023]进一步，若车辆处于行驶过程中，且S＜S4，信息收发模块接收转向与车速信息并将转向与车速信息传送至信息处理模块，信息处理模块根据转向信息、图像中候选区中信号灯倒计时信息和车速信号判断车辆是否能够通过路口；当信息处理模块判断车辆可通过，信息处理模块将语音播报指令发送给车载电脑，车载电脑播放语音2；当信息处理模块判断车辆不可通过时，车载电脑播放语音3；播报后信息收发模块接收车速信号使信息处理模块判断车辆是否减速，如果车辆没有减速车载电脑重复播报语音3直至车辆减速为止。
[0024]进一步，若车辆处于减速或等待阶段，当信息处理模块判断可通过时，车载电脑播报语音1或者语音2；当前信号灯由红灯转变为绿灯时基本由两种情况组成。第一种为有黄灯，闪烁，数字倒计时等有提醒的情况，当信息处理模块根据转向信号在对应的候选区范围内提取到以上几种状态时，则信息处理模块通过信息收发模块发送语音播报指令给语音播
报装置，此时播报语音1。第二种为无提醒直接由红灯转为绿灯，当对应的候选区信号灯的状态信息发生变化时，信息处理模块通过信息收发模块发送语音播报指令给语音播报装置，此时播报语音2。
[0025]进一步，语音1的播报内容为：三秒后通行；语音2的播报内容为：绿灯通行；语音 3内容为：红灯请注意；当信息收发模块未接收到转向信号时，信息处理模块默认车辆直行。
[0026]本专利技术的有益效果：
[0027]避免驾驶员在等待红灯时忽略信号灯的状态，能够及时对驾驶员进行提示。解决了驾驶员因分神未注意到信号灯信号变化的问题，提高了路口通行效率。本专利技术的硬件需求仅为一种带有双目摄像头的行车记录仪，以及带有语音功能的车载电脑，因此该方法具有低成本，易实施，易普及的优点。信息处理模块采用深度学习技术进行图像识别，使得系统能够对信号灯信号进行准确快速的识别与定位。
附图说明
[0028]图1为基于双目摄像头的信号灯检测和提醒系统框图；
[0029]图2为图像来源确认流程图；
[0030]图3为系统的工作流程图。
具体实施方式
[0031]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。
[0032]如图1所示的一种基于双目摄像头的信号灯检测和提醒系统，包括基于双目摄像头的行车记录仪和语音播报装置；行车记录仪包括图像采集模块、信息处理模块和信息收发模块，语音播报装置包括车载电脑；图像采集模块、信息处理模块和信息收发模块之间依次通过信号连接，且信息收发模块通过信号线分别连接CAN总线和车载电脑。
[0033]图像采集模块由长焦摄像头和广角摄像头组成，长焦摄像头能在远距离采集到含有信号灯的图像，并且能够保证图像的清晰度；广角摄像头能在近距离拍摄到清晰的含有信号灯的图像；其中，广角摄像头最佳拍摄距离设为0
‑
S1，长焦摄像头最佳拍摄距离为S2‑
S3，且S2＜S1。同时，利用广角摄像头和长焦摄像头的双目结构可以实现测距功能，利用图像采集模块还可以获取车辆与信号灯的直线距离S。
[0034]信息处理模块包含一个中央处理器，信息处理模块接收并分析图像采集模块所采集的包含信号灯信息的原始图像；基于图像采集模块采集的包含信号灯信息的原始图像，信息处理模块一方面对输入的原始图像进行图像来源确认，另一方面基于车辆与信号灯的直线距离S进行相应的通行判断并输出相应的提示信息。更具体地，基于图像采集模块传送的原始图像，信息处理模块在根据转向信息确认候选区范围后，再确定候选区范围内信号灯与车辆的直线距离S，并最终根据车速信息、直线距离S、信号灯倒计时信息进行通行性判断并输出相应的提示信息。
[0035]信息收发模块包含一个副处理器，副处理器利用自带的CAN总线收发器通过CAN总线接收车速、转向等车况信息，并且副处理器提供的接口与车载电脑相连实现记录仪与车
载电脑的信息交互，信息处理模块的指令也通过副处理器传递给车载电脑。
[0036]如图3所示的一种基于双目摄像头的信号灯检测和提醒方法，包括如下步骤：
[0037]S1，利用双目摄像头采集车辆行驶方向前方包含信号灯信息的图像，基于当前车辆与信号灯的直线距离S，进行图像来源确认；
[0038]具体过程如图2所示：
[0039]S1.1，距离S确认：利用双目测距原理可以确定候选区内信号灯与车辆的直线距离S；在车辆行驶过程中，长焦和广角摄像头同时工作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目摄像头的信号灯检测和提醒方法，其特征在于，包括如下步骤：S1，利用双目摄像头采集车辆行驶方向前方包含信号灯信息的图像，并基于当前车辆与信号灯的直线距离S，进行图像来源确认；S2，基于S1中选取的图像进行候选区定位；S3，候选区过滤，即利用转向信息排除非车辆行驶方向上的候选区；S4，候选区范围确认，获得与车辆转向方向相匹配的候选区；S5，根据车辆的行驶状态、车辆与信号灯的距离S与预设距离S4的关系进行通行性判断，并输出通行性判断结果。2.根据权利要求1所述的一种基于双目摄像头的信号灯检测和提醒方法，其特征在于，图像来源确认的方法为：S1.1，利用双目测距原理可以确定候选区内信号灯与车辆的直线距离S；S1.2，当S＜S2，选取广角摄像头所拍摄的图像为原始图像；当S＞S1，选取长焦摄像头所拍摄的图像为原始图像，当S2＜S＜S1时，选取广角摄像头或长焦摄像头所采集的图像中清晰程度更高的图像作为原始图像。3.根据权利要求1所述的一种基于双目摄像头的信号灯检测和提醒方法，其特征在于，候选区定位的方法为：S2.1，对S1中选取的图像进行感兴趣区域划分，进而将原始图像划分为右上、左上、右下、左下四个感兴趣区域，S2.2，按照右上、左上、右下、左下的顺序依次去除4个感兴趣区域中不包含信号灯的区域，将含有信号灯的区域作为候选区域。4.根据权利要求1所述的一种基于双目摄像头的信号灯检测和提醒方法，其特征在于，若车辆处于行驶过程中，且S＜S4，信息收发模块接收转向与车速信息并将转向与车速信息传送至信息处理模块，信息处理模块根据转向信息、图像中候选区中信号灯倒计时信息和车速信号判断车辆是否能够通过路口；当信息处理模块判断车辆可通过，信息处理模块将语音播报指令发送给车载电脑，车载电脑播放语音2；当信息处理模块判断车辆不可通过时，车载电脑播放语音3；播报后信息收发模块接收车速信号使信息处理模块判断车辆是否减速，如果车辆没有减速车载电脑重复播报语音3直至车辆减速为止。5.根据权利要求4所述的一种基于双目摄像头的信号灯检测和提醒方法，其特征在于，若车辆处于减速或等待阶段，当信息处理模块判断可通过时，车载电脑播报语音1或者语音2；当前信号灯由红灯转变为绿灯时基本由两种情况组成。第一种为有黄灯，闪烁，数字倒计时等有提醒的情况，当信息处理模块根据转向信...

【专利技术属性】
技术研发人员：刘政，丁华，张咏，肖濂明，尹蔚峰，
申请(专利权)人：江苏大学，
类型：发明
国别省市：