红绿灯状态提醒方法、装置、终端及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种红绿灯状态提醒方法、装置、终端及计算机可读存储介质，红绿灯状态提醒方法对待处理图像进行颜色还原处理，得到预处理图像；通过卷积神经网络对所述预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。本申请中通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，可以提高车道信息和红绿灯信息的检测准确率，使输出的车道信息和红绿灯信息的稳定性更高，提高了鲁棒性；进而通过高准确率的车道信息和红绿灯信息可以提高绿灯提醒的精确度。信息和红绿灯信息可以提高绿灯提醒的精确度。信息和红绿灯信息可以提高绿灯提醒的精确度。

【技术实现步骤摘要】
红绿灯状态提醒方法、装置、终端及计算机可读存储介质


[0001]本专利技术涉及图像处理
，特别是涉及一种红绿灯状态提醒方法、装置、终端及计算机可读存储介质。

技术介绍

[0002]在科技飞速发展的当今社会，汽车的普及率越来越高，而智能化作为如今汽车行业发展的重要趋势之一备受关注，其中行车记录仪不管是出厂预装或者后期用户从市场购买安装几乎每车必备。随着汽车用户越来越年轻化，行车记录仪单纯记录功能已经无法满足用户需求，行车记录仪的智能化程度变的越来越重要并且越来越普及。目前很多厂商已经将各种高级驾驶辅助系统(Advanced Driving Assistant System，ADAS)功能加入到产品中，用于增加产品的卖点，使记录仪变的更智能，更安全，更多样化。
[0003]汽车行驶过程中，红绿灯路口是经常遇到的场景，司机等待时间少则几秒多则几分钟，在此期间司机很难专注的关注红绿灯的变化，容易被手机等外部条件干扰，到变成绿灯，容易被后方车辆鸣笛催促，并造成车况拥堵。

技术实现思路

[0004]本专利技术主要解决的技术问题是提供一种红绿灯状态提醒方法、装置、终端及计算机可读存储介质，解决现有技术中无法精确提醒绿灯的问题。
[0005]为解决上述技术问题，本专利技术采用的第一个技术方案是：提供一种红绿灯状态提醒方法，红绿灯状态提醒方法包括：
[0006]对待处理图像进行颜色还原处理，得到预处理图像；
[0007]通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。
[0008]其中，红绿灯状态提醒方法还包括：
[0009]基于所述车道信息和所述红绿灯信息，确定是否进行提醒。
[0010]其中，卷积神经网络包括第一神经网络模型和第二神经网络模型；
[0011]通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息，包括：
[0012]通过第一神经网络模型对预处理图像进行车道检测，得到车道线信息和车道箭头信息；
[0013]通过第二神经网络模型对预处理图像进行红绿灯信息检测，得到红绿灯信息。
[0014]其中，第一神经网络模型包括第一特征提取模块、车道线检测模块和车道箭头检测模块，特征提取模块分别与车道线检测模块和车道箭头检测模块连接；
[0015]通过第一神经网络模型对预处理图像进行车道检测，得到车道线信息和车道箭头信息，包括：
[0016]通过第一特征提取模块对预处理图像进行特征提取，得到第一特征图；
[0017]通过车道线检测模块对第一特征图进行车道线检测，得到车道线信息；
[0018]通过车道箭头检测模块对第一特征图进行车道箭头检测，得到车道箭头信息。
[0019]其中，通过车道线检测模块对第一特征图进行车道线检测，得到车道线信息，包括：
[0020]通过车道线检测模块对第一特征图进行车道线检测，得到目标像素点信息；
[0021]基于目标像素点信息拟合出符合最小二乘法原则的三次多项式，得到车道线。
[0022]其中，第一神经网络模型的训练方法包括如下步骤：
[0023]获取第一图像集，第一图像集包括多个包含车道线和车道箭头的第一样本图像，第一样本图像关联有车道线标签信息和车道箭头标签信息；
[0024]通过第一神经网络模型对第一样本图像分别进行车道线预测和车道箭头预测，得到车道线预测信息和车道箭头预测信息；
[0025]基于第一样本图像对应的车道线预测信息和车道线标签信息之间的第一误差值与车道箭头预测信息与车道箭头标签信息之间的第二误差值迭代训练第一神经网络模型。
[0026]其中，车道线标签信息为第一样本图像对应的栅格化图像中各栅格的标注信息；车道线预测信息为第一样本图像对应的栅格化图像中各栅格的预测信息；
[0027]第一损失值基于如下公式计算得到：
[0028][0029]式中：Loss1表示第一损失值；q
i
(j)表示第i行第j个栅格为车道线的预测信息，q
i
(j)为概率值；p
i
(j)表示第i行第j个栅格的标签信息；标签信息为0或1。
[0030]其中，车道箭头标签信息包括车道箭头标注位置和车道箭头标注类型；车道箭头预测信息包括车道箭头预测位置和车道箭头预测类型；
[0031]第二损失值基于如下公式计算得到：
[0032][0033]式中：Loss2表示第二损失值；pcls
i
表示车道箭头标注类型；gcls
i
表示车道箭头预测类型；pbbox
i
表示车道箭头标注位置；gbbox
i
表示车道箭头预测位置。
[0034]其中，第二神经网络模型包括目标位置检测网络和目标识别模块，目标识别模块与目标位置检测网络连接，
[0035]通过第二神经网络模型对预处理图像进行红绿灯信息检测，得到红绿灯信息，包括：
[0036]通过目标位置检测网络对预处理图像进行红绿灯检测，得到红绿灯区域信息；
[0037]通过目标识别模块对红绿灯区域信息进行识别，得到红绿灯信息，红绿灯信息包括各子灯的位置信息、类别信息和颜色信息。
[0038]其中，目标位置检测网络包括第二特征提取模块和红绿灯区域检测模块，第二特征提取模块分别与红绿灯区域检测模块和目标识别模块连接，且红绿灯区域检测模块与目标识别模块连接；
[0039]通过目标位置检测网络对预处理图像进行红绿灯检测，得到红绿灯区域信息，包
括：
[0040]通过第二特征提取模块对预处理图像进行特征提取，得到第二特征图；
[0041]通过红绿灯区域检测模块基于第二特征图，确定红绿灯区域信息。
[0042]其中，第二特征提取模块包括第一特征提取单元和第二特征提取单元，目标识别模块包括第一特征抽取单元和第二特征抽取单元；
[0043]通过目标识别模块对红绿灯区域信息进行识别，得到红绿灯信息，包括：
[0044]第一特征抽取单元对红绿灯区域信息进行特征提取，得到第三特征图；
[0045]将第三特征图与基于第一特征提取单元得到的特征图进行融合，得到第四特征图；
[0046]第二特征抽取单元对第四特征图进行特征提取，得到第五特征图；
[0047]对第五特征图进行识别，得到红绿灯信息。
[0048]其中，目标位置检测网络的训练方法包括如下步骤：
[0049]获取第二图像集，第二图像集包括多个包含红绿灯的第二样本图像，第二样本图像关联有红绿灯位置标签和红绿灯类别标签；
[0050]通过目标位置检测网络对第二样本图像中的红绿灯进行预测，得到红绿灯预测位置和红绿灯预测类别；
[0051]基于第二样本图像对应的红绿灯预测位置和红绿灯位置标签之间的第三误差值与红绿灯预测类别与红绿灯类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红绿灯状态提醒方法，其特征在于，所述红绿灯状态提醒方法包括：对待处理图像进行颜色还原处理，得到预处理图像；通过卷积神经网络对所述预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。2.根据权利要求1所述的红绿灯状态提醒方法，其特征在于，所述红绿灯状态提醒方法还包括：基于所述车道信息和所述红绿灯信息，确定是否进行提醒。3.根据权利要求2所述的红绿灯状态提醒方法，其特征在于，所述卷积神经网络包括第一神经网络模型和第二神经网络模型；所述通过卷积神经网络对所述预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息，包括：通过所述第一神经网络模型对所述预处理图像进行车道检测，得到车道线信息和车道箭头信息；通过所述第二神经网络模型对所述预处理图像进行红绿灯信息检测，得到所述红绿灯信息。4.根据权利要求3所述的红绿灯状态提醒方法，其特征在于，所述第一神经网络模型包括第一特征提取模块、车道线检测模块和车道箭头检测模块，所述特征提取模块分别与所述车道线检测模块和所述车道箭头检测模块连接；所述通过所述第一神经网络模型对所述预处理图像进行车道检测，得到车道线信息和车道箭头信息，包括：通过所述第一特征提取模块对所述预处理图像进行特征提取，得到第一特征图；通过所述车道线检测模块对所述第一特征图进行车道线检测，得到所述车道线信息；通过所述车道箭头检测模块对所述第一特征图进行车道箭头检测，得到所述车道箭头信息。5.根据权利要求4所述的红绿灯状态提醒方法，其特征在于，所述通过所述车道线检测模块对所述第一特征图进行车道线检测，得到所述车道线信息，包括：通过所述车道线检测模块对所述第一特征图进行车道线检测，得到目标像素点信息；基于所述目标像素点信息拟合出符合最小二乘法原则的三次多项式，得到车道线。6.根据权利要求3所述的红绿灯状态提醒方法，其特征在于，所述第一神经网络模型的训练方法包括如下步骤：获取第一图像集，所述第一图像集包括多个包含车道线和车道箭头的第一样本图像，所述第一样本图像关联有车道线标签信息和车道箭头标签信息；通过所述第一神经网络模型对所述第一样本图像分别进行车道线预测和车道箭头预测，得到车道线预测信息和车道箭头预测信息；基于所述第一样本图像对应的所述车道线预测信息和所述车道线标签信息之间的第一误差值与所述车道箭头预测信息与所述车道箭头标签信息之间的第二误差值迭代训练所述第一神经网络模型。7.根据权利要求6所述的红绿灯状态提醒方法，其特征在于，所述车道线标签信息为所
述第一样本图像对应的栅格化图像中各栅格的标注信息；所述车道线预测信息为所述第一样本图像对应的所述栅格化图像中各所述栅格的预测信息；所述第一损失值基于如下公式计算得到：式中：Loss1表示第一损失值；q
i
(j)表示第i行第j个栅格为车道线的预测信息，q
i
(j)为概率值；p
i
(j)表示第i行第j个栅格的标签信息；所述标签信息为0或1。8.根据权利要求6所述的红绿灯状态提醒方法，其特征在于，所述车道箭头标签信息包括车道箭头标注位置和车道箭头标注类型；所述车道箭头预测信息包括车道箭头预测位置和车道箭头预测类型；所述第二损失值基于如下公式计算得到：式中：Loss2表示第二损失值；pcls
i
表示车道箭头标注类型；gcls
i
表示车道箭头预测类型；pbbox
i
表示车道箭头标注位置；gbbox
i
表示车道箭头预测位置。9.根据权利要求3所述的红绿灯状态提醒方法，其特征在于，所述第二神经网络模型包括目标位置检测网络和目标识别模块，所述目标识别模块与所述目标位置检测网络连接，所述通过所述第二...

【专利技术属性】
技术研发人员：许炜，孙焱标，张煜电，缪其恒，
申请(专利权)人：浙江华锐捷技术有限公司，
类型：发明
国别省市：