一种闯红灯的识别方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例中提供了一种闯红灯的识别方法、装置、电子设备及存储介质，该方法包括：获取至少一组待识别图像；对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并对三张过程图车道线进行分割，确定三张过程图中目标车道线和目标停止线的位置；确定三张过程图中红绿灯的位置、种类和颜色；根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯。采用本申请中的方案，能够准确、高效地识别闯红灯这一行为。

【技术实现步骤摘要】
一种闯红灯的识别方法、装置、电子设备及存储介质
本申请涉及计算机视觉
，尤其涉及一种闯红灯的识别方法、装置、电子设备及存储介质。
技术介绍
近年来，人工智能在全球范围内迅速崛起，影响了我们生活的方方面面。在智能交通系统中，结合高清摄像机，依靠视频图像处理技术，实时地对经过的车辆进行全天候检测、抓拍与记录。现有的闯红灯识别方法主要依赖于人工对前端抓拍的车辆图像进行审核，确定是否闯红灯。专利技术人认为，采用现有技术中的人工审核方式，通过人工对前端抓拍图进行审核来识别车辆是否闯红灯，存在如下缺陷：1.前端识别功能弱，违法识别的准确率低，废片很多；2.目前完全依靠人工审核抓拍合成图像，成本高，效率低；3.人工处理速度慢，人力资源有限，无法及时处理所有的数据。4.人工审核误审率高，很多违法图被审核为废片。
技术实现思路
本申请实施例中提供了一种闯红灯的识别方法、装置、电子设备及存储介质，用于解决现有技术中人工审核识别准确率不高的问题。根据本申请实施例的第一个方面，提供了一种闯红灯的识别方法，包括：获取至少一组待识别图像；其中，一组待识别图像包括四张图像；四张图像包括目标车辆的放大图和三张过程图；三张过程图是分别包括目标车辆在路口三个不同位置的图像；对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并对三张过程图车道线进行分割，确定三张过程图中目标车道线和目标停止线的位置；确定三张过程图中红绿灯的位置、种类和颜色；根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯。根据本申请实施例的第二个方面，提供了一种闯红灯的识别装置，包括：获取模块，用于获取至少一组待识别图像；其中，一组待识别图像包括四张图像；四张图像包括目标车辆的放大图和三张过程图；三张过程图是分别包括目标车辆在路口三个不同位置的图像；车辆检测模块，用于对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；车道线分割模块，用于对三张过程图车道线进行分割，确定三张过程图中目标车道线和目标停止线的位置；红绿灯识别模块，用于确定三张过程图中红绿灯的位置、种类和颜色；确定模块，用于根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯。根据本申请实施例的第三个方面，提供了一种电子设备，电子设备包括：显示器，存储器，一个或多个处理器；以及一个或多个模块，一个或多个模块被存储在存储器中，并被配置成由一个或多个处理器执行，一个或多个模块包括用于执行上述方法中各个步骤的指令。根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现上述方法。采用本申请实施例中提供的闯红灯的识别方法、装置、电子设备及存储介质，对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并进行车道线分割和红绿灯识别；然后根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯；能够全自动地、准确、高效地识别闯红灯这一行为。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1示出了根据本申请实施例一的闯红灯的识别方法的流程图；图2示出了根据本申请实施例二的闯红灯的识别装置的结构框图；图3示出了根据本申请实施例三的电子设备的结构示意图。具体实施方式传统的安防技术和系统具备一定的智能化,但新一代人工智能带来的是更加颠覆性的变化。基于深度学习算法的人工智能可以很好地解决众多传统智能算法无法解决的问题,也给安防领域带来巨大变化：准确率更高，环境适应性更强,识别种类更丰富。基于这一思想，本申请中提出了一种闯红灯的自动识别方法、装置、电子设备及存储介质，通过对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并进行车道线分割和红绿灯识别；然后根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯；能够全自动地、准确、高效地识别闯红灯这一行为。为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。实施例一图1示出了根据本申请实施例一的闯红灯识别方法的流程图。如图1所示，根据本申请实施例一的闯红灯识别方法包括如下步骤：S101，获取至少一组待识别图像；其中，一组待识别图像包括四张图像；四张图像包括目标车辆的放大图和三张过程图；三张过程图是分别包括目标车辆在路口三个不同位置的图像。在具体实施时，可以在在获取至少一组待识别图像之前，还包括：获取原始输入图像；将原始输入图像划分为多个区域，根据所述多个区域的曝光程序的不同，预设不同的权重系数；根据所述多个区域分别对应的权重系数，确定图像的最佳曝光率；根据所述最佳曝光率合成曝光图像；根据所述原始输入图像和所述合成的曝光图像，得到增强的图像；将所述增强的图像作为待识别图像。由于光照或者相机的曝光原因，原始抓拍图有很多曝光较差的图,不利于视觉算法识别。直方图均衡化被广泛用于增强对比度，但基于直方图均衡化会导致过度增强和不切实际的结果；Retinex理论也用于改善图像效果,增强细节,但在高对比度区域容易产生伪像。本专利采用新的框架改善图像效果,首先学习一个权重系数,对于那些曝光良好的区域，获得较大的权重值，曝光不足的区域得到小的权重值,然后寻找图像的最佳曝光率,合成曝光好的图像,最后将输入图像和合成图通过计算的权重系数进行加权,得到增强的图像。该方法得到的结果失真更少,获得更好的细节。在具体实施时，可以通过前端抓拍机来抓拍多张待识别图像；并存储在疑似违法数据库中。具体地，在存储时，还可以将待识别图像一组一组地存放；一组通常对应于一个目标车辆；一组图像通常包括四张图像；四张图像包括目标车辆的放大图和三张过程图；三张过程图是分别包括目标车辆在路口三个不同位置的图像。具体地，还可以将每组图像拼接为一张2*2的图像。本申请对此均不作限制。在具体实施时，放大图通常包括目标车辆的整体放大图，当然也包括车牌。在具体实施时，可以从该疑似违法数据库中获取待识别图像，也可以从前端抓拍机中直接获取待识别图像，本申请对此不作限制。S102，对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆。在具体实施时，根据目标车辆的车牌确定三张过程图中的目标车辆，具体可以包括：对三张过程图中本文档来自技高网...

【技术保护点】
1.一种闯红灯的识别方法，其特征在于，包括：/n获取至少一组待识别图像；其中，一组待识别图像包括四张图像；所述四张图像包括目标车辆的放大图和三张过程图；所述三张过程图是分别包括所述目标车辆在路口三个不同位置的图像；/n对所述放大图执行车牌检测和特征提取，根据所述目标车辆的车牌或特征确定所述三张过程图中的目标车辆；并对所述三张过程图车道线进行分割，确定所述三张过程图中目标车道线和目标停止线的位置；确定所述三张过程图中红绿灯的位置、种类和颜色；/n根据所述三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定所述目标车辆是否闯红灯。/n

【技术特征摘要】
1.一种闯红灯的识别方法，其特征在于，包括：
获取至少一组待识别图像；其中，一组待识别图像包括四张图像；所述四张图像包括目标车辆的放大图和三张过程图；所述三张过程图是分别包括所述目标车辆在路口三个不同位置的图像；
对所述放大图执行车牌检测和特征提取，根据所述目标车辆的车牌或特征确定所述三张过程图中的目标车辆；并对所述三张过程图车道线进行分割，确定所述三张过程图中目标车道线和目标停止线的位置；确定所述三张过程图中红绿灯的位置、种类和颜色；
根据所述三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定所述目标车辆是否闯红灯。


2.根据权利要求1所述的方法，其特征在于，在获取至少一组待识别图像之前，还包括：
获取原始输入图像；
将原始输入图像划分为多个区域，根据所述多个区域的曝光程序的不同，预设不同的权重系数；
根据所述多个区域分别对应的权重系数，确定图像的最佳曝光率；
根据所述最佳曝光率合成曝光图像；
根据所述原始输入图像和所述合成的曝光图像，得到增强的图像；
将所述增强的图像作为待识别图像。


3.根据权利要求1所述的方法，其特征在于，根据所述目标车辆的车牌确定所述三张过程图中的目标车辆，具体包括：
对所述三张过程图中的多个车辆执行车牌检测；
将所述放大图中的车牌与多个车辆的车牌进行对比；
当车牌一致时，确定目标车辆。


4.根据权利要求1所述的方法，其特征在于，根据所述目标车辆的特征确定所述三张过程图中的目标车辆，具体包括：
对所述三张过程图中的多个车辆执行特征提取；
将所述放大图中的车辆特征与多个车辆的特征进行对比；
根据对比结果，确定目标车辆。


5.根据权利要求1所述的方法，其特征在于，
对所述三张过程图车道线进行分割，具体包括：利用深度学习分割网络对所述三张过程图中的车道线进行分割；
确定所述三张过程图中红绿灯的位置、种类和颜色，具体包括：通过红绿灯检测识别算法确定所述三张过程图中红绿灯的位置、种类和颜色。


6.根据权利要求5所述的方法，其特征在于，所述深度学习分割网络的输出上采样2倍后，将网络下采样1/8的特征图进行连接，block2层的输出使用1*1的卷积降维，再将网络上采样2倍。


7.根据权利要求5所述的方法，其特征在于，所述深度学习分割网络中的每张训练图像的车道线和背景为不同的损失权重：



其中，p为对应类别在总体样本中出现的概率，c是预设的超参数。


8.根据权利要求7所述的方法，其特征在于，所述深度学习分割网络中对每一张标注图像计算一个权重图，车道线区域的权重图如下：



其中，d(x)代表到最近车道线边界的距离的平方；w0和σ为经验值。


9.根据权利要求5所述的方法，其特征在于，所述深度学习分割网络激活函数使用EReLU。


10.根据权利要求5所述的方法，其特征在于，在确定所述三张过程图中红绿灯的位置之前，还包括：
将各过程图裁剪为X张小图；各相邻小图彼此之间重叠N个像素；
通过红绿灯检测识别算法确定所述三张过程图中红绿灯的位置，具体包括：在各过程图对应的X张小图中检测红绿灯的位置，并根据各个结果得到各过程图中红绿灯的位置。


11.根据权利要求5所述的方法，其特征在于，在确定所述三张过程图中红绿灯的种类和颜色之前，还包括：
在训练样本中，对左转红绿灯左右翻转扩大所述右转红绿灯的样本量；
确定用于识别红绿灯的种类和颜色的网络；所述网络的全连接层连接两个分支，一个分支用于识别红绿灯种类，另一个分支用于识别红绿灯颜色；所述两个分支的损失函数采用FocalLoss函数。


12.根据权利要求1所述的方法，其特征在于，根据所述三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定所述目标车辆是否闯红灯，具体包括：
根据所述目标车辆的位置和所述目标车道线和目标停止线的位置，确定所述三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置；所述相对位置包括未过停止线、越过停止线较短距离、越过停止线较长距离；
根据所述目标车辆越过目标停止线较长距离的图像，判断所述目标车辆的行驶方向；
根据所述目标车辆的行驶方向、红绿灯的位置和种类，确定目标红绿灯；
当三张过程图中所述目标红绿灯颜色均为红色时，确定所述目标车辆闯红灯。


13.一种闯红灯的识别装置，其特征在于，包括：
获取模块，用于获取至少一组...

【专利技术属性】
技术研发人员：周星宇，张二路，毛雷，张德兵，周瑞，
申请(专利权)人：北京格灵深瞳信息技术有限公司，
类型：发明
国别省市：北京;11