一种交通图像识别方法、装置、计算机设备和介质制造方法及图纸

本发明专利技术实施例公开了一种交通图像识别方法、装置、设备和介质。其中，方法包括：获取车辆采集的视频流并提取出视频流中的各帧图像作为第一图片；将第一图片输入至去干扰自编码器进行预处理，以过滤第一图片中的干扰，输出第二图片，其中，去干扰自编码器通过至少两类干扰样本集进行训练而得，不同类型干扰样本集中所加入的扰动方式包括下述至少两种：噪音、仿射变化、滤波模糊化、亮度变化和单色化；将第二图片输入至交通标志识别模型来进行识别处理。本发明专利技术实施例解决了对抗样本对交通标志识别模型进行攻击导致交通标志识别错误的问题；可以降低交通图像中对抗样本的干扰，提高图像的识别正确率，提升无人驾驶或智能驾驶的安全性。

A Traffic Image Recognition Method, Device, Computer Equipment and Media

The embodiment of the present invention discloses a traffic image recognition method, device, equipment and medium. Among them, the method includes: acquiring the video stream captured by the vehicle and extracting each frame image in the video stream as the first picture; input the first picture into the de-jamming self-encoder for preprocessing to filter the interference in the first picture and output the second picture, in which the de-jamming self-encoder is trained by at least two kinds of interference sample sets and different types of interference sample sets. There are at least two kinds of disturbance modes: noise, affine change, filter blurring, brightness change and monochromism, and the second picture is input into the traffic sign recognition model for recognition processing. The embodiment of the present invention solves the problem of traffic sign recognition error caused by the attack of countermeasure samples on traffic sign recognition model, reduces the interference of countermeasure samples in traffic images, improves the recognition accuracy of images, and improves the safety of unmanned or intelligent driving.

【技术实现步骤摘要】
一种交通图像识别方法、装置、计算机设备和介质
本专利技术实施例涉及自动驾驶图片处理技术，尤其涉及一种交通图像识别方法、装置、计算机设备和介质。
技术介绍
无人车在行驶过程或智能驾驶控制过程中，会以视频流的形式获取交通指示灯、交通指示牌等信息。具体是驾驶控制系统对摄像头或雷达获取的视频进行预处理得到含有特征信息的图片，进而将含有特征信息图片输入交通指示灯、交通指示牌的分类模型中进行预测，比如判断是红灯还是绿灯，是限速60公里还是停车指示牌。但是，无人车系统中的分类模型通常是深度学习模型，十分容易遭受对抗样本的攻击，产生误判。例如，在路牌或者交通指示灯上贴上小图贴，通过在小图贴上构造对抗样本，让分类模型产生误判，就不能正常识别路牌或指示灯，对无人车的驾驶安全产生影响。
技术实现思路
本专利技术实施例提供一种交通图像识别方法、装置、计算机设备和介质，以降低交通图像中对抗样本的干扰，提高图像的识别正确率，提升智能驾驶的安全性。第一方面，本专利技术实施例提供了一种交通图像识别方法，该方法包括：获取车辆采集的视频流并提取出所述视频流中的各帧图像作为第一图片；将所述第一图片输入至去干扰自编码器进行预处理，以过滤所述第一图片中的干扰，输出第二图片，其中，所述去干扰自编码器通过至少两类干扰样本集进行训练而得，不同类型干扰样本集中所加入的扰动方式包括下述至少两种：噪音、仿射变化、滤波模糊化、亮度变化和单色化；将所述第二图片输入至交通标志识别模型来进行识别处理。第二方面，本专利技术实施例还提供了一种交通图像识别装置，该装置包括：图片采集模块，用于获取车辆采集的视频流并提取出所述视频流中的各帧图像作为第一图片；图片预处理模块，用于将所述第一图片输入至去干扰自编码器进行预处理，以过滤所述第一图片中的干扰，输出第二图片，其中，所述去干扰自编码器通过至少两类干扰样本集进行训练而得，不同类型干扰样本集中所加入的干扰类型包括下述至少两种：噪音、仿射变化、滤波模糊化、亮度变化和单色化；图片识别模块，用于将所述第二图片输入至交通标志识别模型来进行识别处理。第三方面，本专利技术实施例还提供了一种计算机设备，该计算机设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例中任一所述的交通图像识别方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如专利技术实施例中任一所述的交通图像识别方法。本专利技术实施例通过将车辆采集的视频流中的图片输入至去干扰自编码器，经过去干扰自编码器的预处理得到滤除干扰的图片，进而将无干扰的图片输入至交通标志识别模型进行识别处理，从而方便后续产生正确的车辆控制指令，解决了对抗样本对交通标志识别模型进行攻击导致交通标志识别错误的问题；可以降低交通图像中对抗样本的干扰，提高图像的识别正确率，提升无人驾驶或智能驾驶的安全性。附图说明图1是本专利技术实施例一中的交通图像识别方法的流程图；图2a是本专利技术实施例二中的交通图像识别方法的流程图；图2b是本专利技术实施例二中的自编码器神经网络结构示意图；图3是本专利技术实施例三中的交通图像识别装置的结构示意图；图4是本专利技术实施例四中的计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的交通图像识别方法的流程图，本实施例可适用于抵御基于对抗样本对无人车或智能驾驶控制系统的路牌和交通指示灯识别模型的攻击的情况，该方法可以由交通图像识别装置实现，具体可通过设备中的软件和/或硬件来实施，例如，无人驾驶车辆或可智能驾驶车辆中的车辆驾驶控制系统。如图1所示，交通图像识别方法具体包括：S110、获取车辆采集的视频流并提取出所述视频流中的各帧图像作为第一图片。其中，车辆可以是无人驾驶的车辆，或是具有智能驾驶功能的车辆。在上述两种类型的车辆上均设置有摄像头和/或雷达，用于采集车辆在行驶过程中，车辆的前进方向和辆周边的视频流。视频流中的图像内容通常包括交通标志、信号灯、车道线及其他车辆、行人和建筑物等内容。采集到的视频流会被传输到车辆的控制系统，然后，控制系统在视频流中提取出每一帧图像即第一图片，作为分析的目标对象。上述所提取出的每帧图像可以理解为经过其他处理后确定要进行交通标志识别的目标图像。S120、将所述第一图片输入至去干扰自编码器进行预处理，以过滤所述第一图片中的干扰，输出第二图片，其中，所述去干扰自编码器通过至少两类干扰样本集进行训练而得，不同类型干扰样本集中所加入的扰动方式包括下述至少两种：噪音、仿射变化、滤波模糊化、亮度变化和单色化。在第一图片中，可能包含有交通标志、信号灯或车道线等具有交通指示作用的信息，也可能不包含。其中，包含有交通指示信息在内的第一图片通常对车辆的控制起到决定性作用。在一些情况中，交通指示牌、信号灯或车道线等交通标示上会被贴广告、标签或是叠加图贴等方式进行干扰使交通标志识别模型不能正确的识别出交通标志，从而导致违反交通规则，甚至是危害乘客人身安全以及公共交通安全。因此，需要在将含有交通标示的图片输入到交通标志识别模型之前进行图片的预处理，将图片中可能存在的干扰信息滤除，相当于提炼出了图片中的关键物体信息。具体的，可将第一图片输入到去干扰自编码器进行预处理，即可在含有交通标志信息的第一图像中有干扰信息时将干扰信息滤除，得到第二图片，即无干扰的图像。对于不包含交通标志信息及包含交通标志信息但未添加干扰信息的第一图片，去干扰自编码器的预处理是对该图片没有较大影响的，可得到接近于原图的输出图像。其中，去干扰自编码器通过至少两类干扰样本集进行训练而获得的，不仅能过滤掉单一图片干扰处理的干扰，还可以滤掉多种干扰处理方法组合的干扰，提高对抗样本图片中的扰动过滤效果。具体的，每一类抗干扰样本集中，包含有至少一个样本对，每一个样本对都包含有一个原始图片，以及一个与该原始图片相对应的对抗样本。在一类抗干扰样本集中，各对抗样本相对于相应的原始图片均进行了相同类型的扰动处理。所谓相同类型，是指采用的扰动方式的组合相同。扰动方式的组合可以包括单一一种扰动方式，或者也可以包括两种或多种扰动方式的组合。在一类抗干扰样本集中，采用的扰动方式组合相同，但各扰动方式所采用的具体参数可以相同或不同。本专利技术实施例中所采用的扰动方式可能由多种，可选的，扰动方式包括噪音、仿射变化、滤波模糊化、亮度变化和单色化中的至少两种。在一种优选的实施方式中，在将第一图片输入至去干扰自编码器进行预处理之前，还可以对第一图片从颜色维度进行压缩处理，即RGB颜色信息和/或灰度等级方面的压缩处理。这是因为交通标志的识别，主要依赖于交通标志图案的结构、形状、主体颜色，而对细节颜色并不敏感。通常情况下，交通标志在阳光下、黑暗中所采集呈现的颜色也是有差别的，所以细微颜色的差异被压缩并不影响交通标志图案的识别。图像在颜色维度进行压缩之后可以减少在图像处理过程中的运算的数据量。S130、将所述第二图片输入至本文档来自技高网...

【技术保护点】
1.一种交通图像识别方法，其特征在于，包括：获取车辆采集的视频流并提取出所述视频流中的各帧图像作为第一图片；将所述第一图片输入至去干扰自编码器进行预处理，以过滤所述第一图片中的干扰，输出第二图片，其中，所述去干扰自编码器通过至少两类干扰样本集进行训练而得，不同类型干扰样本集中所加入的扰动方式包括下述至少两种：噪音、仿射变化、滤波模糊化、亮度变化和单色化；将所述第二图片输入至交通标志识别模型来进行识别处理。

【技术特征摘要】
1.一种交通图像识别方法，其特征在于，包括：获取车辆采集的视频流并提取出所述视频流中的各帧图像作为第一图片；将所述第一图片输入至去干扰自编码器进行预处理，以过滤所述第一图片中的干扰，输出第二图片，其中，所述去干扰自编码器通过至少两类干扰样本集进行训练而得，不同类型干扰样本集中所加入的扰动方式包括下述至少两种：噪音、仿射变化、滤波模糊化、亮度变化和单色化；将所述第二图片输入至交通标志识别模型来进行识别处理。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在原始图片的基础上增加至少两种干扰，已形成至少两类干扰样本集；将各所述干扰样本集中的样本对分别作为输入图片和输出图片，输入至自编码器以进行训练。3.根据权利要求2所述的方法，其特征在于，在原始图片的基础上增加至少两种干扰，已形成至少两类干扰样本集包括：获取原始图片；通过加噪音、增加仿射变化、叠加滤波模糊化变化、叠加亮度变化、叠加单色化变化中的一种或多种扰动方式，对所述原始图片进行处理，以形成干扰图片；将原始图片与干扰图片作为一个样本对，选择至少两类样本对集合作为所述干扰样本集。4.根据权利要求3所述的方法，其特征在于，通过加噪音、增加仿射变化、叠加滤波模糊化变化、叠加亮度变化、叠加单色化变化中的一种或多种扰动方式，对所述原始图片进行处理之前，还包括：调整任一类型扰动方式中的至少一项扰动参数值，以形成至少两种扰动。5.根据权利要求4所述的方法，其特征在于，调整任一类型扰动方式中的至少一项扰动参数值，以形成至少两种扰动包括下述至少一种：调整放射变化中的缩放比例参数，以形成不同缩放比例的扰动；调整滤波模糊化中的模糊控制器的输入参数，以形成模糊程度不同的扰动；调整亮度变化中的亮度值，以形成不同亮度的扰动；调整单色化变化中的像素点的...

【专利技术属性】
技术研发人员：刘焱，王洋，郝新，吴月升，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11