车灯检测方法、实现智能驾驶的方法、装置、介质及设备制造方法及图纸

本申请的实施方式公开了一种车灯检测方法、神经网络的训练方法、用于实现智能驾驶的方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的车灯检测方法包括：获取包含有车辆的图像块；经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果。

Vehicle lamp detection method, method, device, medium and equipment for realizing intelligent driving

The embodiment of the present application discloses a lamp detection method, a neural network training method, a method for realizing intelligent driving, a device, an electronic device, a computer readable storage medium, and a computer program, wherein the lamp detection method includes: acquiring an image block containing a vehicle; and via a depth neural network The image blocks are detected for vehicle lights to obtain the test results of vehicle lights.

【技术实现步骤摘要】
车灯检测方法、实现智能驾驶的方法、装置、介质及设备
本申请涉及计算机视觉技术，尤其是涉及一种车灯检测方法、车灯检测装置、神经网络的训练方法、神经网络的训练装置、用于实现智能驾驶的方法、用于实现智能驾驶的装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
在智能驾驶技术中，准确的对车辆周围信息进行检测和判别，对于智能驾驶车辆行驶路线的选择以及车辆规避制动等决策，是非常重要的。车辆上的车灯往往可以起到，向其他车辆以及行人等，传达相应信息(如左转弯、右转弯或者刹车等)的作用。准确识别行驶环境中的其他车辆的车灯所传达的信息，对于智能驾驶的决策而言，是具有一定的意义的。
技术实现思路
本申请实施方式提供一种车灯检测、训练神经网络以及用于实现智能驾驶的技术方案。根据本申请实施方式其中一方面，提供一种车灯检测方法，所述方法包括：获取包含有车辆的图像块；经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果。在本申请一实施方式中，所述车灯检测结果包括：车灯外接框信息、车灯亮灭状态以及车灯方位中的至少一个。在本申请又一实施方式中，所述方法还包括：根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息。在本申请再一实施方式中，所述方法还包括：根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息。在本申请再一实施方式中，所述方法在根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息之前，还包括：针对存在时序关系的多个图像块，根据车灯检测结果，进行车灯外接框漏检和/或车灯外接框平滑处理，以获得修正的各图像块中的车灯外接框信息。在本申请再一实施方式中，所述针对存在时序关系的多个图像块，根据车灯检测结果，进行车灯外接框漏检和/或车灯外接框平滑处理包括：根据存在时序关系的多个图像块及其车灯外接框信息，获取各车灯外接框所对应的车灯标识；根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检和/或车灯外接框平滑处理。在本申请再一实施方式中，所述根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检和/或车灯外接框平滑处理包括：针对一车灯标识而言，根据位于第m1个图像块之前的n1个图像块中的具有所述车灯标识的车灯外接框的位置，预测第m1个图像块中的具有所述车灯标识的车灯外接框的位置；基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理。在本申请再一实施方式中，所述基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理包括：在第m1个图像块中不存在具有所述车灯标识的车灯外接框的情况下，根据所述预测的车灯外接框的位置，为第m1个图像块添加车灯外接框；或者，在第m1个图像块中存在具有所述车灯标识的车灯外接框的情况下，对所述预测的车灯外接框的位置以及第m1个图像块中的具有所述车灯标识的车灯外接框的位置进行加权平均处理。在本申请再一实施方式中，所述车灯指示信息包括：单侧左车灯闪烁、单侧右车灯闪烁、双侧车灯闪烁、双侧车灯全灭以及双侧车灯全亮中的至少一个。在本申请再一实施方式中，所述根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息包括：针对存在时序关系的对应同一车辆的同一车灯的多个车灯外接框，进行车灯亮灭状态统计，并根据统计结果确定所述车灯指示信息。在本申请再一实施方式中，所述图像块为待处理图像；或者，所述图像块为待处理图像中包含车辆的局部图像，或者，所述图像块为基于待处理图像中包含车辆的局部图像处理而得到的图像块。在本申请再一实施方式中，所述获取包含有车辆的图像块包括：对待处理图像进行车辆检测，并根据车辆检测结果，对所述待处理图像进行切分，以获得包含有车辆的所述图像块。在本申请再一实施方式中，所述对待处理图像进行车辆检测包括：利用车辆检测模型对所述待处理图像进行车辆检测，以获得所述待处理图像中的车辆外接框信息。在本申请再一实施方式中，所述对待处理图像进行车辆检测还包括：针对存在时序关系的多个待处理图像，进行车辆外接框漏检和/或车辆外接框平滑处理，以获得修正的各待处理图像中的车辆外接框信息。在本申请再一实施方式中，所述针对存在时序关系的多个待处理图像，进行车辆外接框漏检和/或平滑处理包括：根据存在时序关系的多个待处理图像及其车辆外接框信息，，获取各车辆外接框所对应的车辆标识；根据各车辆外接框所对应的车辆标识，对各待处理图像进行车辆外接框漏检和/或车辆外接框平滑处理。在本申请再一实施方式中，所述根据各车辆外接框所对应的车辆标识，对各待处理图像进行车辆外接框漏检和/或车辆外接框平滑处理包括：针对一车辆标识而言，根据位于第m2个待处理图像之前的n2个待处理图像中的具有所述车辆标识的车辆外接框的位置，预测第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置；基于预测的车辆外接框的位置，对第m2个待处理图像进行车辆外接框添加或车辆外接框位置校正处理。在本申请再一实施方式中，所述基于预测的车辆外接框的位置，对第m2个待处理图像进行车辆外接框添加或车辆外接框位置校正处理包括：在第m2个待处理图像中不存在具有所述车辆标识的车辆外接框的情况下，根据所述预测的车辆外接框的位置，为第m2个待处理图像添加车辆外接框；或者，在第m2个待处理图像中存在具有所述车辆标识的车辆外接框的情况下，对所述预测的车辆外接框的位置以及第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置进行加权平均处理。在本申请再一实施方式中，所述深度神经网络包括：快速区域卷积神经网络FasterRCNN。在本申请再一实施方式中，所述深度神经网络是利用带有车灯标注信息的样本图像块训练获得的。在本申请再一实施方式中，所述训练所述深度神经网络的过程包括：获取包括有车辆的样本图像块；经由待训练的深度神经网络，对所述样本图像块进行车灯检测，以获取车灯检测结果；以所述车灯检测结果与所述样本图像块的车灯标注信息之间的差异为指导信息，对所述待训练的深度神经网络进行监督学习。在本申请再一实施方式中，所述车灯标注信息包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。根据本申请实施方式的其中再一方面，提供一种神经网络的训练方法，所述方法包括：获取包括有车辆的样本图像块；经由待训练的深度神经网络，对所述样本图像块进行车灯检测，以获取车灯检测结果；以所述车灯检测结果与所述样本图像块的车灯标注信息之间的差异为指导信息，对所述待训练的深度神经网络进行监督学习。在本申请一实施方式中，所述车灯标注信息包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。根据本申请实施方式其中再一方面，提供一种用于实现智能驾驶的方法，所述方法包括：获取包含有车辆的图像块；经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果；根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息；根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息。根据本申请实施方式其中再一方面，提供一种车灯检测装置，所述装置包括：获取图像块模块，用于获取包含有车辆的图像块；第一车灯检测模块，用于经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果。在本申请一实施本文档来自技高网...

【技术保护点】
1.一种车灯检测方法，其特征在于，包括：获取包含有车辆的图像块；经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果。

【技术特征摘要】
1.一种车灯检测方法，其特征在于，包括：获取包含有车辆的图像块；经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果。2.根据权利要求1所述的方法，其特征在于，所述车灯检测结果包括：车灯外接框信息、车灯亮灭状态以及车灯方位中的至少一个。3.一种神经网络的训练方法，其特征在于，包括：获取包括有车辆的样本图像块；经由待训练的深度神经网络，对所述样本图像块进行车灯检测，以获取车灯检测结果；以所述车灯检测结果与所述样本图像块的车灯标注信息之间的差异为指导信息，对所述待训练的深度神经网络进行监督学习。4.一种用于实现智能驾驶的方法，其特征在于，包括：获取包含有车辆的图像块；经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果；根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息；根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息。5.一种车灯检测装置，其特征在于，包括：获取图像块模块，用于获取包含有车辆的图像块；第一车灯检测模块，用于经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果。6.一种神经网络的训练装置，其特征在于，包括：获取样本图像块模块，用...

【专利技术属性】
技术研发人员：刘诗男，曾星宇，闫俊杰，王晓刚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11