本公开涉及一种指示灯检测方法、装置、设备及计算机可读存储介质。所述方法包括：对采集的道路图像进行识别，获得所述道路图像中指示灯的候选边界框；根据所述道路图像中所述候选边界框对应的图像区域，对指示灯的多种分类进行预测，获得所述指示灯的多种分类的预测结果，其中，所述多种分类包括以下至少两种：用途分类、形状分类、排列分类、功能分类、颜色分类、指向分类；根据所述指示灯的多种分类的预测结果，确定所述指示灯的展示状态。确定所述指示灯的展示状态。确定所述指示灯的展示状态。
【技术实现步骤摘要】
指示灯检测方法、装置、设备及计算机可读存储介质
[0001]本公开涉及计算机视觉
，具体涉及一种指示灯检测方法、装置、设备及计算机可读存储介质。
技术介绍
[0002]指示灯检测是车辆自动驾驶、机器人自主行驶中非常重要的部分。在车辆自动驾驶和机器人自主行驶过程中，需要在摄像头所捕捉的道路图像中检测出指示灯，并判断其状态和表示的含义，才能做出符合交通规则的正确决策，以进行安全行驶。
技术实现思路
[0003]为克服相关技术中存在的问题，本公开提供了一种指示灯检测方法、装置、设备及计算机可读存储介质。
[0004]具体地，本申请是通过如下技术方案实现的：
[0005]第一方面，提供一种指示灯检测方法，包括：对采集的道路图像进行识别，获得所述道路图像中指示灯的候选边界框；根据所述道路图像中所述候选边界框对应的图像区域，对指示灯的多种分类进行预测，获得所述指示灯的多种分类的预测结果，其中，所述多种分类包括以下至少两种：用途分类、形状分类、排列分类、功能分类、颜色分类、指向分类；根据所述指示灯的多种分类的预测结果，确定所述指示灯的展示状态。
[0006]结合本公开提供的任一实施方式，所述根据所述道路图像中所述候选边界框对应的图像区域，对指示灯的多种分类分别进行预测，获得所述指示灯的多种分类的预测结果，包括：利用神经网络模型，对所述候选边界框对应的图像区域进行特征提取，得到所述候选边界框对应的图像特征；利用所述候选边界框对应的图像特征和所述神经网络模型中包括的多个子网络分支，分别对所述指示灯的多种分类进行预测，获得所述指示灯的多种分类的预测结果；其中，所述多个子网络分支的数量与所述多种分类的数量相同，每个子网络分支用于识别所述多种分类中其中一种分类的子类别。
[0007]结合本公开提供的任一实施方式，所述利用神经网络模型中包括的多个子网络分支，分别对所述指示灯的多种分类进行预测，获得所述指示灯的多种分类的预测结果，包括：针对所述多个子网络分支中的第一网络子分支，利用所述候选边界框对应的图像特征和所述第一网络子分支，对所述指示灯的多种分类中的第一分类进行预测，得到第一分类对应的至少两个子类别的预测概率；将所述至少两个子类别中所述预测概率最高的子类别，标记为所述指示灯在所述第一分类下的子类别。
[0008]结合本公开提供的任一实施方式，所述根据所述指示灯的多种分类的预测结果，确定所述指示灯的展示状态，包括：在所述多种分类包括所述用途分类和所述形状分类，且所述用途分类的预测结果为所述指示灯用于指示车辆，所述形状分类的预测结果表示所述指示灯为所述圆形灯的情况下，将所述排列分类、所述功能分类和所述颜色分类分别对应的预测结果进行组合，得到所述指示灯的第一展示状态；或者，在所述多种分类包括所述用
途分类和所述形状分类，且所述用途分类的预测结果为所述指示灯用于指示车辆，所述形状分类的预测结果表示所述指示灯为所述箭头灯的情况下，将所述颜色分类和所述指向分类分别对应的预测结果进行组合，得到所述指示灯的第二展示状态；或者，在所述多种分类包括所述用途分类，且所述用途分类的预测结果为所述指示灯用于指示行人的情况下，得到所述指示灯的第三展示状态。
[0009]结合本公开提供的任一实施方式，所述根据所述指示灯的多种分类的预测结果，确定所述指示灯的展示状态，包括：获得设定时间内所采集的多张道路图像中同一位置的所述指示灯以及所述指示灯的多种分类的预测结果；根据所述多张道路图像中同一位置的所述指示灯的多种分类的预测结果，判断所述指示灯的展示状态。
[0010]结合本公开提供的任一实施方式，所述多张道路图像为连续帧道路图像；所述获得设定时间内所采集的多张道路图像中同一位置的所述指示灯，包括：获得所述指示灯在所述连续帧道路图像的第一帧图像中的位置；根据拍摄所述道路图像的设备的运动速度和拍摄频率，计算所述指示灯在所述连续帧道路图像中除所述第一帧图像之外的其它帧图像中的第一位置；获得所述指示灯在所述连续帧图像中所述其他帧图像中的第二位置；针对所述其他帧图像中的每一帧图像，在所述第二位置与第一位置的差异小于设定值的情况下，确定所述连续帧道路图像中检测到的指示灯为同一位置的指示灯。
[0011]结合本公开提供的任一实施方式，所述指示灯的展示状态包括：常亮或闪烁；所述根据所述多张道路图像中同一位置的所述指示灯的多种分类的预测结果，判断所述指示灯的展示状态，包括：在所述多张道路图像中同一位置的指示灯的颜色分类预测结果相同的情况下，判断所述指示灯的展示状态为常亮；在所述多张图像中同一位置的指示灯的颜色分类预测结果间隔变化的情况下，判断所述指示灯的展示状态为闪烁。
[0012]第二方面，提供一种指示灯检测装置，包括：识别单元，用于对采集的道路图像进行识别，获得所述道路图像中指示灯的候选边界框；预测单元，用于根据所述道路图像中所述候选边界框对应的图像区域，对指示灯的多种分类进行预测，获得所述指示灯的多种分类的预测结果，其中，所述多种分类包括以下至少两种：用途分类、形状分类、排列分类、功能分类、颜色分类、指向分类；确定单元，用于根据所述指示灯的多种分类的预测结果，确定所述指示灯的展示状态。
[0013]结合本公开提供的任一实施方式，所述预测单元具体用于：利用神经网络模型，对所述候选边界框对应的图像区域进行特征提取，得到所述候选边界框对应的图像特征；利用所述候选边界框对应的图像特征和所述神经网络模型中包括的多个子网络分支，分别对所述指示灯的多种分类进行预测，获得所述指示灯的多种分类的预测结果；其中，所述多个子网络分支的数量与所述多种分类的数量相同，每个子网络分支用于识别所述多种分类中其中一种分类的子类别。
[0014]结合本公开提供的任一实施方式，所述预测单元在用于利用神经网络模型中包括的多个子网络分支，分别对所述指示灯的多种分类进行预测，获得所述指示灯的多种分类的预测结果时，具体用于：针对所述多个子网络分支中的第一网络子分支，利用所述候选边界框对应的图像特征和所述第一网络子分支，对所述指示灯的多种分类中的第一分类进行预测，得到第一分类对应的至少两个子类别的预测概率；将所述至少两个子类别中所述预测概率最高的子类别，标记为所述指示灯在所述第一分类下的子类别。
[0015]结合本公开提供的任一实施方式，所述确定单元具体用于：在所述多种分类包括所述用途分类和所述形状分类，且所述用途分类的预测结果为所述指示灯用于指示车辆，所述形状分类的预测结果表示所述指示灯为所述圆形灯的情况下，将所述排列分类、所述功能分类和所述颜色分类分别对应的预测结果进行组合，得到所述指示灯的第一展示状态；或者，在所述多种分类包括所述用途分类和所述形状分类，且所述用途分类的预测结果为所述指示灯用于指示车辆，所述形状分类的预测结果表示所述指示灯为所述箭头灯的情况下，将所述颜色分类和所述指向分类分别对应的预测结果进行组合，得到所述指示灯的第二展示状态；或者，在所述多种分类包括所述用途分类，且所述用途分类的预测结果为所述指示灯用于指示行人的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种指示灯检测方法，其特征在于，包括：对采集的道路图像进行识别，获得所述道路图像中指示灯的候选边界框；根据所述道路图像中所述候选边界框对应的图像区域，对指示灯的多种分类进行预测，获得所述指示灯的多种分类的预测结果，其中，所述多种分类包括以下至少两种：用途分类、形状分类、排列分类、功能分类、颜色分类、指向分类；根据所述指示灯的多种分类的预测结果，确定所述指示灯的展示状态。2.根据权利要求1所述的方法，其特征在于，所述根据所述道路图像中所述候选边界框对应的图像区域，对指示灯的多种分类分别进行预测，获得所述指示灯的多种分类的预测结果，包括：利用神经网络模型，对所述候选边界框对应的图像区域进行特征提取，得到所述候选边界框对应的图像特征；利用所述候选边界框对应的图像特征和所述神经网络模型中包括的多个子网络分支，分别对所述指示灯的多种分类进行预测，获得所述指示灯的多种分类的预测结果；其中，所述多个子网络分支的数量与所述多种分类的数量相同，每个子网络分支用于识别所述多种分类中其中一种分类的子类别。3.根据权利要求1或2所述的方法，其特征在于，所述利用神经网络模型中包括的多个子网络分支，分别对所述指示灯的多种分类进行预测，获得所述指示灯的多种分类的预测结果，包括：针对所述多个子网络分支中的第一网络子分支，利用所述候选边界框对应的图像特征和所述第一网络子分支，对所述指示灯的多种分类中的第一分类进行预测，得到第一分类对应的至少两个子类别的预测概率；将所述至少两个子类别中所述预测概率最高的子类别，标记为所述指示灯在所述第一分类下的子类别。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述指示灯的多种分类的预测结果，确定所述指示灯的展示状态，包括：在所述多种分类包括所述用途分类和所述形状分类，且所述用途分类的预测结果为所述指示灯用于指示车辆，所述形状分类的预测结果表示所述指示灯为所述圆形灯的情况下，将所述排列分类、所述功能分类和所述颜色分类分别对应的预测结果进行组合，得到所述指示灯的第一展示状态；或者，在所述多种分类包括所述用途分类和所述形状分类，且所述用途分类的预测结果为所述指示灯用于指示车辆，所述形状分类的预测结果表示所述指示灯为所述箭头灯的情况下，将所述颜色分类和所述指向分类分别对应的预测结果进行组合，得到所述指示灯的第二展示状态；或者，在所述多种分类包括所述用途分类，且所述用途分类的预测结果为所述...
【专利技术属性】
技术研发人员：何哲琪，马佳彬，王坤，曾星宇，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。