交通标志识别方法和装置制造方法及图纸

本发明专利技术公开了交通标志识别方法和装置。该方法包括：从相机获取图像数据；利用深度学习技术来检测图像数据的当前帧的感兴趣区域以获得初始交通标志检测结果；对交通标志检测结果进行追踪，以获得最终交通标志检测结果，该最终交通标志检测结果可以是追踪结果；根据追踪结果来预测下一帧的感兴趣区域。

【技术实现步骤摘要】
交通标志识别方法和装置
概括地说，本专利技术涉及图像处理和汽车安全辅助驾驶领域，具体地说，本专利技术涉及交通标志(特别是红绿灯)识别方法和装置。
技术介绍
随着技术的发展，机器人驾驶交通工具(例如，“UAV”或“无人机”)自动驾驶技术开始逐渐成为热点。在自动驾驶领域，交通信号灯检测技术是机器人驾驶交通工具的关键技术之一。如果无法正确地检测和分类交通信号灯，则可能违反交通规则，并可能造成严重的交通事故而导致死亡、损伤、和/或具有明显的损坏性。传统的交通信号灯检测方案主要是基于传统特征的方法，主要利用颜色直方图和HOG(方向梯度直方图)特征来刻画交通信号灯的颜色和形状，如红色的直行灯、绿色的左转灯等。但是，这种方案对环境的鲁棒性不强，比如会受到光照、信号灯的大小、位置等等很大的影响。因此，在自动驾驶领域，需要能够可靠地并且智能地检测和分类交通信号灯的智能计算机化系统。
技术实现思路
有鉴于此，本专利技术公开内容提供了交通标志识别的方法、装置、设备和计算机存储介质。Faster(快速)RCNN是适合于检测交通信号灯的比较好的一种基于深度学习的检测方法。但传统的FasterRCNN速度较慢，本专利技术公开内容提出了一种新型的快速RCNN模型，其通过优化FasterRCNN模型的结构等等技术手段来实现检测的加速和识别的准确。在一个方面，本专利技术的实施例提供了一种交通标志识别方法，该方法包括：从相机获取图像数据；利用深度学习技术来检测所述图像数据的当前帧的感兴趣区域以获得初始交通标志检测结果；对所述初始交通标志检测结果进行追踪，以获得最终交通标志检测结果；根据所述最终交通标志检测结果，预测下一帧的感兴趣区域。在本专利技术公开内容的一个实施例中，利用深度学习技术来检测所述图像数据的当前帧的感兴趣区域以获得初始交通标志检测结果，包括：使用新型快速RCNN模型对所述图像数据中的交通标志进行检测；根据该新型快速RCNN模型给出的置信度对所述检测结果进行过滤以获得高置信度结果和低置信度结果。在本专利技术公开内容的一个实施例中，对所述初始交通标志检测结果进行追踪，以获得最终交通标志检测结果包括：将上一帧检测结果与当前帧的所述高置信度结果进行匹配；如果所述上一帧检测结果与当前帧的所述高置信度结果匹配，则检测到所述交通标志；如果所述上一帧检测结果与当前帧的所述高置信度结果不匹配，则将所述上一帧检测结果与当前帧的所述低置信度结果进行匹配；如果所述上一帧检测结果与当前帧的所述低置信度结果匹配，则检测到所述交通标志。在本专利技术公开内容的一个实施例中，所述交通标志可以是红绿灯或者其它类型的交通信号灯。在本专利技术公开内容的一个实施例中，预测下一帧的感兴趣区域包括：对所述最终交通标志检测结果的检测框进行扩展，以获得感兴趣区域。在本专利技术公开内容的一个实施例中，当所述新型快速RCNN模型给出的所述置信度大于0.7时，认为是高置信度检测结果。当所述新型快速RCNN模型给出的所述置信度小于0.7但大于0.5时，认为是低置信度检测结果。当然，置信度也可以设为其它阈值。在本专利技术公开内容的一个实施例中，通过以下至少之一改进，在FasterRCCN基础上实现新型快速RCNN模型：改善基础网络；改进RPN(区域建议网络)的锚点选取；使用RoI-Align来替代RoI-Pooling；使用难样本进行在线挖掘。在本专利技术公开内容的一个实施例中，所述基础网络是基于inception和resnet网络的组合，提升所述基础网络获得的特征图与原图的比例并扩大基础网络获得的特征图，其中所述新型快速RCNN模型的conv3层的stride为1。在本专利技术公开内容的一个实施例中，改进所述RPN中的锚点的选取，以将所述锚点的宽高比设置为1：1。各个实施例还可以包括具有交通信号灯检测装置的机器人驾驶交通工具，该交通信号灯检测装置包括收发机、存储器、以及配置有处理器可执行指令以执行上面所概述的方法的操作的处理器。各个实施例包括用于在机器人驾驶交通工具中使用的处理设备，其配置为执行上面所概述的方法的操作。各个实施例包括存储有处理器可执行指令的非临时性处理器可读介质，所述处理器可执行指令被配置为使机器人驾驶交通工具的处理器执行上面所概述的方法的操作。本专利技术的实施例使得对交通信号灯的检测识别更加准确，对于颜色、形状的识别更加鲁棒。同时，本专利技术的实施例使用上一帧图像的检测结果引导下一帧图像的检测等追踪方法，减少了环境中车灯等因素对交通信号灯的检测的干扰，并降低了模型错检的影响。附图说明并入本文并且构成本说明书一部分的附图，描绘了示例性实施例，并且连同上面给出的概括描述以及下面给出的详细描述一起来解释各个实施例的特征。图1示出了适于用来实现本专利技术实施例的环境或系统；图2是根据本专利技术实施例，示出用于在机器人驾驶交通工具中使用的交通信号灯检测设备的组件的框图；图3根据本专利技术实施例，示出了快速RCNN的网络架构；图4根据本专利技术实施例，示出了新型快速RCNN的网络架构以及对相应网络结构进行的改善的说明；图5根据本专利技术实施例，示出了一种用于基于深度学习的交通标志识别的方法的示意性流程图；图6根据本专利技术实施例，示出了用于利用深度学习技术对图像的感兴趣区域进行检测以获得交通信号灯检测结果的方法的示意性流程图；图7根据本专利技术实施例，示出了用于对当前帧的检测结果进行追踪的方法的示意性流程图；图8根据本专利技术实施例，示出了一种用于基于深度学习的交通标志识别的装置的示意性框图。在附图中，相同或相似的标号被用来表示相同或相似的元素。具体实施方式为了说明性起见，给出了本文档中所描述的本专利技术的实施例、附图和例子，以便提供对本专利技术的一个或多个实施例的理解，这些实施例包括用于实施本专利技术的当前最佳预期模式的实施例。这些实施例、附图和例子不应被解释为是穷举的，也不应将本专利技术的实施例限制于这里所描述的实施例，它们仅仅是为了说明本专利技术的一般性原理。对于本领域普通技术人员来说，不脱离这些示例和实施例的保护范围和精神的本专利技术的众多其它修改和变型将是显而易见的。选择本文档中使用的术语是为了最好地解释这些示例和实施例的基本原理，以便相对于已知技术和产品来说明本专利技术的实际应用和技术改进，使本领域普通技术人员能够更好地理解这里所公开的示例和实施例。本文所使用的“示例性的”一词意味着“用作例子、例证或说明”。本文中描述为“示例性”的任何方面不应被解释为比其它方面更优选或更具优势。如本文所使用的，术语“机器人驾驶交通工具”和“无人机”、“无人车”指代：包括有被配置为提供一些自主或半自主能力的车载计算设备的各种类型的车辆中的一种。机器人驾驶交通工具的示例包括但不限于：诸如无人驾驶飞行器(UAV)之类的飞行器；地面车辆(例如，自动驾驶汽车或半自动驾驶汽车等等)；水基车辆(即，被配置为在水面上或水下作业的车辆)；天基车辆(例如，航天器或太空探测器)；和/或其某种组合。在一些实施例中，机器人驾驶交通工具可以是有人驾驶的。在其它实施例中，机器人驾驶交通工具可以是无人驾驶的。在一些实现中，机器人驾驶交通工具可以是飞行器(无人驾驶或有人驾驶)，该飞行器可以是旋翼飞行器或有翼飞行器。如本文所使用的，术语“交通标志”可以指代红绿灯或其它类型的交通信号灯。各个实施例可以在各种机器人驾驶交通工本文档来自技高网...

【技术保护点】
1.一种用于交通标志识别的方法，所述方法包括：从相机获取图像数据；利用深度学习技术来检测所述图像数据的当前帧的感兴趣区域以获得初始交通标志检测结果；对所述初始交通标志检测结果进行追踪，以获得最终交通标志检测结果；根据所述最终交通标志检测结果，预测下一帧的感兴趣区域。

【技术特征摘要】
1.一种用于交通标志识别的方法，所述方法包括：从相机获取图像数据；利用深度学习技术来检测所述图像数据的当前帧的感兴趣区域以获得初始交通标志检测结果；对所述初始交通标志检测结果进行追踪，以获得最终交通标志检测结果；根据所述最终交通标志检测结果，预测下一帧的感兴趣区域。2.根据权利要求1所述的方法，其中，利用深度学习技术来检测所述图像数据的当前帧的感兴趣区域以获得初始交通标志检测结果，包括：使用新型快速RCNN模型对所述图像数据中的交通标志进行检测；根据所述新型快速RCNN模型给出的置信度对所述检测结果进行过滤以获得高置信度结果和低置信度结果。3.根据权利要求1所述的方法，其中，对所述初始交通标志检测结果进行追踪，以获得最终交通标志检测结果包括：将上一帧检测结果与当前帧的所述高置信度结果进行匹配；如果所述上一帧检测结果与当前帧的所述高置信度结果匹配，则检测到所述交通标志；如果所述上一帧检测结果与当前帧的所述高置信度结果不匹配，则将所述上一帧检测结果与当前帧的所述低置信度结果进行匹配；如果所述上一帧检测结果与当前帧的所述低置信度结果匹配，则检测到所述交通标志。4.根据权利要求1所述的方法，其中，预测下一帧的感兴趣区域包括：对所述最终交通标志检测...

【专利技术属性】
技术研发人员：冯昊，谭深，
申请(专利权)人：杭州飞步科技有限公司，
类型：发明
国别省市：浙江,33