一种交通标志类别的检测识别方法、装置和设备制造方法及图纸

本申请公开一种交通标志类别的检测识别方法、装置和设备，本申请通过获取双目视频流图像，对所述双目视频流图像进行图像融合得到融合视频流图像，利用检测模型对所述融合视频流图像进行检测，输出所述融合视频流图像中至少一个交通标志的坐标位置，基于所述融合视频流图像中至少一个交通标志的坐标位置对所述融合视频流图像进行择优提取，得到第一交通标志图像，利用矫正模型对所述第一交通标志图像进行图像矫正，输出第二交通标志图像，利用识别模型对所述第二交通标志图像进行图像识别，输出交通标志类别，从而提高交通标志类别检测识别的准确性，提升交通标志类别的检测识别效果。

【技术实现步骤摘要】
一种交通标志类别的检测识别方法、装置和设备
本专利技术涉及自动驾驶领域，尤其涉及一种交通标志类别的检测识别方法、装置和设备。
技术介绍
随着人工智能技术的发展，自动驾驶技术逐步应用到日常生活中，而交通标志类别的检测识别是自动驾驶技术的关键之一。在自动驾驶过程中，如果对交通标志的类别不能进行准确地检测识别，可能导致车辆违反交通规则，严重的可能会造成交通事故。现有技术靠单独的深度学习网络对采集的图像进行检测，当出现光照变化、相机运动导致画面模糊或者交通标志图像存在遮挡等情况时，难以检测到交通标志。另外由于交通标志的全部类别很多。一些不常见的交通标志图像数据样本少，若利用深度学习网络同时进行检测和识别，在对用于检测识别的深度学习网络进行训练时，容易出现类别不均衡的现象，从而导致实际应用时，对样本类别少的交通标志类别的检测识别效果差、准确性不高的问题。
技术实现思路
为了解决上述技术问题，本专利技术提供一种交通标志类别的检测识别方法、装置和设备，可以提高交通标志类别检测识别的准确性，提升交通标志类别的检测识别效果。为了达到上述申请的目的，本申请提供了一种交通标志类别的检测识别方法，该方法包括：获双目视频流图像；对所述双目视频流图像进行图像融合得到融合视频流图像；利用检测模型对所述融合视频流图像进行检测，输出所述融合视频流图像中至少一个交通标志的坐标位置，所述融合视频流图像中包含所述至少一个交通标志；基于所述融合视频流图像中至少一个交通标志的坐标位置对所述融合视频流图像进行择优提取，得到第一交通标志图像，所述第一交通标志图像包括满足预设图像要求的交通标志图像；利用矫正模型对所述第一交通标志图像进行图像矫正，输出第二交通标志图像；利用识别模型对所述第二交通标志图像进行图像识别，输出交通标志类别。另一方面，本申请还提供一种交通标志类别的检测识别装置，该装置包括：图像获取模块，用于获取双目视频流图像；图像融合模块，用于对所述双目视频流图像进行图像融合得到融合视频流图像；检测模块，用于利用检测模型对所述融合视频流图像进行检测，输出所述融合视频流图像中至少一个交通标志的坐标位置，所述融合视频流图像中包含所述至少一个交通标志；择优模块，用于基于所述融合视频流图像中至少一个交通标志的坐标位置对所述融合视频流图像进行择优提取，得到第一交通标志图像，所述第一交通标志图像包括满足预设图像要求的交通标志图像；矫正模块，用于利用矫正模型对所述第一交通标志图像进行图像矫正，输出第二交通标志图像；识别模块，用于利用识别模型对所述第二交通标志图像进行图像识别，输出交通标志类别。另一方面，本申请还提供一种交通标志类别的检测识别设备，该设备包括：处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现上述的交通标志类别的检测识别方法。实施本申请，具有如下有益效果：本申请通过获取双目视频流图像，对所述双目视频流图像进行图像融合得到融合视频流图像，利用检测模型对所述融合视频流图像进行检测，输出所述融合视频流图像中至少一个交通标志的坐标位置，基于所述融合视频流图像中至少一个交通标志的坐标位置对所述融合视频流图像进行择优提取，得到第一交通标志图像，所述第一交通标志图像包括满足预设图像要求的交通标志图像，利用矫正模型对所述第一交通标志图像进行图像矫正，输出第二交通标志图像，利用识别模型对所述第二交通标志图像进行图像识别，输出交通标志类别，从而提高交通标志类别检测识别的准确性，提升交通标志类别的检测识别效果。附图说明为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1为本申请实施例提供的一种交通标志类别的检测识别方法的流程示意图；图2为本申请实施例提供的一种训练检测模型方法的流程示意图；图3为本申请实施例提供的一种获取第一视频流训练图像方法的流程示意图；图4为本申请实施例提供的一种对融合视频流图像进行择优提取得到第一交通标志图像的流程示意图；图5为本申请实施例提供的一种训练择优模型方法的流程示意图；图6为本申请实施例提供的一种得到分组图像集方法的流程示意图；图7为本申请实施例提供的一种训练矫正模型方法的流程示意图；图8为本申请实施例提供的一种训练识别模型方法的流程示意图；图9为本申请实施例提供的一种交通标志类别的检测识别装置示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了实现本申请的技术方案，让更多的工程技术工作者容易了解和应用本申请，将结合具体的实施例，进一步阐述本申请的工作原理。本申请可应用于自动驾驶领域，具体的，可以应用于一种交通标志类别的检测识别。本申请可以对视频流进行检测识别，分析得到视频流中包含的交通标志的类别，从而为自动驾驶提供数据支撑。以下介绍本申请实施例提供的一种交通标志类别的检测识别方法，如图1所示，该方法可以包括：S101：获取双目视频流图像。具体的，双目视频流图像可以通过双目成像设备采集，基于双目成像设备采集的双目视频流图像可以是在运动状态下采集的图像，当双目成像设备在运动状态下采集图像时，双目成像设备采集的图像为基于双目视点的运动图像，由于图像在采集过程中产生运动模糊，可以对基于双目视点的运动图像进行去模糊处理。首先，通过对双目成像设备模型的对极几何关系进行分析，确定成像物体在三维空间中的运动轨迹按照小孔成像模型及几何关系投影到成像平面上的对应关系，保留各视点图像上的点扩展函数路径对应关系，然后用单帧图像的盲目复原算法确定单视点图像模糊核，再对模糊核进行细化处理。通过点扩展函数路径对应关系求解另一视点图像上本文档来自技高网...

【技术保护点】
1.一种交通标志类别的检测识别方法，其特征在于，所述方法包括：/n获取双目视频流图像；/n对所述双目视频流图像进行图像融合得到融合视频流图像，所述融合视频流图像中包含至少一个交通标志；/n利用检测模型对所述融合视频流图像进行检测，输出所述融合视频流图像中至少一个交通标志的坐标位置；/n基于所述融合视频流图像中至少一个交通标志的坐标位置对所述融合视频流图像进行择优提取，得到第一交通标志图像，所述第一交通标志图像包括满足预设图像要求的交通标志图像；/n利用矫正模型对所述第一交通标志图像进行图像矫正，输出第二交通标志图像；/n利用识别模型对所述第二交通标志图像进行图像识别，输出交通标志类别。/n

【技术特征摘要】
1.一种交通标志类别的检测识别方法，其特征在于，所述方法包括：
获取双目视频流图像；
对所述双目视频流图像进行图像融合得到融合视频流图像，所述融合视频流图像中包含至少一个交通标志；
利用检测模型对所述融合视频流图像进行检测，输出所述融合视频流图像中至少一个交通标志的坐标位置；
基于所述融合视频流图像中至少一个交通标志的坐标位置对所述融合视频流图像进行择优提取，得到第一交通标志图像，所述第一交通标志图像包括满足预设图像要求的交通标志图像；
利用矫正模型对所述第一交通标志图像进行图像矫正，输出第二交通标志图像；
利用识别模型对所述第二交通标志图像进行图像识别，输出交通标志类别。


2.根据权利要求1所述的方法，其特征在于，所述检测模型包括采用下述步骤确定：
获取第一视频流训练图像，所述第一视频流训练图像包括具有不同交通标志坐标位置的标注信息的视频流训练图像；
基于所述第一视频流训练图像对第一深度学习网络进行交通标志检测训练，得到检测模型。


3.根据权利要求1所述的方法，其特征在于，所述基于所述融合视频流图像中至少一个交通标志的坐标位置对所述融合视频流图像进行择优提取，得到第一交通标志图像包括：
基于所述融合视频流图像中至少一个交通标志的坐标位置对所述融合视频流图像进行分组，得到多个分组图像集，每一分组图像集中的多个图像对应同一目标交通标志；
利用择优模型从每个分组图像集中确定出满足第二预设图像条件的图像，得到第一交通标志图像。


4.根据权利要求3所述的方法，其特征在于，所述择优模型包括采用下述步骤确定：
获取第二训练图像，所述第二训练图像包括具有不同的旋转程度、清晰程度及遮挡程度的标注信息的交通标志图像；
基于所述第二训练图像对第二深度学习网络进行图像择优训练，得到择优模型。


5.根据权利要求1所述的方法，其特征在于，所述矫正模型包括采用下述步骤确定：
获取第三训练图像，所述第三训练图像包括具有不同的倾斜角度、缩放程度以及平移程度的标注信息的交通标志图像；
基于所述第三训练图像对第三深度学习网络进行图像矫正训练，得到矫正模型。


6.根据权利要求1所述的方法，其特征在于，所述识别模型包括采用下述步骤确定：
获取第四训练图像，所述第四训练图像包括具有不同类别标注信息的交通标志样本图像；
基于所述第四训练图像对第四深度学习网络进行图像识别训练，得到识别模型；
其中，识别训练过程中的损失函数包括回归损失函数...

【专利技术属性】
技术研发人员：王磊，章毅，冯旭，罗顺凤，
申请(专利权)人：杭州优行科技有限公司，浙江吉利控股集团有限公司，
类型：发明
国别省市：浙江;33