一种专家知识引导机制下的交通文本检测方法与系统技术方案

本发明专利技术公开了一种专家知识引导机制下的交通文本检测方法与系统，属于交通文本识别领域，主要包括设计基于多任务深度学习与目标跟踪策略的文本检测方法；构建深度递归神经网络与多帧图像信息融合机制的文本识别方法；探索专家知识引导的语义联想机制的文本语义理解方法；各部分内容层层递进而又相互联系，以汽车辅助驾驶为应用背景，以交通文本为研究对象，探索一个有效的和具有严谨理论基础的解决方案来提高交通文本检测与识别性能。本发明专利技术的研究成果为汽车辅助驾驶相关研究与应用的深入开展提供依据，对文档分析与识别、计算机视觉的其他应用领域具有一定的借鉴意义。觉的其他应用领域具有一定的借鉴意义。觉的其他应用领域具有一定的借鉴意义。

【技术实现步骤摘要】
一种专家知识引导机制下的交通文本检测方法与系统


[0001]本专利技术涉及交通文本识别领域，尤其涉及一种专家知识引导机制下的交通文本检测方法与系统。

技术介绍

[0002]汽车出现大大便利了人类的出行方式，但是随着社会发展与人口增加，汽车数量也呈现出爆发式增长，从而导致了交通拥堵、交通事故频发等一系列问题，进而给城市建设与人们生命财产安全带来危害。从汽车工业发展历程中我们可以看出，尽管汽车经过了一个世纪的发展，但汽车的行驶模式从未发生过本质的变化。在行驶过程中，驾驶员通过自身的视觉系统感知交通环境信息并对车辆行驶状态进行控制，从而形成一个“驾驶员
‑
车
‑
路
‑
环境”的闭环系统。在这个系统中，驾驶员是控制决策的核心。然而在车辆行进过程中，驾驶员会受到很多未知因素干扰，从而导致驾驶状态具有很大的不稳定性，这种以驾驶员为核心的传统车辆行驶方式在交通路况愈发复杂的情况下其缺点日益突出，同时也成为交通事故频发的主要原因。据统计，2017 年因为交通事故死亡人数达6.3万人，而且造成事故发生原因九成以上都是人为原因。如何有效地减少驾驶工作强度，避免驾驶员状态的不稳定性已成为提高驾驶安全和驾驶效率所急需解决的问题。
[0003]真实世界的环境复杂多样、道路情况不可穷尽，现代社会行车安全早已不仅是车与车之间的事情。机动车、非机动车、行人混杂的交通模式迫使驾驶员花费更多的精力来处理行车状况，在此情况下，一些常规的安全辅助系统略显疲态。为了减少交通事故的发生，人们提出将计算机、电子传感器以及卫星通信等技术进行融合，然后对车辆、驾驶员以及路况信息进行交互处理，以形成汽车辅助驾驶系统。汽车辅助驾驶技术旨在使得汽车成为一个智能体，通过采用计算机视觉、汽车主动安全、机器学习、多传感器信息融合等技术手段，从而使得汽车具有感知周围行车环境以及具备类人的判断能力，进而为驾驶员行为决策提供有益的帮助，能有效地避免人类在极端条件下心理压力对行为能力影响的缺陷。
[0004]目前，一些权威机构对汽车自动驾驶技术进行了分级，比如：2014 年美国汽车工程师协会(Society of Automotive Engineers，SAE)在 NHTSA的自动驾驶汽车分级标准的基础上发布了SAE J3016标准，将自动驾驶技术分为0～5级，分别对应无自动驾驶、驾驶员辅助、部分自动驾驶、特定条件下自动驾驶、高度自动驾驶以及完全自动驾驶。综合人工干预程度(Human Intervention，HI)、完成任务复杂度(Mission Complexity，MC)和环境复杂度(EnvironmentalComplexity，EC)因素所建立的辅助驾驶分级标准，目前市面上大多数汽车品牌的辅助驾驶系统尚处于自动驾驶技术的初级阶段。
[0005]针对汽车辅助驾驶技术研究已近数十年的历史，21世纪初才呈现出接近实用化的趋势。目前传统车企与科技公司相继入局，2009 年谷歌作为第一家宣布进入无人驾驶的科技公司，随后越来越多的互联网公司布局于此。从选择的技术发展路线来看：传统车企倾向于逐步推进自动驾驶技术，驾驶功能从L2/3向上迭代增加；然而科技公司则倾向于“一步到位”，率先摸索L4/5技术模式。在该
，国外发展水平相对较高，以谷歌为代表的第一
研发梯队成为无人汽车驾驶技术研发先驱。以梅赛德斯F015 Luxury in Motion概念、特斯拉等构成的第二研发梯队，其研究进程停留在辅助驾驶和整体突破两个阶段之间。国内的无人汽车驾驶技术主要由百度研究院带领的研发团队推进，百度现已启动“百度无人驾驶汽车”研发计划，在芜湖建设“全无人驾驶汽车运营区域”，并已取得了一些研发成果。国内汽车品牌如一汽红旗HQ3的成功上路也成为我国无人汽车驾驶技术发展的标志。此外，国防科技大学的CITAVT系列无人驾驶汽车，吉林大学的 JUTIV无人驾驶汽车也取得了较好的研究成果。相比之下，国内无人汽车驾驶技术因起步较晚、相关专业人员缺乏、理论基础薄弱、系统完善性有待提高。由于实际行车环境的复杂性与突发性，目前无人驾驶汽车远远不能像驾驶员那样及时做出应急反应，因此现阶段的无人驾驶汽车尚处于试验测试阶段，并没有投入商业化使用。2018年3 月Uber无人车发生致命事故，表明了无人驾驶汽车中关键的感知、决策技术依然存在问题且在短期内无法解决，自动驾驶技术也将在较长的时间内处于辅助驾驶阶段。
[0006]汽车辅助驾驶系统采用了多个信息采集模块，比如：车载雷达、传感器系统、车载摄像设备等，各个模块所获得的数据为汽车驾驶决策提供依据。研究数据表明，驾驶员通过视觉获得了80％以上的交通环境感知信息，视觉为汽车驾驶提供了关键性数据信息。建立在仿生学基础上的计算机视觉是对人类视觉的一种拓展，具有增加视觉范围和视觉理解深度的技术优势，因此采用该技术来辅助汽车驾驶成为了一种自然的选择。目前，计算机视觉技术在汽车辅助驾驶领域有着一些成功的范例，比如，美国国家标准技术研究院(NIST)开发了一套车辆自动导航系统，该系统主要包含了两个功能模块：智能视觉处理单元(用来提取道路边界信息)，车辆运动控制单元(利用提取的道路视觉信息驾驶车辆)。
[0007]在非约束的行车环境中存在着大量的视觉内容,如交通文本/符号、交通灯、路面标记、车辆以及行人等。目前，针对道路信息(道路的车道线、道路边沿、交通标识等)、路况信息(车辆前方的障碍物、车辆、行人等)、以及驾驶员状态(驾驶员的疲劳信息、异常驾驶行为等)等行车环境中的视觉问题已经提出了许多行之有效的解决办法，其成果已广泛发表在国际权威会议及期刊上，然而交通文本这一重要的视觉内容却很少受到关注。相比行人检测、车道检测、交通标识检测以及疲劳驾驶检测等汽车行驶环境中的视觉检测任务，交通文本检测的研究工作显著滞后。
[0008]车辆自动化驾驶的流程主要包括：感知、认知、决策、控制与执行等。在车外动态视觉信息中，交通标识牌对规范行车秩序与路径辨识发挥非常重要的作用。在交通标牌中，除了包含一些特殊交通标识符号外，还包含了大量的文本信息(如图2所示)。而事实上，相较其他的自然场景内容(如树木、行人、建筑物等)，交通文本具有更强的逻辑性与更概括的表达性，能更加有效地提供高层语义信息，因此准确地识别图像中的交通文本将有助于提升汽车对行驶环境的智能感知能力。
[0009]本专利技术以汽车辅助驾驶为应用背景，以交通文本为研究对象，探索一个有效的和具有严谨理论基础的解决方案来提高交通文本检测与识别性能。本专利技术的研究成果为汽车辅助驾驶相关研究与应用的深入开展提供依据，对文档分析与识别、计算机视觉的其他应用领域具有一定的借鉴意义。

技术实现思路

[0010]本专利技术为解决上述问题，而提出的一种专家知识引导机制下的交通文本检测方法与系统。
[0011]为了实现上述目的，本专利技术采用了如下技术方案：
[0012]一种专家知识引导机制下的交通文本检测方法与系统，包括以下步骤：
[0013]S1、根据交通标识牌检测以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种专家知识引导机制下的交通文本检测方法与系统，其特征在于，包括以下步骤：S1、根据交通标识牌检测以及文本检测任务的细粒度不同，分别构建相应的深度神经网络检测框架；S2、在上述框架中采用基于全卷积神经网络的方法从像素级分类的角度来获得目标候选区域，在此基础上通过应用FastR
‑
CNN获得目标候选区域的分类信息以及位置信息；并将交通标识牌检测处理进行区别处理；S3、在获得文本检测结果以及交通标识牌检测结果以后，为了剔除汽车行驶环境中的一些广告文本等非交通文本，在级联检测框架的后端综合利用了不同目标之间的位置信息、以及文本与交通标识牌的整体视觉信息，采用了基于视觉注意机制的深度神经网络进行判断，并将处理后所获得的交通文本区域进行非最大抑制处理(NMS)以获得准确的文本位置信息，与此同时还对视觉扭曲的文本进行对齐处理；S4、基于深度递归神经网络与多帧图像信息融合机制的对文本进行识别；S5、采用专家知识引导的语义联想机制对文本语义进行理解。2.根据权利要求1所述的一种专家知识引导机制下的交通文本检测方法与系统，其特征在于：所述S2中在实施文本检测过程中还增加了Maskbranch模块来分别获得文本行分割结果以及单独的文本分割结果。3.根据权利要求1所述的一种专家知识引导机制下的交通文本检测方法与系统，其特征在于：所述S3中的具体步骤如下：A1、假设第i帧图像为当前帧，第i
‑
1帧为上一帧以及第i+1帧为下一帧；首先采用基于多任务深度学习与级联检测方法对第i帧图像进行处理以获取交通文本候选区域，然后在级联检测框架的后端综合利用不同目标之间的位置信息、以及文本与交通标识牌的整体视觉信息，采用基于视觉注意机制的深度神经网络进行判断，剔除判决为伪交通文本的交通文本候选区域；A2、在A1的基础上，将获得的交通文本区域进行非最大抑制处理(NMS)以获得准确的文本位置信息，与此同时还对视觉扭曲的文本进行对齐处理；A3、将在第i
‑
1帧中所得到的交通文本目标作为跟踪目标，然后利用TLD跟踪算法在第i帧中对它进行预测，从而获取它在第i帧图像中的位置信息；在第i帧图像中，将检测结果与跟踪结果进行比较；如果出现新的交通文本目标，将它添加至当前的跟踪目标列表；反之，分别对已获得的检测结果与跟踪结果进行评判；如果检测结果较跟踪结果具有更高的识别置信度值，则将当前跟踪列表中该交通文本信息用其对应的检测结果予以替代，进而对当前跟踪列表进行更新；A4、融合第i帧中的交通文本检测结果与跟踪结果并构建新的跟踪列表，依据第i帧的跟踪列表，采用TLD跟踪算法在第i+1帧图像中对上述交通文本目标进行预测...

【专利技术属性】
技术研发人员：李秀梅，王润民，刘莹莹，胡彬，康瑞淳，钱盛友，代建华，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：