当前位置: 首页 > 专利查询>复旦大学专利>正文

一种基于深度学习的路牌文本检测与识别算法制造技术

技术编号:25837123 阅读:46 留言:0更新日期:2020-10-02 14:17
本发明专利技术公开了一种基于深度学习的路牌文本检测与识别算法。本算法分为文本区域检测阶段和文本识别两阶段。文本区域检测阶段将文本区域检测作为实例分割问题,采用改进的VGG网络进行特征提取,经特征融合获取实例分割结果,然后基于分割结果再处理得到文本区域;文本识别阶段,将文本区域检测阶段的结果作为输入,经卷积阶段、循环阶段和转录阶段识别文本,卷积阶段利用卷积神经网络提取图像的特征图,循环阶段利用双向LSTM预测特征图中的特征序列,转录阶段整合循环阶段预测的文本并翻译成文本识别结果;最后进一步处理得到最终的文本识别结果。该算法能够很好的处理自然场景下的路牌图像,在公开数据集上取得了较好的结果。

【技术实现步骤摘要】
一种基于深度学习的路牌文本检测与识别算法
本专利技术属于计算机视觉
,具体涉及一种基于深度学习的路牌文本检测与识别算法。
技术介绍
路牌作为道路信息的载体和生活中常见的标识,对汽车驾驶员来说至关重要。现代化城市的飞速发展使得各种不同类型的道路数量大幅上升,各种带有文字信息的路牌也越来越多。随着科技进步,有着广阔前景的智能交通系统应运而生,路牌文本检测与识别是智能交通系统的重要一环。一个效果好的路牌文本检测与识别方法可以帮助汽车驾驶员提前关注路况信息,这样可以大大提高交通运输效率,降低交通事故的发生率。深度学习作为人工智能领域一个重要的分支和研究热点,最近越来越多地受到学者和研究人员们的青睐,深度学习技术在计算机视觉、自然语言处理、语音识别和跨模态等领域已经有了突破性的进展。自然场景中的文本检测与文本识别作为计算机视觉领域的重要子问题,近些年来得到了广泛地发展。目前大多数自然场景下的文本检测和文本识别方法都是基于深度学习技术的,但是针对路牌文本检测与识别的研究却不多,并且也缺乏公开数据集。有学者和研究人员提出了一些多阶段的方本文档来自技高网...

【技术保护点】
1.一种基于深度学习的路牌文本检测与识别算法,其特征在于,其分为两个处理阶段:文本区域检测阶段和文本识别阶段;其中:/n文本区域检测阶段,首先将文本区域检测作为一个实例分割问题来解决,一个文本区域就是一个文本实例,利用改进的VGG16网络提取输入图像的图像特征,然后将提取的图像特征经过多个步骤的特征融合得到实例分割结果,最后对分割结果进行处理得到检测的文本区域;/n文本识别阶段,首先将文本区域检测阶段的结果作为输入,经过文本识别网络获取文本识别结果,然后再基于规则对文本识别的结果进行过滤,得到最终的文本识别结果;所述文本识别网络由三个子阶段组成,分别是卷积阶段、循环阶段和转录阶段,卷积阶段利用...

【技术特征摘要】
1.一种基于深度学习的路牌文本检测与识别算法,其特征在于,其分为两个处理阶段:文本区域检测阶段和文本识别阶段;其中:
文本区域检测阶段,首先将文本区域检测作为一个实例分割问题来解决,一个文本区域就是一个文本实例,利用改进的VGG16网络提取输入图像的图像特征,然后将提取的图像特征经过多个步骤的特征融合得到实例分割结果,最后对分割结果进行处理得到检测的文本区域;
文本识别阶段,首先将文本区域检测阶段的结果作为输入,经过文本识别网络获取文本识别结果,然后再基于规则对文本识别的结果进行过滤,得到最终的文本识别结果;所述文本识别网络由三个子阶段组成,分别是卷积阶段、循环阶段和转录阶段,卷积阶段利用卷积神经网络CNN来提取输入图像的特征序列,循环阶段利用双向LSTM网络根据特征序列预测文本概率分布,转录阶段对文本概率分布进行整合并翻译成文本识别结果。


2.根据权利要求1所述的路牌文本检测与识别算法,其特征在于,文本区域检测阶段中,特征融合包括上采样和融合两个过程,上采样过程采用双线性插值的方式,融合过程采用加和的方式;在特征融合之后输出实例分割结果,实例分割结果包括文本/非文本预测结果和连接关系预测结果。


3.根据权利要求1所述的路牌文本检测与识别算法,其特征在于,文本区域检测阶段中,对分割结果进行处理得到检测的文本区域的具体步骤如下:
①如果一个像素在文本/非文本结果图上预测为正,而且在某个方向上和相邻像素的连接关系预测也为正,那就把它们连接起来;根据这个规则处理所有的像素,得到很多连通分量,每一个连通分量代表一个预测的文本实例。

【专利技术属性】
技术研发人员:王卓曜金城葛国胜
申请(专利权)人:复旦大学
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1