本公开公开了一种文字识别方法，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于光学字符识别OCR等场景。具体实现方案为：获取针对文档连续扫描得到的多个图像序列；基于多个图像序列进行图像拼接，得到对应的多个连续拼接图像帧，其中，两两连续拼接图像帧之间存在重叠区域；基于多个连续拼接图像帧进行文字识别，得到对应的多个识别结果；以及基于多个连续拼接图像帧中两两连续拼接图像帧间的重叠区域，对多个识别结果进行去重处理，得到针对文档的文字识别结果。得到针对文档的文字识别结果。得到针对文档的文字识别结果。
【技术实现步骤摘要】
文字识别方法、装置、设备、存储介质和智能词典笔
[0001]本公开涉及人工智能
，具体为计算机视觉和深度学习
，可应用于光学字符识别(Optical Character Recognition，简称OCR)等场景。具体涉及一种文字识别方法、装置、设备、存储介质、智能词典笔和计算机程序产品。
技术介绍
[0002]近些年来，搭载着OCR功能的智能硬件产品在教育市场应运而生，比如智能词典笔、智能平板等。其中智能词典笔得到了各大企业的关注和布局，比如很多企业都已有自有品牌的智能词典笔。
[0003]搭载着OCR功能的智能硬件产品，通常需要具有文字唤醒功能和文字识别功能。并且，这种智能硬件产品通常具有基于高速相机捕捉的文字片段进行处理并展示对应原文、译文、以及相关搜索内容和推荐内容的基本功能。这些基本功能要求智能硬件产品能够在连续视频帧场景下对大量文字片段进行精准识别。
技术实现思路
[0004]本公开提供了一种文字识别方法、装置、设备、存储介质、智能词典笔和计算机程序产品。
[0005]根据本公开的一方面，提供了一种文字识别方法，包括：获取针对文档连续扫描得到的多个图像序列；基于所述多个图像序列进行图像拼接，得到对应的多个连续拼接图像帧，其中，两两连续拼接图像帧之间存在重叠区域；基于所述多个连续拼接图像帧进行文字识别，得到对应的多个识别结果；以及基于所述多个连续拼接图像帧中两两连续拼接图像帧间的重叠区域，对所述多个识别结果进行去重处理，得到针对所述文档的文字识别结果。
[0006]根据本公开的另一方面，提供了一种文字识别装置，包括：图像获取模块，用于获取针对文档连续扫描得到的多个图像序列；图像拼接模块，用于基于所述多个图像序列进行图像拼接，得到对应的多个连续拼接图像帧，其中，两两连续拼接图像帧之间存在重叠区域；初始识别模块，用于基于所述多个连续拼接图像帧进行文字识别，得到对应的多个识别结果；以及去重识别模板，用于基于所述多个连续拼接图像帧中两两连续拼接图像帧间的重叠区域，对所述多个识别结果进行去重处理，得到针对所述文档的文字识别结果。
[0007]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所述的方法。
[0008]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开实施例所述的方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开实施例所述的方法。
[0010]根据本公开的另一方面，提供了一种智能词典笔，包括：根据本公开实施例所述的装置。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1A示例性示出了适于本公开实施例的系统架构；
[0014]图1B示例性示出了可以实现本公开实施例的场景图；
[0015]图2示例性示出了根据本公开实施例的文字识别方法的流程图；
[0016]图3示例性示出了根据本公开实施例的用于连续视频帧场景的文字识别原理图；
[0017]图4示例性示出了根据本公开实施例的用于连续视频帧场景的文字识别效果图；
[0018]图5示例性示出了根据本公开实施例的文字识别装置的框图；以及
[0019]图6示例性示出了用来实现本公开实施例的文字识别方法和装置的电子设备的框图。
具体实施方式
[0020]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0021]应该理解，传统的文本识别方案有以下两种。方案1，包括文本检测和文本识别两个阶段。其中，在文本检测阶段，主要应用east和db等算法进行文本检测；在文本识别阶段，主要应用CRNN、ATTENTION、SRN等算法对文本检测阶段获得的检测结果进行文本识别。方案2，是端到端的文本识别方案，主要应用text net和PGNET等算法进行文本识别。
[0022]上述两个方案都能够针对单帧图像进行精准的文字区域检测和文字内容识别，但无法在连续视频帧场景下对大量的文字片段进行去重处理。
[0023]还应该理解，在连续视频帧场景下，可以先采用图像全景拼接手段，将大量连续视频帧拼接成一张完整的拼接图像，然后将该拼接图像输出给下游OCR模块进行文字识别。但是，将所有文字片段拼接在一起后再进行文字识别，一方面无法满足实时性要求，另一方面会导致内存消耗较大，影响设备性能。
[0024]此外，考虑到OCR模型中输入的图像尺寸越小，文字识别越快的原理，还可以在连续扫描文档的过程中，获取一个个图像序列，并将一个个图像序列拼接成连续的拼接图像帧，然后依次对每个拼接图像帧进行文字识别，并返回对应的文字识别结果。这种方案整体上可以减少耗时，带来实时性收益。但是，这种图像拼接方案可能会因为拼接图像边缘文字残缺或断裂而导致无法识别部分文本内容。虽然OCR模型自带的语义纠错功能也许会正确识别其中的一部分文本内容，但是通常会实现所见即所得的识别，导致文本识别效果变差。
[0025]对此，本公开实施例提供了一种可用于连续视频帧场景的文字识别方案。该方案中，也是在连续扫描文档的过程中，获取一个个图像序列，并将一个个图像序列拼接成对应
的连续拼接图像帧，然后依次对每个拼接图像帧进行文字识别，并返回对应的文字识别结果。与前述方案不同的是，本方案中，两两连续拼接图像帧间存在重叠区域，并且，在返回对应的文字识别结果之前，可以基于其中的两两连续拼接图像帧间存在的重叠区域。对由相邻拼接图像帧得到的文字识别结果进行去重处理。基于此，本方案不仅能够获得实时性收益，同时由于前后拼接图像帧间存在重叠区域，因而可以对各拼接图像边缘残缺或断裂的文字进行补救，即可以通过重叠区域中的文字内容识别拼接图像边缘残缺或断裂的文字，由此可以提升文本识别效果。
[0026]以下将结合附图和具体实施例详细阐述本公开。
[0027]适于本公开实施例的文字识别方法和装置的系统架构介绍如下。
[0028]图1A示例性示出了适于本公开实施例的系统架构。需要注意的是，图1A所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文字识别方法，包括：获取针对文档连续扫描得到的多个图像序列；基于所述多个图像序列进行图像拼接，得到对应的多个连续拼接图像帧，其中，两两连续拼接图像帧之间存在重叠区域；基于所述多个连续拼接图像帧进行文字识别，得到对应的多个识别结果；以及基于所述多个连续拼接图像帧中两两连续拼接图像帧间的重叠区域，对所述多个识别结果进行去重处理，得到针对所述文档的文字识别结果。2.根据权利要求1所述的方法，其中，基于所述多个连续拼接图像帧中两两连续拼接图像帧间的重叠区域，对所述多个识别结果进行去重处理，包括：对于两两连续拼接图像帧，遍历前帧拼接图像中各单字以及后帧拼接图像中各单字，并标注两帧图像中各单字的重叠字属性；以及基于所述两帧图像中标注的各单字的重叠字属性，对由所述两帧图像得到的两个识别结果进行去重处理。3.根据权利要求2所述的方法，其中，基于所述两帧图像中标注的各单字的重叠字属性，对由所述两帧图像得到的两个识别结果进行去重处理，包括：对于所述两帧图像中具有相同重叠字属性的两个单字，在对所述两个识别结果进行去重处理过程中，保留所述两个单字中置信度高的单字识别结果。4.根据权利要求2或3所述的方法，其中，遍历前帧拼接图像中各单字以及后帧拼接图像中各单字，并标注两帧图像中各单字的重叠字属性，包括：自后往前遍历所述前帧拼接图像中各单字，并自前往后遍历所述后帧拼接图像中各单字，以标注两帧图像中各单字的重叠字属性；以及在本次遍历过程中，响应于针对所述前帧拼接图像遍历到首个不存在重叠字属性的单字，停止本次遍历。5.根据权利要求2或3所述的方法，其中，遍历前帧拼接图像中各单字以及后帧拼接图像中各单字，并标注两帧图像中各单字的重叠字属性，包括：对于所述前帧拼接图像中已标注有重叠字属性的至少一个单字，在本次遍历过程中跳过所述至少一个单字，并继续遍历其他尚未标注重叠字属性的单字。6.根据权利要求2所述的方法，其中，遍历前帧拼接图像中各单字以及后帧拼接图像中各单字，并标注两帧图像中各单字的重叠字属性，包括：遍历所述前帧拼接图像中各单字，以确定当前遍历到的目标单字的位置信息；基于单应矩阵和所述目标单字的位置信息，确定所述目标单字在所述后帧拼接图像中的预测位置信息；遍历所述后帧拼接图像中各单字，以确定所述目标单字在所述后帧拼接图像中的真实位置信息；以及响应于所述预测位置信息表征的区域和所述真实位置信息表征的区域是重叠区域，分别为所述前帧拼接图像和所述后帧拼接图像中的所述目标单字标注上对应的重叠字属性。7.一种文字识别装置，包括：图像获取模块，用于获取针对文档连续扫描得到的多个图像序列；图像拼接模块，用于基于所述多个图像序列进行图像拼接，得到对应的多个连续拼接
图像帧，其中，两两连续拼接图像帧之间存在重叠区域；...
【专利技术属性】
技术研发人员：刘珊珊，乔美娜，吴亮，章成全，姚锟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。