中英文混合商户门店名称识别方法、系统、设备及介质技术方案

本公开公开了中英文混合商户门店名称识别方法、系统、设备及介质，利用中文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出M个分割的文字区域；利用英文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出N个分割的文字区域；从M个和N个分割的文字区域中分别选出面积最大的文字区域；将筛选的两个面积最大的文字区域进行拼接，得到最终分割的文字区域；使用STN空间变换网络对最终分割的文字区域进行偏移度校正；利用中英文混合识别CRNN模型对校正后的文字区域进行字符识别，得到中文识别结果和英文识别结果。

Identification Method, System, Equipment and Media of Chinese-English Mixed Business Gateway Store Names

【技术实现步骤摘要】
中英文混合商户门店名称识别方法、系统、设备及介质
本公开涉及中英文混合商户门店名称识别方法、系统、设备及介质。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。目前，一些商家在与美团、银联等公司合作入网时，商户会提供门头正面照片信息供合作方审核，合作方需要人工审核照片中的字体信息与商家提供的文字信息是否一致；由于人工识别照片中的字体信息具有效率低下，工作量大，且错误率高的缺点，因此极其需要结合人工智能技术进行辅助。在实现本公开的过程中，专利技术人发现现有技术中存在以下技术问题：传统光学字符识别主要面向高质量的文档图像，此类技术假设输入图像背景干净、字体简单且文字排布整齐，在符合要求的情况下能够达到很高的识别水平。与文档文字识别不同，自然场景中的文字识别具有图像背景复杂、分辨率低下、字体多样、分布随意等不良条件，传统光学字符识别在此类情况下无法应用。作为大量相关技术的基础工作,自然场景文字识别的不断发展和突破具有深远的研究意义和实际价值。近年来由于深度学习的快速崛起和计算机计算能力的提升，人们开始尝试构建各种机器学习模型来解决这一难题。当前学术科研领域针对自然场景商户门店名称的的文本识别有如下几个问题：1.用户上传的照片中存在角度倾斜等干扰项，使得文字边缘清晰度下降，这会让模型识别正确率有所下降；2.由于大多数商户门店中会同时含有中文、英文字符，由于中文字符均为方块字而英文字符较为瘦长的特点，因此难以使用同一个模型对中文英文进行精准识别。
技术实现思路
为了解决现有技术的不足，本公开提供了中英文混合商户门店名称识别方法、系统、设备及介质；第一方面，本公开提供了中英文混合商户门店名称识别方法；中英文混合商户门店名称识别方法，包括：利用中文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出M个分割的文字区域；M为正整数；利用英文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出N个分割的文字区域；N为正整数；从M个分割的文字区域中选出面积最大的文字区域；同样的，从N个分割的文字区域中选出面积最大的文字区域；删除剩余的文字区域；将筛选的两个面积最大的文字区域进行拼接，得到最终分割的文字区域；使用STN空间变换网络对最终分割的文字区域进行偏移度校正；利用中英文混合识别CRNN模型对校正后的文字区域进行字符识别，得到中文识别结果和英文识别结果。第二方面，本公开还提供了中英文混合商户门店名称识别系统；中英文混合商户门店名称识别系统，包括：第一分割模块：利用中文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出M个分割的文字区域；M为正整数；第二分割模块：利用英文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出N个分割的文字区域；N为正整数；筛选模块：从M个分割的文字区域中选出面积最大的文字区域；同样的，从N个分割的文字区域中选出面积最大的文字区域；删除剩余的文字区域；拼接模块：将筛选的两个面积最大的文字区域进行拼接，得到最终分割的文字区域；校正模块：使用STN空间变换网络对最终分割的文字区域进行偏移度校正；识别模块：利用中英文混合识别CRNN模型对校正后的文字区域进行字符识别，得到中文识别结果和英文识别结果。第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面中的方法。第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面中方法的步骤。与现有技术相比，本公开的有益效果是：1、本公开使用STN空间变换网络对最终分割的文字区域进行偏移度校正，可以实现待识别文字区域的倾斜角度校正，有效提高识别的准确度；2、从M个分割的文字区域中选出面积最大的文字区域；同样的，从N个分割的文字区域中选出面积最大的文字区域；删除剩余的文字区域；可以有效剔除除了本商户门店的中文和英文标识符以外的其他商户门店的小字符宣传广告语，或者本商户门店的小字符广告语。3、本公开利用中英文混合识别CRNN模型对校正后的文字区域进行字符识别，得到中文识别结果和英文识别结果，可以实现含有中英文混合商户门店名称的精确识别。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为本公开实施例一的方法流程图。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。英文全称和中文解释：STN，SpatialTransformerNetworks，空间变换网络，它显式地允许在网络中对数据进行空间变换操作。CRNN，ConvolutionalRecurrentNeuralNetwork，循环卷积神经网络，是一种端到端的文字识别神经网络，可以直接从序列标签学习，不用给每个字符打标签，只需要给一个图片打一个序列标签，例如：图片中是“abc123”，标签即是“abc123”，不用给每个字符单独打标签。实施例一：本实施例提供了中英文混合商户门店名称识别方法；如图1所示，中英文混合商户门店名称识别方法，包括：利用中文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出M个分割的文字区域；M为正整数；利用英文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出N个分割的文字区域；N为正整数；从M个分割的文字区域中选出面积最大的文字区域；同样的，从N个分割的文字区域中选出面积最大的文字区域；删除剩余的文字区域；将筛选的两个面积最大的文字区域进行拼接，得到最终分割的文字区域；使用STN空间变换网络对最终分割的文字区域进行偏移度校正；利用中英文混合识别CRNN模型对校正后的文字区域进行字符识别，得到中文识别结果和英文识别结果。上述技术方案的有益效果是，用中文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出M个分割的文字区域；所述M个分割的文字区域是更偏向于中文的文字区域，也可能包含英文的文字区域。上述技术方案的有益效果是，利用英文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出N个分割的文字区域；所述分割出N个分割的文字区域是更偏向于英文的文字区域，也可能包含中文的文字区域。上述技术方案的有益效果是，从M个分割的本文档来自技高网...

【技术保护点】
1.中英文混合商户门店名称识别方法，其特征是，包括：利用中文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出M个分割的文字区域；M为正整数；利用英文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出N个分割的文字区域；N为正整数；从M个分割的文字区域中选出面积最大的文字区域；同样的，从N个分割的文字区域中选出面积最大的文字区域；删除剩余的文字区域；将筛选的两个面积最大的文字区域进行拼接，得到最终分割的文字区域；使用STN空间变换网络对最终分割的文字区域进行偏移度校正；利用中英文混合识别CRNN模型对校正后的文字区域进行字符识别，得到中文识别结果和英文识别结果。

【技术特征摘要】
1.中英文混合商户门店名称识别方法，其特征是，包括：利用中文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出M个分割的文字区域；M为正整数；利用英文商户门店名称分割PixelLink模型对待识别的中英文混合商户门店名称图片的文字区域进行分割，分割出N个分割的文字区域；N为正整数；从M个分割的文字区域中选出面积最大的文字区域；同样的，从N个分割的文字区域中选出面积最大的文字区域；删除剩余的文字区域；将筛选的两个面积最大的文字区域进行拼接，得到最终分割的文字区域；使用STN空间变换网络对最终分割的文字区域进行偏移度校正；利用中英文混合识别CRNN模型对校正后的文字区域进行字符识别，得到中文识别结果和英文识别结果。2.如权利要求1所述的方法，其特征是，中英文混合商户门店名称识别方法，还包括：对英文识别结果进行英文字母数量统计，如果英文字母数量小于等于设定阈值，则将中文识别结果和英文识别结果输出；如果英文字母数量超过设定阈值；则利用英文识别CRNN模型对校正后的文字区域再次进行字符识别，得到最终的英文识别结果；最后，将中文识别结果和最终的英文识别结果输出。3.如权利要求1所述的方法，其特征是，中文商户门店名称分割PixelLink模型的获取步骤，包括：构建PixelLink模型；中文文字区域分割步骤：利用中文商户门店名称图片输入到PixelLink模型中，得到中文文字区域分割结果；更换中文商户门店名称图片，重复中文文字区域分割步骤，直至中文文字区域分割精确度超过设定阈值，所得到的PixelLink模型即为中文商户门店名称分割PixelLink模型；或者，英文商户门店名称分割PixelLink模型的获取步骤，包括：构建PixelLink模型；英文文字区域分割步骤：利用英文商户门店名称图片输入到PixelLink模型中，得到英文文字区域分割结果；更换英文商户门店名称图片，重复英文文字区域分割步骤，直至英文文字区域分割精确度超过设定阈值，所得到的PixelLink模型即为英文商户门店名称分割PixelLink模型。4.如权利要求1所述的方法，其特征是，中英文混合识别CRNN模型的获取步骤，包括：构建CRNN模型；从中文自然文本数据集CTW中随机抽取若干张单字图片和若干张词组图片；先将单字图片输入到CRNN模型中进行若干轮训练，待CRNN模型的损失函数值loss处于设定范围内，再输入词组图片进行若干轮训练，待CRNN模型的损失函数值loss再次处于设定范围内，就得到中文识别CRNN模型；从ICDAR2015的数据集中随机抽取若干张单字母图片和若干张单词图片；先将单字母图片输入到中文识别CRNN模型中进行若干轮训练，待中文识别CRNN模型的损失函数值loss处于设定范围内，再输入若干张单词图片进行若干轮训练，待中文识别CRNN模型的损失函数值loss再次处于设定范围内，就得...

【专利技术属性】
技术研发人员：刘卫国，张浩，殷泽坤，张雯，宋红磊，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37