基于关系网络的字符识别方法、装置、设备及介质制造方法及图纸

本发明专利技术公开一种基于关系网络的字符识别方法、装置、设备及介质，方法包括：获取手写字符的图像并进行预处理，得到预处理的图像数据集；将预处理的图像数据集作为预先训练的关系网络的输入，获取关系网络的输出；根据关系网络的输出，利用语言模型进行识别后处理，将满足概率要求的字符识别结果作为目标字符输出，将不满足概率要求的字符识别结果返回关系网络重新识别；关系网络的训练包括：通过嵌入函数分别提取支持集和查询集的特征图；对查询集的每一样本特征图分别进行特征图拼接及相关性得分计算，得到各样本对应的字符识别结果；将各样本的字符识别结果组成一个句子作为关系网络的输出。系网络的输出。系网络的输出。

【技术实现步骤摘要】
基于关系网络的字符识别方法、装置、设备及介质


[0001]本专利技术涉及计算机领域的字符图像识别技术，具体涉及一种基于关系网络的字符识别方法、装置、设备及介质。

技术介绍

[0002]目前字符识别技术(OCR, Optical Character Recognition)在许多领域都有应用，可以在很多场合替代键盘高速高效的完成字符录入任务。
[0003]手写字符受每个人的用笔方式，书写习惯，文化背景等因素的影响，书写的字符差异较大，较难识别。
[0004]相关技术中，通常采用深度学习神经网络基于大量的标注数据学习图像与文本之间的映射关系，从而实现对图像中的字符的识别，然而大量的标签内容和数据的迭代，严重限制了对于新类别的可扩展性。并且在一些特殊领域中，需要对文书进行手写批示，而上述模型对手写批示中批示字符的识别准确率不足，难以适应该场景下的字符识别。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提供一种基于关系网络的字符识别方法、装置、设备及介质，用以解决上述至少一个技术问题。
[0006]根据本专利技术说明书的一方面，提供一种基于关系网络的字符识别方法，包括：获取手写字符的图像并进行预处理，得到预处理的图像数据集；将所述预处理的图像数据集作为预先训练的关系网络的输入，获取所述关系网络的输出；根据所述关系网络的输出，利用语言模型进行识别后处理，将满足概率要求的字符识别结果作为目标字符输出，将不满足概率要求的字符识别结果返回关系网络重新进行识别；其中，所述关系网络的训练包括：通过嵌入函数分别提取支持集和查询集的特征图，所述查询集为预处理的图像数据集，所述支持集为标准图像数据集；对查询集的每一样本特征图分别进行特征图拼接及相关性得分计算，得到各样本对应的字符识别结果；将各样本的字符识别结果组成一个句子作为关系网络的输出。
[0007]上述技术方案利用关系网络在小样本任务中的简单、灵活和通用的框架，对手写文本或办公文件的手写批注进行识别，相对于深度学习方法可以减少大量学习标签和数据迭代，便于对新类别的扩展；此外，对关系网络的识别结果，还基于语言模型进行识别后处理，进一步提高手写文本的字符识别精度。
[0008]上述技术方案针对单个字符识别技术，利用基于关系网络的嵌入映射和相关性计算进行字符识别，将字符识别结果和神经网络语言模型GPT
‑
3相互配合，计算字符出现在一
个有一定语义的句子中的某个位置的概率，将符合概率要求的字符识别结果作为目标字符输出，保证了输出结果的精度。
[0009]作为进一步的技术方案，对查询集的每一样本特征图分别进行特征图拼接及相关性得分计算，还包括：将查询集中一个样本特征图与支持集中所有样本特征图进行拼接，得到拼接的特征图，并对所述拼接的特征图进行相关性得分计算，输出得分最高的字符作为当前样本对应的字符识别结果。
[0010]进一步地，所述查询集中有多个预处理的图像数据，将这些图像数据逐个送入关系网络进行识别，每个预处理的图像数据可视为一个图像样本，即待识别样本。对于单个待识别样本而言，将待识别样本提取出一个特征图，同时将支持集中所有样本分别提取出特征图，再将待识别样本的特征图与支持集中所有样本的特征图一一对应级联，得到拼接的特征图；接着，对所述拼接的特征图逐一进行相关性得分计算，即分别计算待识别样本与支持集中所有样本的相关性得分，并输出得分最高的样本作为待识别样本的字符识别结果。
[0011]作为进一步的技术方案，所述预处理包括：依次对图像进行灰度化、降噪、二值化、字符切分及归一化处理。
[0012]作为进一步的技术方案，在预处理后，还包括：将预处理后的字符图像进行水平模糊，形成连通区域；基于所述连通区域进行垂直投影，得到投影曲线；基于所述投影曲线计算倾斜字符的角度，对倾斜字符的像素坐标进行空间旋转变换，完成倾斜字体的矫正。
[0013]优选地，对完成矫正后的字符图像，采用双线性插值法进行校正，并对校正后的字符图像进行平滑处理。
[0014]作为进一步的技术方案，所述关系网络包括嵌入模块和相关性模块；所述嵌入模块包括四个卷积块，用于对输入的支持集和查询集的图像分别提取支持集和查询集的特征图；所述相关性模块包括两个卷积块和两个全连接层，两个卷积块用于将所述查询集的特征图和支持集中各个图像样本所对应的特征图两两串联起来，两个全连接层用于将卷积输出的二维特征图转化为一维的向量，然后基于所述一维向量利用Sigmoid函数计算相关性得分。
[0015]上述技术方案充分利用了关系网络在小样本任务中的简单、灵活和通用的框架，其是一个端到端的网络，一旦训练完成后，就可以在不进行任何更新的情况下对一个来自新的类的样本进行分类，解决了现有基于深度学习神经网络的字符识别方式严重限制新类别扩展的问题。
[0016]作为进一步的技术方案，将所述关系网络输出的识别语句输入GPT
‑
3语言模型来预测一个句子在语言中出现的概率，在预测的概率低于设定的阈值时，返回所述关系网络重新进行识别，否则输出目标字符。
[0017]进一步地，所述设定的阈值可根据容许误差来确定。所述容许误差依赖于对识别精度的需求。
[0018]根据本专利技术说明书的一方面，提供一种基于关系网络的字符识别装置，包括：获取模块，用于获取手写字符的图像并进行预处理，得到预处理的图像数据集；关系网络识别模块，用于将所述预处理的图像数据集作为预先训练的关系网络的输入，获取所述关系网络的输出；
语言模型识别后处理模块，用于根据所述关系网络的输出，利用语言模型进行识别后处理，将满足概率要求的字符识别结果作为目标字符输出，将不满足概率要求的字符识别结果返回关系网络重新进行识别；其中，所述关系网络的训练包括：通过嵌入函数分别提取支持集和查询集的特征图，所述查询集为预处理的图像数据集，所述支持集为标准图像数据集；对查询集的每一样本特征图分别进行特征图拼接及相关性得分计算，得到各样本对应的字符识别结果；将各样本的字符识别结果组成一个句子作为关系网络的输出。
[0019]上述技术方案在经由获取模块得到预处理的图像数据集后，依次经关系网络识别模块进行识别处理、语言模型识别后处理模块进行识别后处理，且对于识别后处理中不符合概率要求的字符返回关系网络识别模块进行重新识别，保证了字符识别精度；同时，该技术方案可以在不进行任何更新的情况下对一个来自新的类的样本进行分类，不受数据迭代计算的限制，实现了对新的类别的可扩展性。
[0020]根据本专利技术说明书的一方面，提供一种电子设备，所述电子设备包括处理器、存储器，以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现所述的基于关系网络的字符识别方法的步骤。
[0021]根据本专利技术说明书的一方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现所述的基于关系网络的字符识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于关系网络的字符识别方法，其特征在于，包括：获取手写字符的图像并进行预处理，得到预处理的图像数据集；将所述预处理的图像数据集作为预先训练的关系网络的输入，获取所述关系网络的输出；根据所述关系网络的输出，利用语言模型进行识别后处理，将满足概率要求的字符识别结果作为目标字符输出，将不满足概率要求的字符识别结果返回关系网络重新进行识别；其中，所述关系网络的训练包括：通过嵌入函数分别提取支持集和查询集的特征图，所述查询集为预处理的图像数据集，所述支持集为标准图像数据集；对查询集的每一样本特征图分别进行特征图拼接及相关性得分计算，得到各样本对应的字符识别结果；将各样本的字符识别结果组成一个句子作为关系网络的输出。2.根据权利要求1所述基于关系网络的字符识别方法，其特征在于，对查询集的每一样本特征图分别进行特征图拼接及相关性得分计算，还包括：将查询集中一个样本特征图与支持集中所有样本特征图进行拼接，得到拼接的特征图，并对所述拼接的特征图进行相关性得分计算，输出得分最高的字符作为当前样本对应的字符识别结果。3.根据权利要求1所述基于关系网络的字符识别方法，其特征在于，所述预处理包括：依次对图像进行灰度化、降噪、二值化、字符切分及归一化处理。4.根据权利要求3所述基于关系网络的字符识别方法，其特征在于，在预处理后，还包括：将预处理后的字符图像进行水平模糊，形成连通区域；基于所述连通区域进行垂直投影，得到投影曲线；基于所述投影曲线计算倾斜字符的角度，对倾斜字符的像素坐标进行空间旋转变换，完成倾斜字体的矫正。5.根据权利要求1所述基于关系网络的字符识别方法，其特征在于，所述关系网络包括嵌入模块和相关性模块；所述嵌入模块包括四个卷积块，用于对输入的支持集和查询集的图像分别提取支持集和查询集的特征图；所述相关性模块包括两个卷积块和两个全连接层，两个卷...

【专利技术属性】
技术研发人员：肖剑波，俞翔，谢海燕，张乔斌，楼京俊，黎恒智，张振海，胡世峰，
申请(专利权)人：中国人民解放军海军工程大学，
类型：发明
国别省市：