一种古籍识别方法、装置、存储介质及设备制造方法及图纸

本申请公开了一种古籍识别方法、装置、存储介质及设备，该方法包括：首先获取待识别的目标古籍图像；并利用骨干网络对其进行分类特征提取，得到骨干分类特征，然后对骨干分类特征进行检测，确定目标古籍图像包含的单字位置和文本行位置；接着，对单字位置进行识别，得到单字的内容信息；以及对文本行位置进行预测，得到文本行位置中的文字的阅读顺序，进而可以根据单字位置与文本行位置的比例关系，将单字的内容信息按照文本行位置中的文字的阅读顺序进行排列，得到目标古籍图像中文字的识别结果。可见，由于本申请是通过将古籍图像中单字的位置和内容，与文本行的位置和文字阅读方向进行聚合，从而提高了识别准确率和识别效率。从而提高了识别准确率和识别效率。从而提高了识别准确率和识别效率。

【技术实现步骤摘要】
一种古籍识别方法、装置、存储介质及设备


[0001]本申请涉及图像处理
，尤其涉及一种古籍识别方法、装置、存储介质及设备。

技术介绍

[0002]众所周知，我国古代的古籍浩如烟海，而古籍又有着特殊的历史背景，属于不可再生性的文化资源，除了具备重要的史料研究价值之外，其本身也是弥足珍贵的稀有文物和艺术品。为了能够在保护古籍文献的同时又可以实现对其的充分利用和学习，古籍数字化便适时地应运而生。
[0003]目前在进行古籍数字化时，首先是将古籍扫描成电子图像，然后采用单字检测识别技术对该图像进行识别，得到古籍的识别结果。但是由于古籍版式复杂，除了不同于如今书籍的先从左到左、再从上到下的常规排版方式外，在每行字中间还常常夹有批注，这就使得现有的图像识别方法对古籍图像的识别效果不佳。并且，由于目前采用的单字检测识别技术在检测时，又并未考虑各个单字之间的位置关系，也导致最终的识别结果不够准确，即，无法得到准确性更高的古籍识别结果。

技术实现思路

[0004]本申请实施例的主要目的在于提供一种古籍识别方法、装置、存储介质及设备，能够通过将古籍图像中单字的位置和内容，与文本行的位置和文字阅读方向进行聚合，提高识别效果，进而得到准确性更高的古籍识别结果。
[0005]本申请实施例提供了一种古籍识别方法，包括：
[0006]获取待识别的目标古籍图像；并利用骨干网络对所述目标古籍图像进行分类特征提取，得到骨干分类特征；
[0007]对所述骨干分类特征进行检测，确定所述目标古籍图像包含的单字位置和文本行位置；
[0008]对所述单字位置进行识别，得到单字的内容信息；以及对所述文本行位置进行预测，得到所述文本行位置中的文字的阅读顺序；
[0009]根据所述单字位置与所述文本行位置的比例关系，将所述单字的内容信息按照所述文本行位置中的文字的阅读顺序进行排列，得到所述目标古籍图像中文字的识别结果。
[0010]一种可能的实现方式中，所述对所述骨干分类特征进行检测，确定所述目标古籍图像包含的单字位置，包括：
[0011]将所述骨干分类特征输入卷积层，得到单字概率特征图和背景阈值特征图；
[0012]根据所述单字概率特征图和背景阈值特征图，确定所述目标估计图像中每一像素点属于单字的概率和属于背景的概率；
[0013]根据所述每一像素点属于单字的概率和属于背景的概率，通过取连通域的方式，确定每个单字的最小外接矩形，作为每个单字对应的单字位置。
[0014]一种可能的实现方式中，所述对所述单字位置进行识别，得到单字的内容信息，包括：
[0015]从所述目标古籍图像中，裁剪出所述单字位置对应的单字图像区域；
[0016]利用神经网络分类器，对所述单字图像区域中的单字进行识别，得到单字对应的内容信息。
[0017]一种可能的实现方式中，所述对所述文本行位置进行预测，得到所述文本行位置中的文字的阅读顺序，包括：
[0018]对所述文本行位置进行预测，得到对应的文字区域掩膜图像；
[0019]根据所述文字区域掩膜图像，预测出所述文本行位置中文本区域内的文字的阅读顺序。
[0020]一种可能的实现方式中，所述对所述文本行位置进行预测，得到所述文本行位置中的文字的阅读顺序，包括：
[0021]将所述文本行位置切分成预设尺寸的正方形，并依次连接各个所述正方形的中点，得到所述文本行位置中文本区域内的文字的阅读顺序。
[0022]一种可能的实现方式中，所述根据所述单字位置与所述文本行位置的比例关系，将所述单字的内容信息按照所述文本行位置中的文字的阅读顺序进行排列，得到所述目标古籍图像中文字的识别结果，包括：
[0023]计算所述单字位置与所述文本行位置的交集面积；并计算所述交集面积与所述单字位置之间的比值；
[0024]当所述比值满足预设条件时，将所述单字位置中单字的内容信息按照所述文本行位置中的文字的阅读顺序进行排列，得到所述目标古籍图像中文字的识别结果。
[0025]一种可能的实现方式中，所述方法还包括：
[0026]接收对所述单字的内容信息的修正操作，得到单字对应的修正后的内容信息。
[0027]本申请实施例还提供了一种古籍识别装置，所述装置包括：
[0028]获取单元，用于获取待识别的目标古籍图像；并利用骨干网络对所述目标古籍图像进行分类特征提取，得到骨干分类特征；
[0029]检测单元，用于对所述骨干分类特征进行检测，确定所述目标古籍图像包含的单字位置和文本行位置；
[0030]识别单元，用于对所述单字位置进行识别，得到单字的内容信息；以及对所述文本行位置进行预测，得到所述文本行位置中的文字的阅读顺序；
[0031]排列单元，用于根据所述单字位置与所述文本行位置的比例关系，将所述单字的内容信息按照所述文本行位置中的文字的阅读顺序进行排列，得到所述目标古籍图像中文字的识别结果。
[0032]一种可能的实现方式中，所述检测单元包括：
[0033]输入子单元，用于将所述骨干分类特征输入卷积层，得到单字概率特征图和背景阈值特征图；
[0034]第一确定子单元，用于根据所述单字概率特征图和背景阈值特征图，确定所述目标估计图像中每一像素点属于单字的概率和属于背景的概率；
[0035]第一确定子单元，用于根据所述每一像素点属于单字的概率和属于背景的概率，
通过取连通域的方式，确定每个单字的最小外接矩形，作为每个单字对应的单字位置。
[0036]一种可能的实现方式中，所述识别单元包括：
[0037]裁剪子单元，用于从所述目标古籍图像中，裁剪出所述单字位置对应的单字图像区域；
[0038]识别子单元，用于利用神经网络分类器，对所述单字图像区域中的单字进行识别，得到单字对应的内容信息。
[0039]一种可能的实现方式中，所述识别单元包括：
[0040]第一预测子单元，用于对所述文本行位置进行预测，得到对应的文字区域掩膜图像；
[0041]第二预测子单元，用于根据所述文字区域掩膜图像，预测出所述文本行位置中文本区域内的文字的阅读顺序。
[0042]一种可能的实现方式中，所述识别单元具体用于：
[0043]将所述文本行位置切分成预设尺寸的正方形，并依次连接各个所述正方形的中点，得到所述文本行位置中文本区域内的文字的阅读顺序。
[0044]一种可能的实现方式中，所述排列单元包括：
[0045]计算子单元，用于计算所述单字位置与所述文本行位置的交集面积；并计算所述交集面积与所述单字位置之间的比值；
[0046]排列子单元，用于当所述比值满足预设条件时，将所述单字位置中单字的内容信息按照所述文本行位置中的文字的阅读顺序进行排列，得到所述目标古籍图像中文字的识别结果。
[0047]一种可能的实现方式中，所述装置还包括：
[0048]接收单元，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种古籍识别方法，其特征在于，所述方法包括：获取待识别的目标古籍图像；并利用骨干网络对所述目标古籍图像进行分类特征提取，得到骨干分类特征；对所述骨干分类特征进行检测，确定所述目标古籍图像包含的单字位置和文本行位置；对所述单字位置进行识别，得到单字的内容信息；以及对所述文本行位置进行预测，得到所述文本行位置中的文字的阅读顺序；根据所述单字位置与所述文本行位置的比例关系，将所述单字的内容信息按照所述文本行位置中的文字的阅读顺序进行排列，得到所述目标古籍图像中文字的识别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述骨干分类特征进行检测，确定所述目标古籍图像包含的单字位置，包括：将所述骨干分类特征输入卷积层，得到单字概率特征图和背景阈值特征图；根据所述单字概率特征图和背景阈值特征图，确定所述目标估计图像中每一像素点属于单字的概率和属于背景的概率；根据所述每一像素点属于单字的概率和属于背景的概率，通过取连通域的方式，确定每个单字的最小外接矩形，作为每个单字对应的单字位置。3.根据权利要求1所述的方法，其特征在于，所述对所述单字位置进行识别，得到单字的内容信息，包括：从所述目标古籍图像中，裁剪出所述单字位置对应的单字图像区域；利用神经网络分类器，对所述单字图像区域中的单字进行识别，得到单字对应的内容信息。4.根据权利要求1所述的方法，其特征在于，所述对所述文本行位置进行预测，得到所述文本行位置中的文字的阅读顺序，包括：对所述文本行位置进行预测，得到对应的文字区域掩膜图像；根据所述文字区域掩膜图像，预测出所述文本行位置中文本区域内的文字的阅读顺序。5.根据权利要求1所述的方法，其特征在于，所述对所述文本行位置进行预测，得到所述文本行位置中的文字的阅读顺序，包括：将所述文本行位置切分成预设尺寸的正方形，并依次连接各个所述正方形的中点，得到所述文本行位置中文本区域内的文字的阅读顺序。6...

【专利技术属性】
技术研发人员：张宇轩，林丽，黄灿，王长虎，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：