【技术实现步骤摘要】
本申请涉及数字化档案图文信息检测，尤其涉及一种数字化档案中检测图文一致性的方法、装置、设备及介质。
技术介绍
1、数字化档案是将传统纸质档案或其他形式的实物档案通过数字技术手段进行扫描、转换、存储和管理，将其转化为数字形式的档案资源。图章通常是文档中的印章、图标或标志，常用于标识文件的来源、授权或其他关键信息。文字是档案数据中最常见的信息形式，它包含了文档的内容、描述、说明等。其中，图章和文字作为档案数据中代表的关键要素信息。
2、目前，对于现有的图章识别技术，首先是通过目标检测，在档案图像中定位图章的位置和边界框，以便准确地提取图章信息；其次进行图像分割，某些档案图像可能与其他内容重叠，图像分割技术用于将图章从其他内容中分离出来，确保准确的识别和分类；最终将提取的图章特征与针对档案数据训练的图章分类模型相匹配，实现档案中图章的准确识别和分类。
3、对于现有的文本识别技术，首先在档案图像中检测并确定文本的位置和边界框，确保准确地提取档案中的文本信息，其次应用光学字符识别（optical characterrecognition，ocr）技术，将档案图像中检测到的文本内容转换为可编辑的文本形式，最后对提取的文本进行自然语言处理，如分词、词性标注、命名实体识别等技术，以获得文本语义信息。
4、在纸质档案转化为数字化档案进行存储和使用的过程中，可能会由于物理设备故障（例如传感器或网络故障）或人为错误（例如档案员错误录入）导致数据缺失或数据存储错误，无法保证档案数据中的图文关键要素的一致性，这使得档案
5、因此，如何确保纸质档案转化为数字化档案过程中的数据质量，提高档案管理的准确性和可信性，成为需要解决的问题。
6、在
技术介绍
中公开的上述信息仅用于加强对本申请的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。
技术实现思路
1、本申请提供一种数字化档案中检测图文一致性的方法、装置、设备及介质，用以解决现有技术存在的问题。
2、第一方面，本申请提供一种数字化档案中检测图文一致性的方法，包括以下步骤：
3、s1、获取纸质档案图像，统一所述纸质档案图像的尺寸，采用图像随机裁剪的方式对所述纸质档案图像进行数据增强，得到第一档案图像；
4、s2、提取所述第一档案图像的文本特征和图像特征；
5、s3、根据所述文本特征预测文本信息，根据所述图像特征预测公章图标信息；
6、s4、分别提取所述文本信息、公章图标信息的特征，得到所述文本信息的第一特征和所述公章图标信息的第二特征；
7、s5、根据所述第一特征和所述第二特征，判断所述文本信息和所述公章图标信息是否一致，得到判断结果。
8、在一些实施例中，提取所述第一档案图像的文本特征，包括以下步骤：
9、a1、获取所述第一档案图像的图像数据；
10、a2、对所述图像数据进行切块处理，得到图像处理数据；
11、a3、从图像处理数据中提取图像的文本特征。
12、在一些实施例中，提取所述第一档案图像的图像特征，包括以下步骤：
13、b1、获取所述第一档案图像的图像数据；
14、b2、将所述图像数据输入至以resnet50为主干网络的视觉分支，提取所述图像数据中的图像特征。
15、在一些实施例中，在所述s3之前，还包括：
16、c1、利用通道注意力机制和空间注意力机制增强所述图像特征的全局关联性，得到增强后的图像特征。
17、在一些实施例中，所述c1，包括以下步骤：
18、c11、将所述图像特征沿通道轴进行平均池化处理，得到通道的压缩特征；
19、c12、利用余弦相似度度量任意一对通道之间的相似度，得到各通道间的相似度矩阵；
20、c13、将所述通道的压缩特征与相似度矩阵相乘，得到通道注意力向量；
21、c14、沿所述图像特征的通道轴将所述图像特征与所述通道注意力向量相乘，得到各通道间关注的图像特征；
22、c15、对所述各通道间关注的图像特征进行空间分割处理，得到特征向量；
23、c16、利用余弦相似度度量图像各空间位置之间的相似度，得到各空间位置之间的相似度矩阵;
24、c17、将所述特征向量与所述各空间位置之间的相似度矩阵相乘，得到空间注意力向量；
25、c18、将所述各通道间关注的图像特征与所述空间注意力向量相乘，得到各空间位置关注的图像特征。
26、在一些实施例中，所述s5，包括以下步骤：
27、s51、根据所述第一特征和所述第二特征，通过图像区域和文本单词的局部对齐、全局到局部的对齐和全局到全局跨模态对齐进行相似度匹配计算，得到计算结果；
28、s52、根据所述计算结果判断所述文本信息和所述公章图标信息是否一致，得到判断结果。
29、第二方面，本申请提供一种数字化档案图文信息一致性检测装置，包括：
30、获取模块，用于获取纸质档案图像，统一所述纸质档案图像的尺寸，采用图像随机裁剪的方式对所述纸质档案图像进行数据增强，得到第一档案图像；
31、第一提取模块，用于提取所述第一档案图像的文本特征和图像特征；
32、预测模块，用于根据所述文本特征预测文本信息，根据所述图像特征预测公章图标信息；
33、第二提取模块，用于分别提取所述文本信息、公章图标信息的特征，得到所述文本信息的第一特征和所述公章图标信息的第二特征；
34、判断模块，用于根据所述第一特征和所述第二特征，判断所述文本信息和所述公章图标信息是否一致，得到判断结果。
35、在一些实施例中，还包括：
36、特征增强模块，用于利用通道注意力机制和空间注意力机制增强所述图像特征的全局关联性，得到增强后的图像特征。
37、第三方面，本申请提供一种终端设备，包括：
38、存储器，用于存储计算机程序；
39、处理器，用于读取所述存储器中的计算机程序并执行所述的方法对应的操作。
40、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现所述的方法。
41、本申请提供的数字化档案中检测图文一致性的方法、装置、设备及介质，所述方法包括以下步骤：s1、获取纸质档案图像，统一所述纸质档案图像的尺寸，采用图像随机裁剪的方式对所述纸质档案图像进行数据增强，得到第一档案图像；s2、提取所述第一档案图像的文本特征和图像特征；s3、根据所述文本特征预测文本信息，根据所述图像特征预测公章图标信息；s4、分别提取所述文本信息、公章图标信息的特征，得到所述文本信息的第一特征和所述公章图标信息的第二特征；本文档来自技高网...
【技术保护点】
1.一种数字化档案中检测图文一致性的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，提取所述第一档案图像的文本特征，包括以下步骤：
3.根据权利要求1所述的方法，其特征在于，提取所述第一档案图像的图像特征，包括以下步骤：
4.根据权利要求1或3所述的方法，其特征在于，在所述S3之前，还包括：
5.根据权利要求4所述的方法，其特征在于，所述C1，包括以下步骤：
6.根据权利要求1所述的方法，其特征在于，所述S5，包括以下步骤：
7.一种数字化档案图文信息一致性检测装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，还包括：
9.一种终端设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的方法。
【技术特征摘要】
1.一种数字化档案中检测图文一致性的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，提取所述第一档案图像的文本特征，包括以下步骤：
3.根据权利要求1所述的方法，其特征在于，提取所述第一档案图像的图像特征，包括以下步骤：
4.根据权利要求1或3所述的方法，其特征在于，在所述s3之前，还包括：
5.根据权利要求4所述的方法，其特征在于，所述c1，包括以下步骤：
【专利技术属性】
技术研发人员：杨玉林，陈小明，段茂林，桂长久，彭鹏，
申请(专利权)人：湖南汉马科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。