【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种表格重建方法、装置、电子设备及存储介质。
技术介绍
1、表格识别技术是指利用计算机系统自动将图像中包含的表格区域解析为结构化表格并存储。表格识别技术能够快速、有效地帮助人们识别和理解图像中的表格内容、可以将图像中的表格快速地解析为计算机可读的格式，以促进表格内容电子化存储和后续内容分析。
2、现有技术中的表格识别技术架构是先将表格图像的结构识别分支和内容识别分支分开来进行，再通过合并处理来实现表格内容的结构化解析。
3、然而，由于结构识别分支和内容识别分支存在模态信息上的差异，因此，内容识别分支缺少结构之间的相互依赖关系，识别性能较差。
技术实现思路
1、本专利技术提供一种表格重建方法、装置、电子设备及存储介质，用以解决现有技术中表格识别技术的内容识别分支缺少结构之间的相互依赖关系，识别性能较差的问题。
2、本专利技术提供一种表格重建方法，包括：获取表格图像；提取所述表格图像的图像特征，并根据所述图像特征确定所述表格图像的单元格类别、单元格坐标以及单元格像素掩码；根据所述单元格坐标和所述单元格像素掩码进行网格线重建得到第一表格，根据所述单元格类别对所述第一表格进行单元格合并得到第二表格；其中，所述单元格类别包括空白单元格、基础单元格以及合并单元格。
3、根据本专利技术提供一种的表格重建方法，所述根据所述图像特征确定所述表格图像的单元格类别、单元格坐标以及单元格像素掩码，包括：确定第一候选框和第一候选
4、根据本专利技术提供一种的表格重建方法，所述根据所述图像特征、所述第一候选框和所述第一候选特征确定目标对象特征，包括：对所述第一候选特征进行多头自注意力变换，得到第二候选特征；对所述第一候选框和所述图像特征进行框区域兴趣对齐，得到第一框特征；对所述第二候选特征和所述第一框特征进行动态卷积模组增强，得到第二框特征，并基于所述第二框特征确定第二候选框，以及将所述第一候选框更新为所述第二候选框；对所述第二框特征和所述图像特征进行掩码区域兴趣对齐，得到第一像素掩码；对所述第二候选特征和所述第一像素掩码进行动态卷积模组增强，得到所述目标对象特征。
5、根据本专利技术提供一种的表格重建方法，所述获取表格图像，包括：按照预设尺寸将待处理图像进行尺寸变换处理；识别所述待处理图像中的表格位置，并根据所述表格位置从所述待处理图像中分割所述表格图像。
6、根据本专利技术提供一种的表格重建方法，所述提取所述表格图像的图像特征，包括：通过卷积神经网络确定所述表格图像的特征表达，通过特征金字塔网络确定所述特征表达的多尺度特征表示，得到所述图像特征。
7、根据本专利技术提供一种的表格重建方法，所述获取表格图像之前，所述方法还包括：获取训练数据，所述训练数据包括训练图像和图像标签，所述图像标签包括类别标签、坐标标签和像素标签；将所述训练图像输入表格识别模型，得到第一单元格类别、第一单元格坐标以及第一单元格像素掩码；根据所述第一单元格类别和所述类别标签确定第一损失，根据所述第一单元格坐标和所述坐标标签确定第二损失，根据所述第一单元格像素掩码和所述像素标签确定第三损失；基于预定义权重系数对所述第一损失、所述第二损失和所述第三损失进行加权求和，得到目标损失；按照所述目标损失更新所述表格识别模型的模型参数。
8、根据本专利技术提供一种的表格重建方法，所述提取所述表格图像的图像特征，并根据所述图像特征确定所述表格图像的单元格类别、单元格坐标以及单元格像素掩码，包括：通过所述表格识别模型提取所述表格图像的图像特征，并根据所述图像特征预测所述表格图像的单元格类别、单元格坐标以及单元格像素掩码。
9、本专利技术还提供一种表格重建装置，包括：获取模块和处理模块；所述获取模块，用于获取表格图像；所述处理模块，用于提取所述表格图像的图像特征，并根据所述图像特征确定所述表格图像的单元格类别、单元格坐标以及单元格像素掩码；根据所述单元格坐标和所述单元格像素掩码进行网格线重建得到第一表格，根据所述单元格类别对所述第一表格进行单元格合并得到第二表格；其中，所述单元格类别包括空白单元格、基础单元格以及合并单元格。
10、根据本专利技术提供一种的表格重建装置，所述处理模块用于：确定第一候选框和第一候选特征；根据所述图像特征、所述第一候选框和所述第一候选特征预测目标对象特征；通过解码所述目标对象特征得到所述单元格类别、所述单元格坐标以及所述单元格像素掩码。
11、根据本专利技术提供一种的表格重建装置，所述处理模块用于：对所述第一候选特征进行多头自注意力变换，得到第二候选特征；对所述第一候选框和所述图像特征进行框区域兴趣对齐，得到第一框特征；对所述第二候选特征和所述第一框特征进行动态卷积模组增强，得到第二框特征，并基于所述第二框特征确定第二候选框，以及将所述第一候选框更新为所述第二候选框；对所述第二框特征和所述图像特征进行掩码区域兴趣对齐，得到第一像素掩码；对所述第二候选特征和所述第一像素掩码进行动态卷积模组增强，得到所述目标对象特征。
12、根据本专利技术提供一种的表格重建装置，所述获取模块用于：按照预设尺寸将待处理图像进行尺寸变换处理；识别所述待处理图像中的表格位置，并根据所述表格位置从所述待处理图像中分割所述表格图像。
13、根据本专利技术提供一种的表格重建装置，所述处理模块用于：通过卷积神经网络确定所述表格图像的特征表达，通过特征金字塔网络确定所述特征表达的多尺度特征表示，得到所述图像特征。
14、根据本专利技术提供一种的表格重建装置，所述获取模块用于：获取训练数据，所述训练数据包括训练图像和图像标签，所述图像标签包括类别标签、坐标标签和像素标签；所述处理模块用于：将所述训练图像输入表格识别模型，得到第一单元格类别、第一单元格坐标以及第一单元格像素掩码；根据所述第一单元格类别和所述类别标签确定第一损失，根据所述第一单元格坐标和所述坐标标签确定第二损失，根据所述第一单元格像素掩码和所述像素标签确定第三损失；基于预定义权重系数对所述第一损失、所述第二损失和所述第三损失进行加权求和，得到目标损失；按照所述目标损失更新所述表格识别模型的模型参数。
15、根据本专利技术提供一种的表格重建装置，所述处理模块用于：通过所述表格识别模型提取所述表格图像的图像特征，并根据所述图像特征预测所述表格图像的单元格类别、单元格坐标以及单元格像素掩码。
16、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述表格重建方法的步骤。
17、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述表格重建方法的步骤。
本文档来自技高网...
【技术保护点】
1.一种表格重建方法，其特征在于，包括：
2.根据权利要求1所述的表格重建方法，其特征在于，所述根据所述图像特征确定所述表格图像的单元格类别、单元格坐标以及单元格像素掩码，包括：
3.根据权利要求2所述的表格重建方法，其特征在于，所述根据所述图像特征、所述第一候选框和所述第一候选特征确定目标对象特征，包括：
4.根据权利要求1所述的表格重建方法，其特征在于，所述获取表格图像，包括：
5.根据权利要求1所述的表格重建方法，其特征在于，所述提取所述表格图像的图像特征，包括：
6.根据权利要求1-5任一项所述的表格重建方法，其特征在于，所述获取表格图像之前，所述方法还包括：
7.根据权利要求6所述的表格重建方法，其特征在于，所述提取所述表格图像的图像特征，并根据所述图像特征确定所述表格图像的单元格类别、单元格坐标以及单元格像素掩码，包括：
8.一种表格重建装置，其特征在于，包括：获取模块和处理模块；
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的表格重建方法中的步骤。
...【技术特征摘要】
1.一种表格重建方法，其特征在于，包括：
2.根据权利要求1所述的表格重建方法，其特征在于，所述根据所述图像特征确定所述表格图像的单元格类别、单元格坐标以及单元格像素掩码，包括：
3.根据权利要求2所述的表格重建方法，其特征在于，所述根据所述图像特征、所述第一候选框和所述第一候选特征确定目标对象特征，包括：
4.根据权利要求1所述的表格重建方法，其特征在于，所述获取表格图像，包括：
5.根据权利要求1所述的表格重建方法，其特征在于，所述提取所述表格图像的图像特征，包括：
6.根据权利要求1-5任一项所述的表格重建方法，其特征在于，所述获取表格图像之前，所述方法还...
【专利技术属性】
技术研发人员：张亚萍，庞刘成，赵阳，周玉，宗成庆，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。