【技术实现步骤摘要】
本申请涉及文件处理，具体而言，涉及一种表格还原方法、模型、装置、设备及存储介质。
技术介绍
1、对可携带文件格式(portable document format，简称pdf)的文档中的表格进行抽取以及理解一直都是智能文档处理(intelligent document processing，简称idp)中的重要组成部分。在对表格进行抽取以及理解时，需要考虑到表格结构的复杂多样性，尤其是跨行跨列的单元格以及无线条单元格。
2、目前，可以基于全卷积神经网络技术对表格进行还原，但是，这种还原方法对表格线条的还原处理效果比较粗糙，容易出现错误还原表格线条以及出现线条缺失的情况，且无线条表格的还原效果较差。同时，这种还原方法应用于有线条表格或者较为规整的无线条表格时，鲁棒性较差。
技术实现思路
1、本申请的目的在于，针对上述现有技术中的不足，提供一种表格还原方法、模型、装置、设备及存储介质，以解决现有技术中表格还原效果较差的问题。
2、为实现上述目的，本申请实施例采用的技术方案如下：
3、第一方面，本申请一实施例提供了一种表格还原方法，所述方法包括：
4、将目标图像输入表格还原模型内的线条检测模型，得到所述目标图像中待还原表格的线条特征，所述表格还原模型中包括依次连接的所述线条检测模型、行列预测模型以及邻接单元格合并模型，所述线条特征用于表征所述待还原表格中各单元格的特征；
5、将所述线条特征输入所述行列预测模型，得到所述待还原表格
6、根据所述线条特征、所述行位置信息、所述列位置信息以及所述邻接单元格合并模型，得到所述待还原表格中各单元格的位置信息以及合并概率信息；
7、根据所述待还原表格中各单元格的位置信息以及合并概率信息，对所述待还原表格进行还原，得到表格还原结果。
8、在一种可能的实现方式中，所述线条检测模型包括：嵌入层以及多个编码模块，所述嵌入层与首个编码模块连接；
9、所述将目标图像输入表格还原模型内的线条检测模型，得到所述目标图像中待还原表格的线条特征，包括：
10、将所述目标图像输入所述嵌入层，由所述嵌入层对所述目标图像的各像素点进行位置嵌入处理，生成所述目标图像的高维特征；
11、将所述高维特征输入首个编码模块进行编码处理，并由所述首个编码模块之后的编码模块依次根据前一编码模块的中间处理结果进行编码处理，依次得到各编码模块的编码后特征；
12、对各编码模块的编码后特征进行拼接处理，得到所述目标图像中待还原表格的线条特征。
13、在一种可能的实现方式中，所述编码模块包括如下至少一项：下采样层、编码器以及上采样层；
14、所述将所述高维特征输入首个编码模块进行编码处理，并由所述首个编码模块之后的编码模块依次根据前一编码模块的中间处理结果进行编码处理，依次得到各编码模块的编码后特征，包括：
15、将所述高维特征输入所述首个编码模块，由所述首个编码模块的下采样层对所述高维特征进行下采样处理，并将下采样处理后特征作为中间处理结果输入下一编码模块，并由所述首个编码模块的编码器对所述高维特征进行编码，得到所述首个编码模块的编码后特征；
16、由除最后一个编码模块之外的各编码模块的下采样层对前一编码模块的中间处理结果进行下采样处理，并将下采样处理后特征作为中间处理结果输入下一编码模块，由除首个编码模块之外的各编码模块的编码器对前一编码模块的中间处理结果进行编码，并由除首个编码模块之外的各编码模块的上采样层进行上采样处理，得到除首个编码模块之外的各编码模块的编码后特征。
17、在一种可能的实现方式中，所述编码器包括：多头自注意力模块以及前馈网络模块，所述多头自注意力模块中包括：归一化层以及多头自注意力层；
18、所述由所述首个编码模块的编码器对所述高维特征进行编码，得到所述首个编码模块的编码后特征，包括：
19、由所述首个编码模块的多头自注意力模块的归一化层对所述高维特征进行归一化处理，并由所述多头自注意力模块的多头自注意力层进行编码处理，得到编码后高维特征；
20、由所述前馈网络模块对所述编码后高维特征进行编码处理，得到所述首个编码模块的编码后特征。
21、在一种可能的实现方式中，所述行列预测模型包括：依次连接的多个行提取模块以及依次连接的多个列提取模块；
22、所述将所述线条特征输入所述行列预测模型，得到所述待还原表格的行位置信息以及列位置信息，包括：
23、将所述线条特征分别输入首个行提取模块以及首个列提取模块；
24、由所述首个行提取模块对所述线条特征进行行特征提取，并将提取后特征输入下一行提取模块，依次执行，得到最后一个行提取模块的提取后特征，并根据最后一个行提取模块的提取后特征确定所述行位置信息；
25、由所述首个列提取模块对所述线条特征进行列特征提取，并将提取后特征输入下一列提取模块，依次执行，得到最后一个列提取模块的提取后特征，并根据最后一个列提取模块的提取后特征确定所述列位置信息。
26、在一种可能的实现方式中，所述行提取模块包括依次连接的全局池化层、行平均池化层以及行投影层；
27、所述由所述首个行提取模块对所述线条特征进行行特征提取，包括：
28、由所述首个行提取模块中的全局池化层对所述线条特征进行全局池化处理，并将全局池化后特征输入所述行平均池化层，由所述行平均池化层进行平均池化处理，并将平均池化后特征输入所述行投影层进行投影，得到行投影后特征；
29、根据行投影后特征以及所述线条特征进行特征提取。
30、在一种可能的实现方式中，所述列提取模块包括依次连接的全局池化层、列平均池化层以及列投影层；
31、所述由所述首个列提取模块对所述线条特征进行列特征提取，包括：
32、由所述首个列提取模块中的全局池化层对所述线条特征进行全局池化处理，并将全局池化后特征输入所述列平均池化层，由所述列平均池化层进行平均池化处理，并将平均池化后特征输入所述列投影层进行投影，得到列投影后特征；
33、根据列投影后特征以及所述线条特征进行特征提取。
34、在一种可能的实现方式中，所述邻接单元格合并模型包括：第一分类器以及第二分类器；
35、所述根据所述线条特征、所述行位置信息、所述列位置信息以及所述邻接单元格合并模型，得到所述待还原表格中各单元格的位置信息以及合并概率信息，包括：
36、根据所述行位置信息以及所述列位置信息，生成目标关系网格，所述目标关系网格中包括多个单元格，各单元格分别具有对应的位置信息；
37、遍历所述目标关系网络中的单元格，针对遍历到的当前单元格，根据所述当前单元格的位置信息、所述当前单元格对应的线条特征、所述当前单元格的相邻单元格的位本文档来自技高网...
【技术保护点】
1.一种表格还原方法，其特征在于，包括：
2.根据权利要求1所述的表格还原方法，其特征在于，所述线条检测模型包括：嵌入层以及多个编码模块，所述嵌入层与首个编码模块连接；
3.根据权利要求2所述的表格还原方法，其特征在于，所述编码模块包括如下至少一项：下采样层、编码器以及上采样层；
4.根据权利要求3所述的表格还原方法，其特征在于，所述编码器包括：多头自注意力模块以及前馈网络模块，所述多头自注意力模块中包括：归一化层以及多头自注意力层；
5.根据权利要求1所述的表格还原方法，其特征在于，所述行列预测模型包括：依次连接的多个行提取模块以及依次连接的多个列提取模块；
6.根据权利要求5所述的表格还原方法，其特征在于，所述行提取模块包括依次连接的全局池化层、行平均池化层以及行投影层；
7.根据权利要求5所述的表格还原方法，其特征在于，所述列提取模块包括依次连接的全局池化层、列平均池化层以及列投影层；
8.根据权利要求1-7任一项所述的表格还原方法，其特征在于，所述邻接单元格合并模型包括：第一分类器以及第二
9.根据权利要求8所述的表格还原方法，其特征在于，所述根据所述当前单元格的位置信息、所述当前单元格对应的线条特征、所述当前单元格的相邻单元格的位置信息、所述当前单元格的相邻单元格的对应的线条特征以及所述第一分类器和所述第二分类器，得到所述当前单元格与所述相邻单元格的合并概率信息，包括：
10.根据权利要求1所述的表格还原方法，其特征在于，所述根据所述待还原表格中各单元格的位置信息以及合并概率信息，对所述待还原表格进行还原，得到表格还原结果，包括：
11.一种表格还原模型，其特征在于，包括：线条检测模型、行列预测模型以及邻接单元格合并模型；
12.一种表格还原装置，其特征在于，包括：
13.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器执行所述机器可读指令，以执行如权利要求1至10任一所述的表格还原方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的表格还原方法的步骤。
...【技术特征摘要】
1.一种表格还原方法，其特征在于，包括：
2.根据权利要求1所述的表格还原方法，其特征在于，所述线条检测模型包括：嵌入层以及多个编码模块，所述嵌入层与首个编码模块连接；
3.根据权利要求2所述的表格还原方法，其特征在于，所述编码模块包括如下至少一项：下采样层、编码器以及上采样层；
4.根据权利要求3所述的表格还原方法，其特征在于，所述编码器包括：多头自注意力模块以及前馈网络模块，所述多头自注意力模块中包括：归一化层以及多头自注意力层；
5.根据权利要求1所述的表格还原方法，其特征在于，所述行列预测模型包括：依次连接的多个行提取模块以及依次连接的多个列提取模块；
6.根据权利要求5所述的表格还原方法，其特征在于，所述行提取模块包括依次连接的全局池化层、行平均池化层以及行投影层；
7.根据权利要求5所述的表格还原方法，其特征在于，所述列提取模块包括依次连接的全局池化层、列平均池化层以及列投影层；
8.根据权利要求1-7任一项所述的表格还原方法，其特征在于，所述邻接单元格合并模型包括：第一分类器以及第二分类器；
9...
【专利技术属性】
技术研发人员：彭敬伟，于业达，刘奕晨，杨威，李杨，
申请(专利权)人：上海恒生聚源数据服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。