【技术实现步骤摘要】
本专利技术涉及自然语言，特别是涉及一种基于多信息的表格实体关系判断方法及系统。
技术介绍
1、表格类合同一般主要是由单张表格组成的，由于表格具有半结构化、简洁规整等特点，单元格之间存在大量稀疏、离散的实体关系信息。实体关系判断，需要根据表格中科目名称和科目属性进行匹配判断，其中科目名称和科目属性是需要事先抽取完成的。
2、目前，表格类合同实体关系判断存在以下问题：基于规则匹配进行表格中科目名称(表格的列名)和科目属性(表格中的值)的关系关联，单纯当作文本内容进行匹配时，而忽略了位置与视觉特征信息。在表格中可能存在不同位置下相同的科目名称对应的科目属性并不相同，因此，单纯考虑文本内容会导致实体关系判断准确率较低。
技术实现思路
1、鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于多信息的表格实体关系判断方法及系统，用于解决现有技术中存在的问题。
2、为实现上述目的及其他相关目的，本专利技术提供一种基于多信息的表格实体关系判断方法，包括以下步骤：
3、获取目标表格图像，并对所述目标表格图像进行表格内容与文本内容的拆分，得到所述目标表格图像的表格页面；
4、将所述目标表格图像导入标注工具中，按照预先设定的实体标签对所述表格页面中的文本进行标注，并将标注结果转换为训练标注语料；
5、将所述文本内容转为文本表征，以及将布局信息转为视觉表征；
6、通过多模态预训练模型对所述文本表征和视觉表征进行信息交互，并基于
7、可选地，通过多模态预训练模型对所述文本表征和视觉表征进行信息交互，并基于稀疏自注意力机制，将文本表征与视觉表征进行融合的过程包括：
8、基于多模态预训练模型，将实体文本和坐标信息转为实体表征信息，同时融入视觉表征信息；
9、通过双仿射自注意力机制，对所述实体表征信息和所述视觉表征信息进行融合，得到融合后的表征信息。
10、可选地，通过双仿射自注意力机制，对所述实体表征信息和所述视觉表征信息进行融合，得到融合后的表征信息的过程包括：
11、将实体文本表征信息和实体坐标表征信息进行拼接，得到文本拼接表征信息；
12、引入多模态预训练模型的视觉表征信息；
13、将所述文本拼接表征信息与多模态预训练模型的视觉表征信息进行融合相连，生成新的文本与位置信息；
14、通过双仿射自注意力机制从新的为本与位置信息中获取隐层信息，作为融合后的表征信息。
15、可选地，所述坐标信息的获取过程包括：利用预先或实时训练后的文字识别模型对所述目标表格图像进行解析，得到所述坐标信息。
16、可选地，所述布局信息的获取过程包括：利用解析器工具对所述目标表格图像进行解析，得到所述布局信息；其中，所述解析器工具包括：document parser工具。
17、本申请还提供一种基于多信息的表格实体关系判断系统，包括有：
18、版面分析模块，用于获取目标表格图像，并对所述目标表格图像进行表格内容与文本内容的拆分，得到所述目标表格图像的表格页面；
19、表格实体标注模块，用于将所述目标表格图像导入标注工具中，按照预先设定的实体标签对所述表格页面中的文本进行标注，并将标注结果转换为训练标注语料；
20、表征模块，用于将所述文本内容转为文本表征，以及将布局信息转为视觉表征；
21、表格实体关系判断模块，用于通过多模态预训练模型对所述文本表征和视觉表征进行信息交互，并基于稀疏自注意力机制，将文本表征与视觉表征进行融合；以及，将融合后得到的表征信息通过线性层进行分类，以区分所述目标表格图像中实体之间的关系类型。
22、可选地，所述表格实体关系判断模块通过多模态预训练模型对所述文本表征和视觉表征进行信息交互，并基于稀疏自注意力机制，将文本表征与视觉表征进行融合的过程包括：
23、基于多模态预训练模型，将实体文本和坐标信息转为实体表征信息，同时融入视觉表征信息；
24、通过双仿射自注意力机制，对所述实体表征信息和所述视觉表征信息进行融合，得到融合后的表征信息。
25、可选地，所述表格实体关系判断模块通过双仿射自注意力机制，对所述实体表征信息和所述视觉表征信息进行融合，得到融合后的表征信息的过程包括：
26、将实体文本表征信息和实体坐标表征信息进行拼接，得到文本拼接表征信息；
27、引入多模态预训练模型的视觉表征信息；
28、将所述文本拼接表征信息与多模态预训练模型的视觉表征信息进行融合相连，生成新的文本与位置信息；
29、通过双仿射自注意力机制从新的为本与位置信息中获取隐层信息，作为融合后的表征信息。
30、可选地，所述坐标信息的获取过程包括：利用预先或实时训练后的文字识别模型对所述目标表格图像进行解析，得到所述坐标信息。
31、可选地，所述布局信息的获取过程包括：利用解析器工具对所述目标表格图像进行解析，得到所述布局信息；其中，所述解析器工具包括：document parser工具。
32、如上所述，本专利技术提供一种基于多信息的表格实体关系判断方法及系统，具有以下有益效果：
33、本申请通过获取目标表格图像，并对目标表格图像进行表格内容与文本内容的拆分，得到目标表格图像的表格页面；然后将目标表格图像导入标注工具中，按照预先设定的实体标签对表格页面中的文本进行标注，并将标注结果转换为训练标注语料；再将文本内容转为文本表征，以及将布局信息转为视觉表征；最后通过多模态预训练模型对文本表征和视觉表征进行信息交互，并基于稀疏自注意力机制，将文本表征与视觉表征进行融合；以及，将融合后得到的表征信息通过线性层进行分类，以区分目标表格图像中实体之间的关系类型。由此可知，本申请在表格实体关系判断中，可以引入视觉信息；同时，在表格类合同业务领域下的模型结构，面对表格实体关系判断能够以较高准确率匹配出来。在具体应用场景中，本申请提出了基于多信息的实体关系判断方式，能够以90％的准确率判断出实体关系信息。
本文档来自技高网...【技术保护点】
1.一种基于多信息的表格实体关系判断方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多信息的表格实体关系判断方法，其特征在于，通过多模态预训练模型对所述文本表征和视觉表征进行信息交互，并基于稀疏自注意力机制，将文本表征与视觉表征进行融合的过程包括：
3.根据权利要求2所述的基于多信息的表格实体关系判断方法，其特征在于，通过双仿射自注意力机制，对所述实体表征信息和所述视觉表征信息进行融合，得到融合后的表征信息的过程包括：
4.根据权利要求2或3所述的基于多信息的表格实体关系判断方法，其特征在于，所述坐标信息的获取过程包括：利用预先或实时训练后的文字识别模型对所述目标表格图像进行解析，得到所述坐标信息。
5.根据权利要求1至3中任一所述的基于多信息的表格实体关系判断方法，其特征在于，所述布局信息的获取过程包括：利用解析器工具对所述目标表格图像进行解析，得到所述布局信息；其中，所述解析器工具包括：document parser工具。
6.一种基于多信息的表格实体关系判断系统，其特征在于，包括有：
7.
8.根据权利要求7所述的基于多信息的表格实体关系判断系统，其特征在于，所述表格实体关系判断模块通过双仿射自注意力机制，对所述实体表征信息和所述视觉表征信息进行融合，得到融合后的表征信息的过程包括：
9.根据权利要求7或8所述的基于多信息的表格实体关系判断系统，其特征在于，所述坐标信息的获取过程包括：利用预先或实时训练后的文字识别模型对所述目标表格图像进行解析，得到所述坐标信息。
10.根据权利要求6至8中任一所述的基于多信息的表格实体关系判断系统，其特征在于，所述布局信息的获取过程包括：利用解析器工具对所述目标表格图像进行解析，得到所述布局信息；其中，所述解析器工具包括：document parser工具。
...【技术特征摘要】
1.一种基于多信息的表格实体关系判断方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多信息的表格实体关系判断方法，其特征在于，通过多模态预训练模型对所述文本表征和视觉表征进行信息交互，并基于稀疏自注意力机制，将文本表征与视觉表征进行融合的过程包括：
3.根据权利要求2所述的基于多信息的表格实体关系判断方法，其特征在于，通过双仿射自注意力机制，对所述实体表征信息和所述视觉表征信息进行融合，得到融合后的表征信息的过程包括：
4.根据权利要求2或3所述的基于多信息的表格实体关系判断方法，其特征在于，所述坐标信息的获取过程包括：利用预先或实时训练后的文字识别模型对所述目标表格图像进行解析，得到所述坐标信息。
5.根据权利要求1至3中任一所述的基于多信息的表格实体关系判断方法，其特征在于，所述布局信息的获取过程包括：利用解析器工具对所述目标表格图像进行解析，得到所述布局信息；其中，所述解析器工具包括：document parser工具。
6.一种基于多信...
【专利技术属性】
技术研发人员：陆宇峰，季勇，赵璇，杨程旺，李南，
申请(专利权)人：上海欧冶金诚信息服务股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。