【技术实现步骤摘要】
本申请涉及表格识别领域，尤其是涉及一种图纸无线表格的结构化数据识别方法、装置和介质。
技术介绍
1、建筑图纸表格数据形式多样，涉及各专业领域。目前无线表格识别技术识别空白、跨多个行列、多行文本的单元格的准确率不高。主流的无线表格的行列分割方式是基于深度学习的语义分割或实例分割，或者只用基于文本检测的统计学习来分割，这样分割会有误差。而且，目前无线表格的单元格识别对标注数据太依赖，不考虑图纸单元格内容的语义，不能实现多模态的表格文本识别。
2、因此，如何提高在不同专业的建筑图纸中，无线表格数据结构化识别的准确度，是亟需解决的问题。
技术实现思路
1、本申请提供了一种图纸无线表格的结构化数据识别方法、装置和介质，能够提高对不同专业的建筑图纸中的无线表格数据结构化识别的准确度。
2、为了实现上述目的，本专利技术采用了如下技术方案:
3、第一方面，本专利技术提供一种图纸无线表格的结构化数据识别方法，所述方法包括：
4、对图纸进行图框和图层检测，得到图框形状；
5、对所述图框形状进行检测，得到子图框形状；
6、从所述图框形状中拆出所述子图框形状包含的图像，得到待识别图像；
7、将待识别图像输入位置特征提取层，得到行分割特征和列分割特征；
8、将待识别图像输入注意力机制块，得到文本序列关系；
9、将所述行分割特征、列分割特征和文本序列关系输入回归器，得到所述待识别图像包含的表格的结构化数
10、在本申请一较佳的示例中可以进一步设置为，还包括：
11、使用预标注所述待识别图像中的表格得到的行、列、文字的位置数据和语义文件，训练所述位置特征提取层、注意力机制块和回归器。
12、在本申请一较佳的示例中可以进一步设置为，所述位置特征提取层包括编码器和解码器，所述将待识别图像输入位置特征提取层，得到行分割特征、列分割特征，包括：
13、通过编码器和解码器处理待识别图像包含的表格的位置信息，得到表格的行分割特征、列分割特征，所述编码器为通过将不同卷积核的卷积层、归一化、激活函数组成下采样后形成，所述解码器，将不同比例空洞卷积层、特征融合add、激活函数组成上采样后形成。
14、在本申请一较佳的示例中可以进一步设置为，所述注意力机制块包括多头注意力机制块和正则规划层，所述将待识别图像输入注意力机制块，得到文本序列关系，包括：
15、通过将待识别图像输入多头注意力机制块后再输入正则规划层，对待识别图像提取文本序列特征，得到文本序列关系。
16、在本申请一较佳的示例中可以进一步设置为，包括：
17、识别所述待识别图像中的表格的表头信息；
18、根据所述表头信息分类所述待识别图像中包含的表格，得到表格的分类信息。
19、在本申请一较佳的示例中可以进一步设置为，所述通过所述编码器和所述解码器处理待识别图像包含的表格的位置信息，得到表格的行分割特征、列分割特征，包括：
20、若待识别图像包含的表格中存在多行文字密集的单元格，在通过所述编码器和所述解码器处理待识别所述表格的位置信息后，使用渐进式扩展模块对所述多行文字密集的单元格进行分割，得到表格的行分割特征、列分割特征。
21、在本申请一较佳的示例中可以进一步设置为，包括：
22、在对待识别图像提取文本序列特征的过程中，通过注意力残差块融合高维度的特征。
23、在本申请一较佳的示例中可以进一步设置为，所述在得到文本序列关系后，包括：
24、使用自注意力机制对所述文本序列关系的文本优先级、文本冗余信息进行处理，更新所述文本序列关系。
25、第二方面，本申请提供一种图纸无线表格的结构化数据识别装置，所述装置包括：
26、数据获取模块，用于
27、对图纸进行图框和图层检测，得到图框形状；对所述图框形状进行检测，得到子图框形状；从所述图框形状中拆出所述子图框形状包含的图像，得到待识别图像；将待识别图像输入位置特征提取层，得到行分割特征和列分割特征；将待识别图像输入注意力机制块，得到文本序列关系；将所述行分割特征、列分割特征和文本序列关系输入回归器，得到所述待识别图像包含的表格的结构化数据；
28、位置信息处理模块，用于将待识别图像输入位置特征提取层，得到行分割特征和列分割特征；
29、语义信息处理模块，用于将待识别图像输入注意力机制块，得到文本序列关系；
30、回归模块，用于将所述行分割特征、列分割特征和文本序列关系输入回归器，得到所述待识别图像包含的表格的结构化数据。
31、第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，其中所述程序被处理器执行时，实现如上述任一项所述的图纸无线表格的结构化数据识别方法。
32、综上，与现有技术相比，本申请实施例提供的技术方案带来的有益效果至少包括：
33、本申请提供的一种图纸无线表格的结构化数据识别方法，通过对图纸进行图框和图层检测，得到图框形状；对所述图框形状的内部进行处理，得到图框的边缘图；判断所述边缘图像是否包含子图框的边缘；若所述边缘图像包含子图框的边缘，对子图框边缘进行外轮廓点检测，得到子图框形状；判断子图框形状的内部是否包含子图框形状；若子图框形状的内部不包含子图框形状，从所述图框形状中拆出所述子图框形状包含的图像，得到待识别图像；将待识别图像输入位置特征提取层，得到行分割特征和列分割特征；将待识别图像输入注意力机制块，得到文本序列关系；将所述行分割特征、列分割特征和文本序列关系输入回归器，得到所述待识别图像包含的表格的结构化数据，提高了对不同专业的建筑图纸中的无线表格数据结构化识别的准确度。
本文档来自技高网...【技术保护点】
1.一种图纸无线表格的结构化数据识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的图纸无线表格的结构化数据识别方法，其特征在于，还包括：
3.根据权利要求1所述的图纸无线表格的结构化数据识别方法，其特征在于，所述位置特征提取层包括编码器和解码器，所述将待识别图像输入位置特征提取层，得到行分割特征、列分割特征，包括：
4.根据权利要求1所述的图纸无线表格的结构化数据识别方法，其特征在于，所述注意力机制块包括多头注意力机制块和正则规划层，所述将待识别图像输入注意力机制块，得到文本序列关系，包括：
5.根据权利要求1所述的图纸无线表格的结构化数据识别方法，其特征在于，包括：
6.根据权利要求3所述的图纸无线表格的结构化数据识别方法，其特征在于，所述通过所述编码器和所述解码器处理待识别图像包含的表格的位置信息，得到表格的行分割特征、列分割特征，包括：
7.根据权利要求4所述的图纸无线表格的结构化数据识别方法，其特征在于，包括：
8.根据权利要求1所述的图纸无线表格的结构化数据识别方法，其特征在
9.一种图纸无线表格的结构化数据识别装置,其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序，其中所述程序被处理器执行时，实现如权利要求1至8中任一项所述的图纸无线表格的结构化数据识别方法。
...【技术特征摘要】
1.一种图纸无线表格的结构化数据识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的图纸无线表格的结构化数据识别方法，其特征在于，还包括：
3.根据权利要求1所述的图纸无线表格的结构化数据识别方法，其特征在于，所述位置特征提取层包括编码器和解码器，所述将待识别图像输入位置特征提取层，得到行分割特征、列分割特征，包括：
4.根据权利要求1所述的图纸无线表格的结构化数据识别方法，其特征在于，所述注意力机制块包括多头注意力机制块和正则规划层，所述将待识别图像输入注意力机制块，得到文本序列关系，包括：
5.根据权利要求1所述的图纸无线表格的结构化数据识别方法，其特征在于，包括：
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海帮图信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。