【技术实现步骤摘要】
本专利技术属于计算机模式识别领域，具体涉及一种在线手绘表格单元格类型识别方法及装置。
技术介绍
1、表格作为一种高效的结构化信息表达方式，其存储的信息不仅高度凝练集中，且通过表格自身的结构可以将散乱、无序的输入信息变得逻辑、有序，得到高度结构化的输出信息。因此表格广泛应用于思路梳理、知识整理与交流讨论等创造性交互场景，有助于用户对散乱的信息做归类与整合。用户在进行这种创造性工作时常采用手绘的形式，方便捕捉灵感思路。
2、在线手绘表格单元格类型识别旨在为每个表格单元格分配一个标签，表明单元格在数据布局中呈现的功能角色，方便用户在创作时对表格信息进行直观理解。在许多场景中，用户对书写表格的实时反馈的要求很高，希望立即获得识别结果。为了实现这一点，必须进行动态笔画分类。也就是说，需要在写作过程中对笔画进行分类。但以往的方法基本上是静态的，即必须等待用户完成整个草图才能进行预测。然而，在实践中，更人性化的方法是在用户写作时进行实时预测。
3、目前对于表格单元格类型分类的主要解决方法大致有四种：基于端到端的符号神经网络分类方法、基于树的transformer网络分类方法、基于dygat的在线手写文档和草图笔画分类方法、基于图片或pdf格式的识别方法。其中，基于端到端的符号神经网络分类方法是利用嵌入式细胞表征的优势，从数千个表中学习高维表嵌入，并与概率图形模型(概率软逻辑(psl))结合使用，捕获标头的位置不变量，并强制执行数据类型的同质性，最后得到分类结果。基于树的transformer网络分类方法是使用二维树来定
4、然而，当前用于表格单元格类型分类的技术虽然有所发展，但存在无法满足用户实时需求以及未能充分利用用户在书写表格过程中的交互信息的问题。不管是基于端到端的符号神经网络分类方法，还是基于树的transformer网络分类方法，再或者是基于图片或pdf格式的识别方法，这些技术都使用文档图像或者半结构化数据作为识别算法的输入源对象，未运用到笔迹压力、速度等信息，且都严重依赖数据集的数量和质量，难以对模型进行解释，除此之外图片像素信息的输入，相比于笔迹信息，计算规模庞大，需要的识别时间更长；并且基于图片或pdf格式的识别方法的相关专利仅实现了表格结构的识别，未完成单元格类型的识别。同时，两种方法都未解决用户在手写过程中的实时分类，它们必须等待用户完成整个草图后，得到了文档图像或者半结构化数据才能进行预测。然而，在实践中，更人性化的方法是在用户书写时进行实时预测。基于dygat的在线手写文档和草图笔画分类方法虽然可以实现动态识别，但其在表格单元格类型识别上仍然存在准确性不高的问题。
技术实现思路
1、针对现有技术存在的问题，本专利技术提出了一种针对在线手绘表格单元格类型识别方法及装置，通过识别手表表格特有的线图和文本特征，提高识别的准确率；通过利用图注意力网络进行笔画的节点和边分类，再按照规则将笔画划分到不同的单元格，并通过时空-图注意力网络根据单元格之间时空关系来识别单元格类型，充分利用了笔画的时空关系信息。
2、本专利技术采用的技术方案如下：
3、一种在线手绘表格单元格类型识别方法，包括以下步骤：
4、1)对手绘的表格线条和文本进行笔画提取，根据提取的笔画构建结构图，图中的每个节点表示一个笔画，结构图中的每个边表示两个笔画之间具有时空关系；
5、2)基于结构图提取节点特征和边特征，并输入到多任务学习的图注意力网络中进行节点和边的分类；
6、3)根据节点和边的分类结果，按照规则将笔画分组到各个单元格中；
7、4)将上述单元格作为节点，将具有时空关系的单元格之间连接边，构建关系图；
8、5)基于关系图提取关于单元格的节点特征和边特征，并输入到时空-图注意力网络中进行单元格类型识别，通过计算交叉熵损失函数和梯度下降的方式进行训练优化；
9、6)利用训练好的时空-图注意力网络来实时识别用户手绘的表格笔画，识别单元格类型。
10、进一步地，步骤1)中在构建结构图时，时间相邻的两个笔画在图中用边连接对应的两个节点，空间相邻且最小距离低于阈值的两个笔画在图中用边连接对应的两个节点。
11、进一步地，步骤2)中将每个笔画的几何和局部上下文特征提取为节点特征，将笔画对的成对几何特征提取为边特征。
12、进一步地，步骤2)中图注意力网络由一个共享层块和两个分支组成，共享层块包括三个由图注意力层构成的共享层，两个分支包括节点分类分支和边分类分支，每个分支均由注意力层堆叠加一个softmax层构成。
13、进一步地，步骤3)中将笔画分组到各个单元格所按照的规则包括：
14、(1)如果一对笔画在时间上相邻，并且它们之间的边分类结果属于同一个单元格，则将这一对笔画分组到同一个单元格中，否则分组到不同的单元格中；
15、(2)在规则(1)的基础上，如果在单元格中相邻的两个笔画的时间之间的距离大于一阈值，则将这两个笔画分组到两个单元格中。
16、进一步地，步骤4)中将具有时空关系的单元格之间连接边的步骤包括：
17、对单元格内的笔画均匀采样，求取笔画的平均时间，若两个单元格平均时间间隔低于设定的阈值，则有边相连；
18、对单元格内的笔画均匀采样，求取单元格内笔画的质心坐标，若两个单元格质心距离低于设定的阈值，则有边相连。
19、进一步地，步骤5)中基于关系图提取关于单元格的节点特征的步骤包括：
20、通过单元格的绝对坐标到相对坐标转换，获取单元格的位置特征；
21、通过单元格内容的文字识别和长短期记忆网络，获取单元格的文字特征；
22、通过单元格内笔画提取，获取单元格的几何特征；
23、由获取的位置特征、文字特征和几何特征构成单元格的节点特征；
24、基于关系图提取关于单元格的边特征的步骤包括：
25、获取空间关系边特征：对关系图中有空间关系的节点对提取质心向量，作为边特征；
26、获取时间关系边特征：通过两个单元格的时间平均值相减，获得边特征。
27、进一步地，步骤5)中时空-图注意力网络由时空关系图注意力层堆叠构成，每层包括时间通道和空间通道；其中第1层对于输入的节点特征和边特征进行图卷积操作，得到新的节点特征和边特征；后续的每一层是对前一层得到的新的节点特征和边特征进行图卷积操作，再次得到更本文档来自技高网...
【技术保护点】
1.一种在线手绘表格单元格类型识别方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤1)中在构建结构图时，时间相邻的两个笔画在图中用边连接对应的两个节点，空间相邻且最小距离低于阈值的两个笔画在图中用边连接对应的两个节点。
3.如权利要求1所述的方法，其特征在于，步骤2)中将每个笔画的几何和局部上下文特征提取为节点特征，将笔画对的成对几何特征提取为边特征。
4.如权利要求1所述的方法，其特征在于，步骤2)中图注意力网络由一个共享层块和两个分支组成，共享层块包括三个由图注意力层构成的共享层，两个分支包括节点分类分支和边分类分支，每个分支均由注意力层堆叠加一个softmax层构成。
5.如权利要求1所述的方法，其特征在于，步骤3)中将笔画分组到各个单元格所按照的规则包括：
6.如权利要求1所述的方法，其特征在于，步骤4)中将具有时空关系的单元格之间连接边的步骤包括：
7.如权利要求1所述的方法，其特征在于，步骤5)中基于关系图提取关于单元格的节点特征的步骤包括：
8.如权利要
9.如权利要求8所述的方法，其特征在于，步骤5)中时空-图注意力网络的每层计算特征的步骤包括：
10.一种在线手绘表格单元格类型识别装置，其特征在于，包括手绘面板、存储器和处理器，该手绘面板用于用户手绘表格，该该存储器存储表格数据和计算机程序，该处理器执行该计算机程序时实现权利要求1-9任一项所述方法的步骤。
...【技术特征摘要】
1.一种在线手绘表格单元格类型识别方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤1)中在构建结构图时，时间相邻的两个笔画在图中用边连接对应的两个节点，空间相邻且最小距离低于阈值的两个笔画在图中用边连接对应的两个节点。
3.如权利要求1所述的方法，其特征在于，步骤2)中将每个笔画的几何和局部上下文特征提取为节点特征，将笔画对的成对几何特征提取为边特征。
4.如权利要求1所述的方法，其特征在于，步骤2)中图注意力网络由一个共享层块和两个分支组成，共享层块包括三个由图注意力层构成的共享层，两个分支包括节点分类分支和边分类分支，每个分支均由注意力层堆叠加一个softmax层构成。
5.如权利要求1所述的方法，其特征在于，步骤3)中将笔画分组到各个单元格所按照的规则包括：
6.如权利要求1所述的方法，其特征在于，步骤4...
【专利技术属性】
技术研发人员：黄进，王丹琳，付强，田丰，戴国忠，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。