用于从流程图图像中自动提取信息的系统、方法和计算机程序产品技术方案

一种从流程图图像中提取信息的方法，该流程图图像包括：其中封围有文本的多个封闭形状的数据节点、连接多个封闭形状的数据节点的连接线以及与连接线相邻的自由文本，该方法包括：接收流程图图像、检测封闭形状的数据节点、对被封围在封闭形状的数据节点内的文本进行定位、以及对经定位文本施加掩模，以生成带注释的图像。检测带注释的图像中的线，以将其重建为封闭形状的数据节点和连接线。提取具有多个封闭形状的数据节点和连接线的树框架。接着，对自由文本进行定位。使用基于定向的二维聚类，将近侧定向和定位在一起的自由文本的分块组装成文本块。块组装成文本块。块组装成文本块。

【技术实现步骤摘要】
【国外来华专利技术】用于从流程图图像中自动提取信息的系统、方法和计算机程序产品


[0001]本说明书大体涉及用于使用计算机视觉技术从图像中检索信息的系统、方法和计算机程序产品，更具体地，涉及用于使用计算机视觉技术从流程图图像中自动提取信息的系统、方法和计算机程序产品。

技术介绍

[0002]流程图通常用于各种领域，并且以简明和结构化的形式表示人类编策的知识。医学和科学领域充满关于症状、观察和诊断的流程图，这些流程图可用于临床决策支持、内容搜索系统、自动问题生成等。流程图的图像可具有不同的形状、大小、流程类型、格式、颜色、内容密度、质量、字体、图像分辨率等。因此，期望有从流程图中完整并准确地提取信息的方法，以便将信息编译成可搜索和交互式的格式，以便随后在准备例如机器可学习资产和交互式知识库中受益。

技术实现思路

[0003]本说明书涉及用于从流程图图像中自动提取信息的系统、方法和计算机程序产品，流程图图像包括以下各项中的一项或多项：其中包围有文本的多个封闭形状的数据节点、连接多个封闭形状的数据节点中的一者或多者的连接线、以及与连接线相邻的自由文本。在一个实施例中，用于从流程图图像中提取信息的方法从接收作为电子图像文件的流程图图像开始。该方法包括检测多个封闭形状的数据节点，并对被封围在多个封闭形状的数据节点内的文本进行定位。对多个封闭形状的数据节点内的经定位文本施加掩模，以生成带注释的图像。然后生成自由文本中字符尺寸的统计大小分布，以识别连接线。该方法进一步包括检测带注释的图像中的线，以将其重建为封闭形状的数据节点和连接线。接着，该方法包括提取具有多个封闭形状的数据节点和检测到的连接线的树框架。该方法进一步包括对与连接线相邻的自由文本进行定位，并使用基于定向的二维聚类将近侧定向和定位在一起的自由文本分块组装成文本块。
[0004]在另一实施例中，一种用于从流程图图像中提取信息的系统，该系统包括以下各项中的一项或多项：其中封围有文本的多个封闭形状的数据节点、连接多个封闭形状的数据节点中的一者或多者的连接线、以及与连接线相邻的自由文本。该系统包括处理器和耦合到处理器的非瞬态处理器可读存储器。非瞬态处理器可读存储器包括存储在其中的机器可读指令集，当由处理器执行时，该机器可读指令集使处理器从接收作为电子图像文件的流程图图像开始执行一系列步骤。检测多个封闭形状的数据节点，并对被封围在多个封闭形状的数据节点内的文本进行定位。对多个封闭形状的数据节点内的经定位文本施加掩模，以生成带注释的图像。然后生成自由文本中字符尺寸的统计大小分布，以识别连接线。然后检测带注释的图像中的线，以将其重建为封闭形状的数据节点和连接线。提取具有多个封闭形状的数据节点和检测到的连接线的树框架。接着，对与连接线相邻的自由文本进
行定位，并使用基于定向的二维聚类将近侧定向和定位在一起的自由文本分块组装成文本块。
[0005]在又另一实施例中，一种用于从流程图图像中提取信息的计算机程序产品包括以下各项中的一项或多项：其中封围有文本的多个封闭形状的数据节点、连接多个封闭形状的数据节点中的一者或多者的连接线、以及与连接线相邻的自由文本。计算机程序产品包括编程指令，当由计算机执行时，该编程指令使计算机从接收作为电子图像文件的流程图图像开始执行一系列步骤。检测多个封闭形状的数据节点，并对被封围在多个封闭形状的数据节点内的文本进行定位。对多个封闭形状的数据节点内的经定位文本施加掩模，以生成带注释的图像。然后生成自由文本中字符尺寸的统计大小分布，以识别连接线。然后检测带注释的图像中的线，以将其重建为封闭形状的数据节点和连接线。提取具有多个封闭形状的数据节点和检测到的连接线的树框架。接着，对与连接线相邻的自由文本进行定位，并使用基于定向的二维聚类将近侧定向和定位在一起的自由文本分块组装成文本块。接下来，使用字符识别算法识别经定位文本和文本块中的字符。最后，树框架、经定位文本和文本块被编译成具有可搜索和交互式电子文件格式的流程图文件，该电子文件格式被配置成使流程图文件具有比电子图像文件更小的大小。
[0006]鉴于下面的详细描述，将结合附图更充分地理解由本文所描述的实施例提供的这些和其他特征。
附图说明
[0007]附图中阐述的实施例本质上是说明性的和示例性的，并且不旨在限制由权利要求所限定的主题。当结合以下附图阅读时，可以理解对说明性实施例的以下详细描述，其中，用类似的附图标记指示类似的结构，并且其中：
[0008]图1示意性地描绘了根据本文示出并描述的一个或多个实施例的用于从流程图图像中自动提取信息的示例计算网络；
[0009]图2示意性地描绘了根据本文示出并描述的一个或多个实施例的用于从流程图图像中自动提取信息的示例计算设备；
[0010]图3描绘了根据本文示出并描述的一个或多个实施例的由图2的示例计算设备接收的示例流程图图像；
[0011]图4描绘了根据本文示出并描述的一个或多个实施例的从流程图图像中提取信息的示例方法的框图；
[0012]图5描绘了根据本文示出并描述的一个或多个实施例的检测多个封闭形状的数据节点的示例方法的框图，该示例方法是图4的方法的一部分；
[0013]图6描绘了根据本文示出并描述的一个或多个实施例的对被封围在多个封闭形状的数据节点内的文本进行定位的示例方法的框图，该示例方法是图4的方法的一部分；
[0014]图7描绘了根据本文示出并描述的一个或多个实施例的检测带注释图像中的线以将这些线重建为封闭形状的数据节点和连接线的示例方法的框图，该示例方法是图4的方法的一部分；
[0015]图8描绘了根据本文示出并描述的一个或多个实施例的提取具有多个封闭形状的数据节点和经检测的连接线的树框架的示例方法的框图，该示例方法是图4的方法的一部
分；
[0016]图9A
‑
9C描绘了根据本文示出并描述的一个或多个实施例的基于连接线之间的接近度、二维空间中任意两条连接线之间的重叠以及连接线的几何斜率来组装检测到的连接线的说明性示例，该说明性示例是图8的方法的一部分；
[0017]图10描绘了根据本文示出并描述的一个或多个实施例的对与连接线相邻的自由文本进行定位的示例方法的框图，该示例方法是图4的方法的一部分；并且
[0018]图11描绘了根据本文示出并描述的一个或多个实施例的使用基于定向的二维聚类将近侧定向和定位在一起的自由文本组装成文本块的说明性示例，该说明性示例是图4的方法的一部分。
具体实施方式
[0019]流程图图像可包括以表示信息的逻辑流的顺序对数据进行视觉或图形表示的(多个)文档。本文中使用的“文档”被广泛定义为包括机器可读和机器可存储的工作产品。例如，文档可包括具有信息及其流的视觉表示的一个或多个单独或组合的文件，并且这些文件可以是一个或多个机器可读和机器可存储的格式(诸如.png、.jpg、.jpeg、.svg、.eps、.pdf等)。本文中使用的“数据库”被广泛定义为包括任意机器可读和机器可存储的信息的集合。数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种从流程图图像中提取信息的方法，所述流程图图像包括以下各项中的一项或多项：其中封围有文本的多个封闭形状的数据节点、连接所述多个封闭形状的数据节点中的一者或多者的连接线、以及与所述连接线相邻的自由文本，所述方法包括以下步骤：接收作为电子图像文件的所述流程图图像；检测所述多个封闭形状的数据节点；对被封围在所述多个封闭形状的数据节点内的所述文本进行定位；对所述多个封闭形状的数据节点内的经定位文本施加掩模，以生成带注释的图像；生成所述自由文本中字符尺寸的统计大小分布，以识别所述连接线；检测所述带注释的图像中的线，以将所述线重建为封闭形状的数据节点和连接线；提取具有所述多个封闭形状的数据节点和所检测到的连接线的树框架；对与所述连接线相邻的所述自由文本进行定位；以及使用基于定向的二维聚类，将近侧定向和定位在一起的所述自由文本的分块组装成文本块。2.如权利要求1所述的方法，进一步包括以下步骤：使用字符识别算法识别所述经定位文本和所述文本块中的字符；以及将所述树框架、所述经定位文本和所述文本块编译成具有可搜索和交互式电子文件格式的流程图文件，所述电子文件格式被配置成使所述流程图文件能够具有比所述电子图像文件更小的大小。3.如权利要求1所述的方法，其特征在于，检测所述带注释的图像中的线，以将所述线重建为封闭形状的数据节点和连接线的所述步骤包括以下步骤：在水平和垂直方向上识别所述带注释的图像上的对象的图像梯度；使用边缘检测算法和形状检测算法，基于所识别的图像梯度，作为在水平和垂直方向上近似的所述线的代理来检测所述带注释的图像上的所述线；使用被定制为从所述带注释的图像中移除非几何对象和文本字符的启发式确定的核，作为在水平和垂直方向上近似的形态梯度来检测所述带注释的图像上的所述线；对基于所识别的图像梯度检测到的所述线和作为形态梯度检测到的所述线进行组合；以及将所述线重建为封闭形状的数据节点和连接线。4.如权利要求1所述的方法，其特征在于，提取具有所述多个封闭形状的数据节点和所检测到的连接线的树框架的所述步骤包括以下步骤：确定所检测到的连接线中的每一者是连接符还是带有箭头的流线；以及基于所述连接线之间的接近度、二维空间中任意两条连接线之间的重叠、以及所述连接线的几何斜率来组装所述连接线。5.如权利要求1所述的方法，其特征在于，对与所述连接线相邻的所述自由文本进行定位的所述步骤包括以下步骤：通过执行一个或多个形态变换，将所述自由文本的字符合并成自由文本斑点；通过确定沿着所述自由文本斑点的边缘的连续点是否具有相同的像素密度和颜色来检测所述自由文本斑点的轮廓；基于具有大多数字母数字字符，使用字符识别算法来过滤所述自由文本斑点的所述轮
廓；以及识别近侧定向和定位在一起的所述自由文本的分块。6.如权利要求1所述的方法，其特征在于，检测所述多个封闭形状的数据节点的所述步骤包括以下步骤：使用边缘检测算法和一个或多个形态变换将所述流程图图像预处理为一个或多个归一化图像，以突出显示所述多个封闭形状的数据节点中的每一者的几何边缘；通过使用相连组件方法分割所述流程图图像来从所述多个封闭形状的数据节点中检测几何形状和非几何形状；通过使用轮廓检测方法来从所述多个封闭形状的数据节点中检测几何形状和非几何形状；使用统计滤波器和字符识别算法来过滤掉与封闭形状的数据节点不对应的所述几何形状和非几何形状的轮廓；使用曲线拟合算法、特征提取算法和特征描述符来过滤所述几何形状的轮廓，以近似包括文本的几何形状；以及使用形状模板和形状匹配算法来验证所述包括文本的几何形状。7.如权利要求1所述的方法，其特征在于，对被封围在所述多个封闭形状的数据节点内的所述文本进行定位的所述步骤包括以下步骤：对来自所述流程图图像的不同预处理变体的包括文本的几何形状的近似结果进行组合；使用非最大压缩算法压缩所述近似结果，以定义文本和形状边界；以及将所述文本与所述包括文本的几何形状分离，以确定所述多个封闭形状的数据节点。8.一种用于从流程图图像中提取信息的系统，所述流程图图像包括以下各项中的一项或多项：其中封围有文本的多个封闭形状的数据节点、连接所述多个封闭形状的数据节点中的一者或多者的连接线、以及与所述连接线相邻的自由文本，所述系统包括：处理器；以及耦合至所述处理器的非瞬态处理器可读存储器，所述非瞬态处理器可读存储器包括存储在其中的机器可读指令集，当由所述处理器执行时，所述机器可读指令集使所述处理器执行以下步骤：接收作为电子图像文件的所述流程图图像；检测所述多个封闭形状的数据节点；对被封围在所述多个封闭形状的数据节点内的所述文本进行定位；对所述多个封闭形状的数据节点内的经定位文本施加掩模，以生成带注释的图像；生成所述自由文本中字符尺寸的统计大小分布，以识别所述连接线；检测所述带注释的图像中的线，以将所述线重建为封闭形状的数据节点和连接线；提取具有所述多个封闭形状的数据节点和所检测到的连接线的树框架；对与所述连接线相邻的所述自由文本进行定位；以及使用基于定向的二维聚类，将近侧定向和定位在一起的所述自由文本的分块组装成文本块。9.如权利要求8所述的系统，其特征在于，所述机器可读指令集进一步使所述处理器执
行以下步骤：使用字符识别算法识别所述经定位文本和所述文本块中的字符；以及将所述树框架、所述经定位文本和所述文本块编译成具有可搜索和交互式电子文件格式的流程图文件，所述电子文件格式被配置成使所述流程图文件能够具有比所述电子图像文件更小的大小。10.如权利要求8所述的系统，其特征在于，用于检测所述带注释的图像中的线，以将所述线重建为封闭形状的数据节点和连接线的所述机器可读指令集进一步使所述处理器执行以下步骤：在水平和垂直方向上识别所述带注释的图像上的对象的图像梯度；使用边缘检测算法和形状检测算法，基于所识别的图像梯度，作为在水平和垂直方向上近似的所述线的代理来检测所述带注释的图像上的所述线；使用被定制为从所述带注释的图像中移除非几何对象和文本字符的启发式确定的核，作为在水平和垂直方向上近似的形态梯度来检测所述带注释的图像上的所述线；对基于所识别的图像梯度检测到的所述线和作为形态梯度检测到的所述线进行组合；以及将所述线重建为封闭形状的数据节点和连接线。11.如权利要求8所述的方法，其特征在于，用于提取具有所述多个封闭形状的数据节点和所检测到的连接线的树框...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：爱思唯尔股份有限公司，
类型：发明
国别省市：