用于标记、检查和校正P&ID的标记预测的技术制造技术

在示例实施例中，提供了用于有效标记、检查和校正以仅图像格式的P&ID的预测的技术。为了标记P&ID中的文本框，标记应用执行OCR算法以预测每一个文本框周围的边界框和每一个文本框内的机器可读文本，并且在其用户界面中显示这些预测。标记应用提供用于接收对于每一个预测的边界框和预测的机器可读文本的用户确认或校正的功能性。为了标记P&ID中的符号，标记应用接收用户输入以在符号周围绘制边界框并将符号分配给装备的种类。在存在特定符号的多次出现的情况下，标记应用提供用于复制并自动检测和分配边界框和种类的功能性。为了标记P&ID中的连接，标记应用接收用户输入以在对应符号处定义连接点，并且创建连接点之间的连接。接。接。

【技术实现步骤摘要】
用于标记、检查和校正P&ID的标记预测的技术


[0001]本公开总体上涉及在工厂和基础设施项目中的管路和仪表图（P&ID）的使用，并且更具体地涉及用于标记、检查和校正以仅图像格式的P&ID的预测的技术。

技术介绍

[0002]许多工程领域利用功能图。与表示元件的特定位置、大小和形状的物理模型相比之下，功能图与位置、大小和形状无关，而是聚焦于工艺流程上。在工厂和基础设施设计和维护的领域中，常见类型的功能图是P&ID。图1是示例P&ID 100的一部分的视图。P&ID包括表示元件（例如，阀、泵，容器、仪器等）的符号110、提供元件的描述（例如，名称、代码、属性等）的文本框120、表示元件（例如，管路、电线等）之间的连接的连接130、以及其它信息（例如，标题框、图例、注释等）（未示出）。
[0003]典型的工厂或基础设施项目可能具有在许多年的过程中已经创建的数百个相关P&ID。这些P&ID通常可能以缺少关于其中表示的符号、文本框和连接的机器可读信息（例如，元数据）的仅图像格式（例如，作为诸如JPG或PNG的图形文件，或作为仅图像PDF等）可得。有时，仅图像P&ID源自打印文档的扫描，并且质量差、具有低分辨率、视觉伪影、不清醒或模糊部分等。
[0004]以仅图像格式，P&ID中的信息难以验证并且难以使用。越来越期望创建工厂和基础设施的数字孪生（twin），并且P&ID中的信息在创建这样的模型时是通常有用的。然而，由于以仅图像格式的信息在很大程度上对于设计和建模应用是达不到的，所以获得这样的信息通常涉及冗长的手动检查和数据输入。即使利用仅图像格式来更新P&ID本身也是困难的。通常，为了进行改变，需要手动重新创建整个P&ID，来以可更容易编辑的机器可读形式表示信息。
[0005]解决以仅图像格式的P&ID问题的一种可能的方法是使用机器学习来从P&ID中自动提取信息并将其以机器可读形式存储。然而，用于P&ID数据提取的机器学习算法的部署提出了辅助技术挑战。通常，机器学习需要大量的带注释数据，人工智能可以根据所述带注释数据推断机器学习模型。对于P&ID数据提取，该带注释数据可以采取标记的示例P&ID的形式，其包括文本框、符号、连接等的描绘（例如，光栅图像）和对应的机器可读标记。然而，这样的标记的示例P&ID已经很少存在，并且出于使用现有软件应用和工作流程来训练机器学习算法的目的而特别创建标记的示例P&ID是艰巨的任务。典型的P&ID可以包括数千个文本框、符号和连接。然而，现有软件应用和工作流程通常缺乏用于提高重复任务的效率的任何显著的自动化或支持。虽然当仅存在几十个元件时其可能是可工作的，但是当元件的数量调节成数千个时，其被证明是不切实际的。
[0006]在处理用于P&ID数据提取的机器学习算法的输出时面临类似的技术挑战。输出可以采取标记的P&ID的形式，其中机器学习算法已经正确地预测了大多数标记，但是存在几个错误。可能期望使用户检查预测的标记并校正错误。然而，使用现有软件应用和工作流程，这是艰巨的任务。类似于在创建用于训练的标记的数据集合时，对于提高重复任务的效
率的任何显著自动化或支持的缺乏阻碍了预测的标记的检查和校正，从而使得工作流程不切实际。
[0007]因此，存在对用于标记、检查和校正以仅图像格式的P&ID的预测的改进技术的需要。

技术实现思路

[0008]在示例实施例中，提供了用于有效地标记、检查和校正以仅图像格式（例如，JPG、PNG、仅图像PDF等）的P&ID的预测的技术。标记应用加载仅图像P&ID并对其进行预处理以光栅化P&ID、针对P&ID调整大小和/或颜色上分离P&ID。为了标记P&ID中的文本框，标记应用执行OCR算法以预测每一个文本框周围的边界框和每一个文本框内的机器可读文本，并且在其用户界面中显示这些预测。标记应用提供用于接收对于每一个预测的边界框和预测的机器可读文本的用户确认或校正的功能性。为了标记P&ID中的符号，标记应用接收用户输入以在符号周围绘制边界框并将符号分配给装备的种类。在存在特定符号的多次出现的情况下，标记应用提供用于复制并自动检测和分配边界框和种类的功能性。在复制中，标记应用将给定符号周围的边界框复制到另一符号周围，并将待分配的种类复制到另一符号。在自动检测和分配中，标记应用自动检测对应于给定符号的其它相同符号、将边界框放置在其周围并且自动地向其分配与给定符号相同的种类。为了标记P&ID中的连接，标记应用接收用户输入以定义对应符号处的连接点，并且创建连接点之间的连接。
[0009]除了在此
技术实现思路
中讨论的那些之外，各种附加特征可以由标记应用实现，以提供自动化、提高工作流程效率或提供其它益处。此
技术实现思路
旨在简单地作为对读者的简要介绍，并且不指示或暗示本文中提及的示例涵盖本公开的所有方面，或者是本公开的必要或基本方面。
附图说明
[0010]描述涉及示例实施例的附图，其中：图1是示例P&ID的一部分的视图；图2是可以用于针对以仅图像格式（例如，JPG、PNG、仅图像PDF等）的P&ID进行标记、检查标记和校正预测的示例标记应用的高级框图；图3A
‑
3B是用于将机器可读标记分配给以仅图像格式的P&ID的高级步骤序列；图3C是用于示例冲突检测算法的步骤序列；图4是示出主窗口中的光栅化P&ID的示例标记应用的用户界面的屏幕截图（shot）；图5是示出第一文本框的正确预测的边界框和正确预测的机器可读文本的示例标记应用的用户界面的屏幕截图；图6是示出第二文本框的错误预测的边界框和错误预测的机器可读文本的示例标记应用的用户界面的屏幕截图；图7是示出对第二文本框的错误预测的边界框的校正的示例标记应用的用户界面的屏幕截图；图8是示出对第二文本框的错误预测的机器可读文本的校正的示例标记应用的用
户界面的屏幕截图；图9是示出绘制符号的边界框的示例标记应用的用户界面的屏幕截图；图10是示出选择装备的种类的示例标记应用的用户界面的屏幕截图；图11是示出复制操作的示例标记应用的用户界面的屏幕截图；图12是示出将边界框和种类自动分配给符号的示例标记应用的用户界面的屏幕截图；图13是示出标记符号的第一属性的示例标记应用的用户界面的屏幕截图；图14是示出标记符号的第二属性的示例标记应用的用户界面的屏幕截图；图15是示出定义连接点和创建连接的示例标记应用的用户界面的屏幕截图；图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于将机器可读标记分配给以仅图像格式的管路和仪表图（P&ID）的方法，包括：至少部分地通过以下方式标记所述P&ID中的一个或多个文本框：在计算设备上执行的标记应用的用户界面中显示所述文本框中的每一个文本框的预测的边界框和预测的机器可读文本，以及对于所述一个或多个文本框中的至少一个文本框，在所述用户界面中接收对所述预测的边界框或预测的机器可读文本的校正，并且更新所述预测的边界框或预测的机器可读文本；至少部分地通过以下方式来标记所述P&ID中的一个或多个符号：在所述用户界面中显示给定符号周围的边界框，向所述给定符号分配装备的种类，以及自动检测所述P&ID中的与所述给定符号对应的一个或多个其它符号，将边界框放置在所述一个或多个其它符号中的每一个的周围，并且将所述装备的种类分配给所述一个或多个其它符号中的每一个；至少部分地通过以下方式标记所述P&ID中的一个或多个连接：定义对应符号处的连接点，以及创建所述连接点之间的连接；将所述文本框中的一个或多个与所述P&ID中的相应符号或连接相关联；以及将用于所述一个或多个文本框、符号和连接以及其之间的关联的所述标记以机器可读格式存储在所述计算设备的存储器中。2.根据权利要求1所述的方法，其中作为生成用于训练P&ID数据提取应用的机器学习算法的标记的数据集合的一部分来执行所述标记一个或多个文本框、所述标记一个或多个符号和所述标记一个或多个连接，并且所述方法还包括：将所述机器可读格式作为训练输入提供给所述P&ID数据提取应用的所述机器学习算法。3.根据权利要求1所述的方法，其中作为对P&ID数据提取应用的机器学习算法的输出的预测标记校正错误的一部分来执行所述标记一个或多个文本框、所述标记一个或多个符号和所述标记一个或多个连接，并且所述机器可读格式是所述P&ID数据提取应用的校正的输出。4.根据权利要求1所述的方法，其中所述标记所述P&ID中的一个或多个文本框还包括：通过光学字符识别（OCR）算法确定所述文本框中的每一个的所述预测的边界框和预测的机器可读文本。5.根据权利要求1所述的方法，其中所述标记所述P&ID中的一个或多个文本框还包括：在所述用户界面中接收所述预测的边界框或预测的机器可读文本中的一个或多个是正确的确认，以及其中每一个文本框标记有标志，直到接收到对所述预测的边界框或预测的机器可读文本的对应校正，或者接收到所述预测的边界框或预测的机器可读文本是正确的对应确认。6.根据权利要求1所述的方法，其中所述标记所述P&ID中的一个或多个符号还包括：响应于所述用户界面中的用户输入，在所述给定符号周围绘制所述边界框。
7.根据权利要求1所述的方法，其中所述标记所述P&ID中的一个或多个符号还包括：在所述用户界面中接收对所述自动检测到的边界框或自动分配的装备的种类的校正或所述自动检测到的边界框或自动分配的装备的种类对于所述一个或多个其它符号中的每一个是正确的确认，其中所述一个或多个其它符号中的每一个标记有标志，直到接收到对所述自动检测到的边界框或自动分配的装备的种类的对应校正，或接收到所述预测的边界框或预测的机器可读文本是正确的对应确认。8.根据权利要求1所述的方法，其中所述标记所述P&ID中的一个或多个符号还包括：响应于所述用户界面中的用户输入，将所述给定符号周围的所述边界框复制到另一符号周围，并且将待分配的装备的种类复制到所述另一符号。9.根据权利要求1所述的方法，还包括：至少部分地通过以下方式标记所述P&ID中的一个或多个符号的属性：响应于所述用户界面中的用户输入，为所述一个或多个符号中的每一个选择属性列表上的属性的值。10.根据权利要求1所述的方法，还包括：至少部分地通过以下方式标记所述P&ID中的连接的属性：响应于所述用...

【专利技术属性】
技术研发人员：KA，
申请(专利权)人：本特利系统有限公司，
类型：发明
国别省市：