促进表单中的可填写区域的标识制造技术

提供了促进对可填写区域和/或与其相关联的数据的标识的方法和系统。在实施例中，候选可填写区域被获得，该候选可填写区域指示表单中用于作为可填写的候选的区域。指示来自表单的文本的文本上下文和指示文本在表单内的定位的空间上下文也被获得。与候选可填写区域相关联的可填写区域数据经由机器学习模型使用候选可填写区域、文本上下文和空间上下文被生成。此后，可填写表单使用可填写区域数据被生成，该可填写表单具有用于接受输入的一个或多个可填写区域。个可填写区域。个可填写区域。

【技术实现步骤摘要】
促进表单中的可填写区域的标识

技术介绍

[0001]通常用于创建表单的可填写版本的数字表单创作过程是手动的。具体而言，表单创作工作流通常包括定位对应于可填写表单字段的矩形区域、标识字段标记、指派字段类型和/或分组可填写表单字段(例如，进入复选框或单选按钮组)。然而，涉及期望的字段和字段类型的这样的手动创建的表单字段创作是乏味、耗时且容易出错的。尽管使用计算机视觉技术在表单内创建可填写框已经取得了一些技术进步，但这样的常规技术可能存在缺陷。

技术实现思路

[0002]本文描述的实施例旨在促进对可填写区域和与其相关联的数据的标识。在这方面，对于电子表单或文档，可填写区域和与其相关联的数据可以以准确且有效的方式被标识和/或被生成。特别地，本文描述的实施例与对应的文本上下文和空间上下文相关联地分析候选可填写区域(例如，经由对象检测器所预测的)以生成可填写区域数据。有利地，因为考虑了围绕候选可填写区域的上下文，利用文本上下文和空间上下文来生成可填写区域数据能够标识更准确的数据。可填写区域数据的更准确标识能够生成更用户友好的数字可填写表单。特别地，数字可填写表单中包括的可填写区域更有可能被准确定位、分类、分组等，从而引起由用户要求的更少修改以及计算设备的更少资源。
附图说明
[0003]图1描绘了本公开的一个或多个实施例可以在其中被实践的环境的图。
[0004]图2描绘了根据本公开的各种实施例的说明性表单辅助工具。
[0005]图3描绘了根据本公开的各种实施例的示例候选区域。
[0006]图4提供了根据本公开的实施例的与对象检测器相关联的示例输出。
[0007]图5示出了根据本技术的实施例的各种词元化序列示例的示例。
[0008]图6A至图6B提供了根据本技术的实施例的与冗余任务的执行相关的示例。
[0009]图7提供了根据本技术的实施例的不同分组的一个示例。
[0010]图8提供了根据本技术的实施例的用于执行对可填写区域和/或与可填写区域相关联的数据的标识的示例处理流程。
[0011]图9示出了根据本技术的实施例的用于促进对表单可填写区域和与表单可填写区域相关联的数据的标识的示例方法。
[0012]图10示出了根据本技术的实施例的用于促进对表单可填写区域和与表单可填写区域相关联的数据的标识的另一示例方法。
[0013]图11是本公开的实施例可以在其中被采用的示例计算设备的框图。
具体实施方式
[0014]通常期望具有可填写的数字表单，使得信息可以被输入到数字表单的可填写部分
中。然而，在许多情况下，表单最初没有可填写部分，并且用户必须在表单上手动创建可填写部分。在这方面，某些表单填写或电子签名应用允许用户创建可填写的表单或数字文档(例如合同)以进行签名和/或以其他方式填写信息。在一些情况下，在将信息输入到表单中或将得到的数字表单发送给其(多个)接收者之前，发起方将从纸质文档开始，将纸质文档数字化(例如，扫描、应用光学字符识别(OCR))，并且手动创建所期望的字段和字段类型。在其他一些情况下，用户可能想要填写数字表单，但该表单尚未创建相关的可填写部分或可填写部分类型。该表单可能包括带下划线的区域或边界框，但在许多情况下，没有相关联的元数据将区域标识为要填写的部分和/或标识该区域应接受的输入数据的类型。
[0015]通常，用于创建表单的可填写版本的数字表单创作过程是手动的。为此，表单创作工作流通常包括定位对应于可填写表单字段的矩形区域、标识字段标记、指派字段类型和/或分组可填写表单字段(例如，分为复选框或单选按钮组)。然而，涉及所期望的字段和字段类型的这样的手动创建的表单字段创作是乏味、耗时且容易出错的。此外，这样的手动表单字段创作需要并消耗计算资源来导航文档、标识每个期望的字段并指派对应的字段类型。
[0016]为了向这样的手动授权工作流提供一些自动化，一些常规的计算机视觉技术被用于检测可填写字段。尽管这样的常规的计算机视觉技术可以标识空白可填写框，但这样的技术可能存在缺陷。例如，常规的计算机视觉技术在这样的可填写框不应该存在的位置中创建可填写框和/或未能在这样的可填写框应该存在的位置中创建可填写框。作为另一示例，常规的计算机视觉技术可能不提供与可填写框相关联的分类标记，或者可能为框提供不正确的分类标记。基于这些不足，可能需要用户手动调整或修复最初检测到的可填写框。例如，用户可能需要重新定位可填写框、移除可填写框、添加新的可填写框、修改分类标记、添加新的分类标记等。这样的手动可填写框修改也可能是乏味、耗时且容易出错的。此外，这样的手动过程还需要并消耗计算资源来导航文档、标识适宜的修改并进行适宜的修改。
[0017]因此，本技术的实施例针对促进对可填写区域和与其相关联的数据的标识。在这方面，对于电子表单或文档，可填写区域以及与其相关联的数据可以以准确且有效的方式被标识和/或被生成。特别地，本文描述的实施例与对应的文本上下文和空间上下文相关联地分析候选可填写区域，以生成可填写区域数据。有利地，因为考虑了围绕候选可填写区域的上下文，利用文本上下文和空间上下文来生成可填写区域数据能够标识更准确的数据。可填写区域数据的更准确标识能够生成更用户友好的数字可填写表单。特别地，数字可填写表单中包括的可填写区域更有可能被准确定位、分类、分组等，从而引起由用户要求的更少修改以及计算设备的更少资源。
[0018]在操作中，为了高效且有效地生成或标识针对表单的可填写区域数据，候选可填写区域被标识，例如经由对象检测器。可填写区域通常是指电子表单内的可以提供输入(例如，文本)但当前没有输入的区域或区。可填写区域可以被表示为任一数目的形状，诸如矩形、正方形、圆形、自由形状或其他形状。候选可填写区域是用于包括在电子表单中的候选的或者可能的可填写区域。在这方面，候选可填写区域是空白空间，即表单上当前未填写文本的空间。在实施例中，对象检测器基于图像分析来标识候选可填写区域，包括视觉特征和语言特征。此后，语言模型(例如，布局或空间语言模型)分析候选可填写区域以及文本上下文和空间上下文，以标识候选可填写区域中的哪个候选可填写区域要指定为针对电子表单的可填写区域和/或标识与可填写区域相关联的数据(例如，(多个)可填写区域的(多个)类
型、与可填写区域相关联的分组等)。如本文所述，布局语言模型可以被训练以执行多个任务中的任一任务以标识各种类型的可填写区域数据。
[0019]如本文所述，为了生成可填写区域数据，语言模型可以将词元序列作为输入以输出可填写区域数据。词元序列输入通常包括词元(包括文本词元和区域词元)的序列。文本词元可以表示表单中的单词，并且区域词元可以表示经由对象检测器标识的候选可填写区域。文本词元和区域词元可以交织，使得序列表示在表单中反映的序列。词元的顺序可以使用与文档中的文本和候选可填写区域相关联的定位数据来标识。除了词元序列之外，语言模型可以分析其他类型的数据，诸如空间指示符、候选区域特征、分类标记或类型等。
[0020]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：获得候选可填写区域，所述候选可填写区域指示表单中用于作为可填写的候选的区域，所述候选可填写区域经由第一机器学习模型而被标识，所述第一机器学习模型分析与所述表单相关联的图像；获得文本上下文和空间上下文，所述文本上下文指示来自所述表单的文本，所述空间上下文指示所述文本在所述表单内的定位；经由第二机器学习模型，使用所述候选可填写区域、所述文本上下文和所述空间上下文生成与所述候选可填写区域相关联的可填写区域数据；以及使用所述可填写区域数据自动生成可填写表单，所述可填写表单复制所述表单的内容并且具有用于接受输入的一个或多个可填写区域。2.根据权利要求1所述的方法，其中所述第一机器学习模型包括视觉机器学习模型。3.根据权利要求1所述的方法，其中由所述第一机器学习模型分析以标识所述候选可填写区域的所述图像包括原始图像和表示所述表单内的文本的语言图像。4.根据权利要求1所述的方法，其中所述表单响应于对期望从所述表单生成所述可填写表单的指示而被获得。5.根据权利要求1所述的方法，还包括：获得与所述表单相关联的图像特征；以及经由所述第一机器学习模型预测所述候选可填写区域和与候选可填写区域的类型集合相关联的概率。6.根据权利要求1所述的方法，其中所述文本上下文和空间上下文从所述表单中被标识。7.根据权利要求1所述的方法，其中所述文本上下文包括来自所述表单的单词，并且所述空间上下文包括与所述单词相关联的边界框或坐标。8.根据权利要求1所述的方法，其中所述第二机器学习模型还使用与所述候选可填写区域相关联的候选区域特征来生成所述可填写区域数据，所述候选区域特征经由用于标识所述候选可填写区域的所述第一机器学习模型而被生成。9.根据权利要求1所述的方法，其中所述可填写区域数据包括指示可填写区域的类型、可填写区域的子类型、重复的可填写区域、可填写区域的组、或以上的组合的数据。10.一种或多种非瞬态计算机可读存储介质，存储计算机可执行指令，所述计算机可执行指令在由处理设备执行时使所述处理设备执行操作，所述操作包括：获得候选可填写区域，所述候选可填写区域指示表单中用于作为可填写的候选的区域的定位，所述候选可填写区域经由视觉机器学习模型而被生成，所述视觉机器学习模型分析与所述表单相关联的图像；获得文本上下文和空间上下文，所述文本上下文指示来自所述表单的文本，所述空间上下文指示所述文本在所述表单内的定位；使用所述文本上下文和所述空间上下文生成与所述候选可填写区域相关联的词元序列，其中所述词元序列包括区域词元和文本词元，所述区域词元表示所述候选可填写区域，所述文本词元表示来...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：