从数字化文档提取可搜索的信息制造技术

本公开内容的各实施例涉及从数字化文档提取可搜索的信息。公开了以不可编辑格式从数字化文档进行数据提取和自动验证。纸质文档被数字化或转换成适合用于存储在计算机或其他数字设备上的格式。数字化文档被分类为多种文档类型中的一种文档类型，并且基于文档类型，文档处理规则被选择用于分析数字化文档以实现数据提取和自动验证。数字化文档中的数据字段的位置和值使用机器学习技术而被获取。数据字段值被自动地验证并且被指派置信度得分。具有低置信度得分的数据字段被标记用于手动检查。

【技术实现步骤摘要】
从数字化文档提取可搜索的信息
本公开内容的各实施例涉及从数字化文档提取可搜索的信息。
技术介绍
各种类型的表单或文件被广泛地用于出于各种目的来收集信息。商业、教育和政府组织使用表单以用于收集信息和用于记录保存目的。计算机和网络的出现导致表单被移动到网上，从而使得人们不再需要在纸上填写表单。相反，人们访问网站并且在线填写表单以进行各种活动。在线表单被赋予诸如标签、标记等属性，这使得能够容易地自动地处理由用户经由计算机录入的数据。如此接收的在线表单可以被自动地处理以提取其中的数据以用于存储。然而，被印在纸上的表单继续被广泛地用于各种目的。开发了包括硬件和软件的不同文档处理系统，以解决对由用户手动地填写的纸质表单的处理。
技术实现思路
本公开内容的各实施例涉及从数字化文档提取可搜索的信息。根据本公开内容的一个方面，公开了一种从数字化文档提取可搜索数据的系统，包括：一个或多个处理器；以及非暂态数据存储装置，其包括使得所述处理器进行以下操作的指令：访问包括从多个纸质文档生成的多个数字化文档的根文件，其中所述数字化文档包括所述纸质文档中的一个或多个纸质文档的多个版本和重复副本中的一个或多个；基于与所本文档来自技高网...

【技术保护点】
1.一种从数字化文档提取可搜索数据的系统，包括：一个或多个处理器；以及非暂态数据存储装置，其包括使得所述处理器进行以下操作的指令：访问包括从多个纸质文档生成的多个数字化文档的根文件，其中所述数字化文档包括所述纸质文档中的一个或多个纸质文档的多个版本和重复副本中的一个或多个；基于与所述纸质文档相关联的目的，将所述根文件分类在选自多个文档类型的文档类型下；根据对所述根文件的所述分类来选择文档处理规则；通过从所述根文件排除所述纸质文档中的一个或多个纸质文档的所述重复副本和多个版本，来从所述多个数字化文档选择重要文档的子集，从而使得所述一个或多个纸质文档的独特副本从所述根文件被选择；生成包括重要文档的...

【技术特征摘要】
2017.06.21 IN 201741021754;2017.08.21 US 15/681,831.一种从数字化文档提取可搜索数据的系统，包括：一个或多个处理器；以及非暂态数据存储装置，其包括使得所述处理器进行以下操作的指令：访问包括从多个纸质文档生成的多个数字化文档的根文件，其中所述数字化文档包括所述纸质文档中的一个或多个纸质文档的多个版本和重复副本中的一个或多个；基于与所述纸质文档相关联的目的，将所述根文件分类在选自多个文档类型的文档类型下；根据对所述根文件的所述分类来选择文档处理规则；通过从所述根文件排除所述纸质文档中的一个或多个纸质文档的所述重复副本和多个版本，来从所述多个数字化文档选择重要文档的子集，从而使得所述一个或多个纸质文档的独特副本从所述根文件被选择；生成包括重要文档的所述子集的输入文件，从而使得所述重要文档中的每个重要文档对应于选自所述根文件的所述独特副本中的一个独特副本；从被包括在所述文档处理规则中的数据字段信息访问要从所述输入文件标识的数据字段的列表；基于所述数据字段信息来确定所述输入文件内的所述数据字段中的一个或多个数据字段的值和位置；构建索引结构，所述索引结构支持在所述输入文件内定位所述一个或多个数据字段；验证所述一个或多个数据字段中的至少一个数据字段，所述位置和值针对所述至少一个数据字段从所述输入文件被标识；以及支持经由用户界面对所述一个或多个数据字段和所述输入文件的访问，所述用户界面被配置为经由用于手动验证的颜色编码显示尚未被验证的所述一个或多个数据字段的至少子集。2.根据权利要求1所述的系统，用来访问所述根文件的指令还包括使得所述处理器进行以下操作的指令：通过扫描所述多个纸质文档来接收以不可编辑格式生成的图像。3.根据权利要求1所述的系统，用来将所述根文件分类的指令还包括使得所述处理器进行以下操作的指令：从数据存储库访问与所述多个文档类型相关联的图像、徽标和表单布局中的一种或多种；以及基于所述根文件中的所述图像、徽标和表单布局与从所述数据存储库访问的所述图像、徽标和表单布局之间的匹配，来将所述根文件分类在所述多个文档类型中的一个文档类型下。4.根据权利要求3所述的系统，用来基于匹配来将所述根文件分类在所述多个文档类型中的一个文档类型下的指令还包括使得所述处理器进行以下操作的指令：使用关于图像处理技术而被训练的文档分类器来标识所述根文件中的所述图像、徽标和表单布局与从所述数据存储库访问的所述图像、徽标和表单布局之间的所述匹配。5.根据权利要求1所述的系统，用来从所述多个数字化文档选择重要文档的子集的指令还包括使得所述处理器进行以下操作的指令：访问与所述根文件的所述文档类型相关联的文档处理规则；以及基于所述文档处理规则来选择重要文档的所述子集。6.根据权利要求1所述的系统，用来确定所述输入文件内的所述一个或多个数据字段的值和位置的指令还包括使得所述处理器进行以下操作的指令：访问分别对应于所述数据字段中的每个数据字段的多个字段模型，所述多个字段模型中的每个字段模型包括被训练以从所述输入文件标识所述数据字段的分类器；以及获取由所述输入文件内的所述一个或多个数据字段中的每个数据字段的页码标识的页面内的页码和位置坐标。7.根据权利要求6所述的系统，用来构建索引结构的指令还包括使得所述处理器进行以下操作的指令：构建所述索引结构，所述索引结构针对所述一个或多个数据字段中的每个数据字段存储承载所述数据字段的重要文档的所述子集的相应重要文档的标识、所述输入文件内的所述相应重要文档的页码以及所述相应重要文档的页面内的所述数据字段的所述位置坐标。8.根据权利要求1所述的系统，还包括使得所述处理器进行以下操作的指令：接收标识所述输入文件内的所述数据字段中的至少一个数据字段的位置的用户输入，其中所述至少一个数据字段的所述位置无法被确定。9.根据权利要求8所述的系统，用来手动验证的指令还包括使得所述处理器进行以下操作的指令：关于所述用户输入显式地训练所述数据字段的相应字段模型以用于支持对所述至少一个数据字段定位。10.根据权利要求1所述的系统，还包括使得所述处理器进行以下操作的指令：将验证的数据从所述索引结构上传到外部系统；以及在所述外部系统内生成包括上传的所...

【专利技术属性】
技术研发人员：P·格哈泰吉，N·桑帕特，K·维斯瓦纳坦，S·K·玛哈帕特拉，S·纳拉亚南，R·玛尼，A·克里什南，R·科特纳拉，K·拉克什米纳拉亚南，A·贾因，
申请(专利权)人：埃森哲环球解决方案有限公司，
类型：发明
国别省市：爱尔兰,IE