从扫描文档填充电子表格的方法和装置制造方法及图纸

填充提供了一种用于填充来自电子图像的电子表格的计算机可执行的方法和设备。该方法和设备识别电子图像内一个对象的大小、方向和位置，并且识别来自与对象对应的图像内的像素的信息元素。电子表格的字段连同识别的信息元素一起通过图形用户界面显示给用户。这些信息元素被解析为不同信息类型的标记组。用标记组填充电子表格的至少一些字段以产生一个填充的表格。允许用户通过图形用户界面编辑填充的表格。

【技术实现步骤摘要】

本专利技术涉及一种用于自动填充从扫描文档或其他电子图像填充电子表格的计算机可执行的方法和装置。
技术介绍
从电子图像输入数据，比如从扫描文档输入数据是一个艰苦的任务。往往需要的不只是一个图像的电子副本，比如扫描件，而是也需要表格形式的数据或其他文本信息。大多数用于帮助完成计算机产生的表格的现有技术系统使用光学字符识别、自然语言处理和其他用于标识扫描文档内信息元素的特定类型的人工智能技术。一旦该信息元素被标识，它们被放置在所选表格上一个适当的字段或位置内。然而，这些方法被广泛地认为是非常不可靠的。此外，现有技术的系统一次仅能处理一个文档，这更增加了与填充电子文档相关联的体力和时间耗费。同样的，用于扫描文档并帮助完成计算机产生的表格的硬件需要文档有一个预先确定的大小和方向以便它们可以被适当地扫描。这会限制系统的多功能性而且可能需要购买用于扫描特定类型文档的特定的硬件。例如，现在市场上有名片扫描仪，它允许用户将名片放入扫描仪，一次一张名片，提取联络信息用于填充地址簿。扫描仪的大小可以接受有预定大小和方向的名片。这些扫描仪不能用于扫描其他类型和大小的文档，比如购货收据和帐单。同样地，一次只能扫描一张名片，这就降低了效率。其他名片专用扫描仪，比如Hotcard Technology Pte Ltd所销售的，可以一次扫描多张名片，但名片在扫描仪上必须有特定的方向。所以，填充表格是单调乏味的、费时的而且非常容易出现人为错误。因此，本领域存在对帮助更快且更准确的填充表格的系统和方法的需要。渴望改进的方法和装置从扫描文档或其他电子图像来填充电子表格。
技术实现思路
本专利技术的一个实施例涉及一种用于从电子图像填充电子表格的方法。该方法包括(a)标识在电子图像内具有任意方向的第一对象的大小、方向和位置；(b)标识来自与第一对象相对应的电子图像内的像素的信息元素；(c)通过图形用户界面向用户显示电子表格的字段和所标识的信息元素；和(d)将信息元素解析到不同信息类型的标记组内；(e)用标记组填充电子表格的诸字段以产生填充的表格并允许用户通过图形用户界面编辑填充的字段。本专利技术的另一个实施例涉及包含计算机可执行指令的计算机可读介质，当指令被计算机执行时，执行一方法，该方法包括(a)标识电子图像内具有任意方向的第一对象的大小、方向和位置；(b)标识来自与第一对象相对应的电子图像内的像素的信息元素；(c)通过图形用户界面向用户显示电子表格和标识的信息元素；和(d)将信息元素解析到不同信息类型的标记组内；(e)用标记组填充电子表格的字段以产生填充的表格并允许用户通过图形用户界面编辑填充的字段。本专利技术的另一个实施例涉及至少部分地填充表格的系统。该系统包括对象探测和提取模块，它处理电子图像内的像素以标识电子图像内具有任意方向的对象的大小、方向和位置。一光学字符识别模块标识来自与第一对象相对应的电子图像内的像素的信息元素。一图形用户界面同时向用户显示电子表格字段和标识的信息元素。解析模块解析信息元素到不同信息类型的标记组内并用标记组至少部分地填充字段以产生填充的电子表格，本专利技术的再一个实施例涉及用于填充从具有不同信息类型的第一和第二对象的电子图像填充电子表格的方法。该方法包括标识电子图像内第一和第二对象的大小、方向和位置。该电子图像被划分为与每个对象的大小、方向和位置相关联的电子图像内的像素相对应的子图像。在每个子图像上执行光学字符识别以标识出相对应的对象内的未标记信息元素。对每个子图像而言，未标记信息元素被解析为标记信息元素。用从第一对象的子图像标识出的标记信息元素填充第一电子表格类型内的字段以产生第一填充表格。用从第二对象的子图像标识出的标记信息元素填充第二电子表格类型内的字段以产生第二填充表格。第一和第二填充的表格和未标记信息元素通过图形用户界面显示给用户。允许用户通过图形用户界面编辑第一和第二填充表格。附图简述附图说明图1是依照本专利技术的一个实施例、以常规的个人电脑的形式实现本专利技术的示例性系统的框图。图2是纳入了本专利技术所描述的对象提取系统和方法的图像处理系统的示例性实现的概括框图。图3是说明图2所示的对象提取系统的组件或模块的框图/流程图。图4是说明图3所示的单个对象提取模块的详细框图。图5是说明图4所示的对象探测和提取过程的进一步细节的综合流程图。图6所示是使用对象探测和提取方法查找图像内的单个对象的第一工作示例。图7所示是与图6的对象具有相同大小但不同方向的对象。图8所示是使用对象探测和提取方法查找图像中的多个对象的第二工作示例。图9所示是图8显示的图像的子图像的处理。图10是对每个对象图像中的文本进行光学识别并聚集所识别的文本的方法的流程图。图11是以图10所示的方法聚集识别的文本时所执行步骤的流程图。图12所示是一填表界面，该界面根据本专利技术的一个实施例便于辅助用户填充电子表格内的字段。图13是根据本专利技术另一实施例的填表界面。图14所示是一系统，该系统便于通过图12和13所示的界面根据本专利技术的实施例来辅助填表。图15是对示例性隐藏Markov模型，它便于辅助用户填充表格内的字段。图16是一个柱状图，它说明了本专利技术在辅助用户填充表格方面的功效。图17是根据本专利技术的一个实施例填充表格的方法的流程图。图18是依照本专利技术的另一个实施例填充表格的方法的流程图。图19是依照本专利技术的另一个实施例填充表格的方法的流程图。具体实施例方式本专利技术的实施例提供了一种用于帮助用户用从对象如名片、帐单和购货收据的电子图像获得的数据填充电子表格的方法和装置。该电子图像可以从任何来源获得，比如从电子文件或数字成象设备中获得。在一个实施例中，从一个常规用途的扫描仪或数字照相机中获得图像。每张图像可以包括一个或多个具有未知大小、方向和位置的对象。图像中的每个对象包括特定信息类型的未标记信息元素，比如名片上的姓名和联络信息或购货收据使的卖主、日期和金额。图像中的各个对象被分割成部分，并且经分割的对象中的信息元素被标识。该系统能够识别并分割在同一个图像中被一起扫描的许多小文档。对图像中的每个对象而言，系统识别对象内的文本数据、基于特定信息类型解析文本数据并自动填充目标应用或电子表格内的字段。例如，如果目标应用是地址簿中的联络信息，用户可以一次扫描一张或多张名片并且系统会从各个分割的名片中提取姓名、电话号码、email地址和其他信息。包含十个数字的一串文本可能是美国的电话号码，xxxx@yyyy.zzz形式的字符串可能是一个email地址。来自每张名片的信息元素被用于自动填充用户的联络表。图像可以保留以作参考。另一个实施例中，用户可以扫描多个收据，拖放日期、金额和/或其他文本块到金融软件应用中适当的字段，比如费用报告应用、电子数据表或货币管理软件，比如Microsoft MoneyTM中的字段。收据的图像可以存储以作参考和/或与费用报告一并发送。对费用报告文件系统而言，使用付费方的公共密匙可以加密图像文件的密码散列以防止篡改数字图像。该系统通过图形用户界面将解析的文本和填充的字段呈现给用户并免于出错，因为识别的文本聚集可被拖放到适当的字段。同样地，用户可以直接输入数据到任一字段。即使光学字符识别(OCR)未能正确地识别名片上的文本块，比如公司名称，但它可能已经聚集了本文档来自技高网...

【技术保护点】
一种用于从电子图像填充电子表格的计算机可实现方法，该方法包括：（ａ）标识电子图像内具有任意方向的第一对象的大小、方向和位置；（ｂ）从对应于第一对象的电子图像内像素标识信息元素；（ｃ）通过图形用户界面向用户显示所述电子 表格的字段和所标识的信息元素；（ｄ）把信息元素解析到不同信息类型的标记组；以及（ｅ）用所述标记组填充所述电子表格的字段以产生一填充的表格，且允许用户通过图形用户界面编辑填充的字段。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：CE何里，KH切拉皮拉，PA维奥拉，TT克里斯蒂安松，
申请(专利权)人：微软公司，
类型：发明
国别省市：US[美国]