结合RPA和AI的表格生成方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种结合RPA和AI的表格生成方法、装置、电子设备及存储介质，涉及人工智能领域。该方案为：由RPA系统执行，RPA系统从图像中基于人工智能AI提取第一表格的横线和竖线；RPA系统获取横线与竖线的交点集合，其中，交点集合中包括由横线和竖线相交而成的第一类交点，以及横线的延长线和/或竖线的延长线相交而成的第二类交点；RPA系统根据交点集合生成与第一表格一致的空白的第二表格；RPA系统将从图像中基于OCR识别出的文本条目，填充至空白的第二表格中，得到目标表格。本公开运用RPA技术，识别图片中的表格，并将其还原为拥有相同表格结构的表格文档，自动地将线下数据转化为线上数据，取代了繁琐的人工处理流程，提高了表格生成的效率。了表格生成的效率。了表格生成的效率。

【技术实现步骤摘要】
结合RPA和AI的表格生成方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能领域，尤其涉及一种结合RPA和AI的表格生成方法、装置、电子设备及存储介质。

技术介绍

[0002]机器人流程自动化(RoboticProcessAutomation，RPA)是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。
[0003]人工智能(ArtificialIntelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。
[0004]相关技术中，由工作人员打字、复制粘贴将图片中的表格转化为线上的表格文档，工作重复机械，浪费人力且效率不高。因此，如何提高表格生成的效率，解放人力，是现在需要急迫解决的事情。

技术实现思路

[0005]本公开提供了一种结合RPA和AI的表格生成方法、装置、电子设备及存储介质。
[0006]根据本公开的一方面，提供了一种结合RPA和AI的表格生成方法，包括：
[0007]RPA系统从图像中基于人工智能AI提取第一表格的横线和竖线；
[0008]RPA系统获取横线与竖线的交点集合，其中，交点集合中包括由横线和竖线相交而成的第一类交点，以及横线的延长线和/或竖线的延长线相交而成的第二类交点；
[0009]RPA系统根据交点集合生成与第一表格一致的空白的第二表格；
[0010]RPA系统将从图像中基于OCR识别出的文本条目，填充至空白的第二表格中，得到目标表格。
[0011]本公开实施例运用RPA技术，识别图片中的表格，并将其还原为拥有相同表格结构的表格文档，自动地将线下数据转化为线上数据，取代了繁琐的人工处理流程，提高了表格生成的效率。
[0012]根据本公开的另一方面，提供了一种结合RPA和AI的表格生成装置，包括：
[0013]提取模块，用于从图像中基于人工智能AI提取第一表格的横线和竖线；
[0014]交点获取模块，用于获取横线与竖线的交点集合，其中，交点集合中包括由横线和竖线相交而成的第一类交点，以及横线的延长线和/或竖线的延长线相交而成的第二类交点；
[0015]生成模块，用于根据交点集合生成与第一表格一致的空白的第二表格；
[0016]填充模块，用于将从图像中基于OCR识别出的文本条目，填充至空白的第二表格中，得到目标表格。
[0017]根据本公开的另一方面，提供了一种电子设备，包括存储器、处理器；
[0018]其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现本公开第一个方面实施例的结合RPA和AI的表格生成方法。
[0019]根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一个方面实施例的结合RPA和AI的表格生成方法。
[0020]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一个方面实施例的结合RPA和AI的表格生成方法。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]图1是根据本公开一个实施例的结合RPA和AI的表格生成方法的流程图；
[0023]图2是待识别的表格与检测到的横线和竖线的示意图；
[0024]图3是检测到的横线与竖线构成的交点集合的示意图；
[0025]图4是根据本公开一个实施例的结合RPA和AI的表格生成方法的流程图；
[0026]图5是枚举候选单元格的示意图；
[0027]图6是根据本公开一个实施例的结合RPA和AI的表格生成方法的流程图；
[0028]图7是根据本公开一个实施例的结合RPA和AI的表格生成方法的流程图；
[0029]图8是根据本公开一个实施例的结合RPA和AI的表格生成方法的流程图；
[0030]图9是由交点组成交点对的示意图；
[0031]图10是由交点对组成基础单元格的示意图；
[0032]图11是根据本公开一个实施例的结合RPA和AI的表格生成方法的流程图；
[0033]图12是确定目标单元格后，更新矩阵元素取值的示意图；
[0034]图13是检测到目标行后，分裂为两个子目标布尔矩阵的示意图；
[0035]图14是根据本公开一个实施例的结合RPA和AI的表格生成方法的流程图；
[0036]图15是根据本公开一个实施例的结合RPA和AI的表格生成方法的流程图；
[0037]图16是根据本公开一个实施例的结合RPA和AI的表格生成方法的流程图；
[0038]图17是根据本公开一个实施例的结合RPA和AI的表格生成装置的结构图；
[0039]图18是用来实现本公开实施例的结合RPA和AI的表格生成方法的电子设备的框图。
具体实施方式
[0040]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0041]下面结合参考附图描述本公开的结合RPA和AI的表格生成方法、装置、电子设备及存储介质。
[0042]图1是根据本公开一个实施例的结合RPA和AI的表格生成方法的流程图，如图1所示，该方法包括以下步骤：
[0043]S101，RPA系统从图像中基于人工智能AI提取第一表格的横线和竖线。
[0044]RPA是模拟人在PC上的操作行为的一项技术，现已开始应用于企业生产办公。RPA的核心是通过自动化技术来“替代人”进行重复性、低价值、无需人工决策等固定性流程化
操作，从而有效提升工作效率，减少错误。
[0045]RPA系统获取带有表格的图像，第一表格即为图像中待识别的表格，使用表格模型分别检测出图像中的横竖表格线，表格线可以一定程度的倾斜和弯曲。基于人工智能AI提取第一表格的横线和竖线，可选地，可以用传统的计算机视觉(CV)算法提取图中的横竖线。对于端点距离近的线段进行连接，防止有识别误差，得到最终的横竖线。以图2作为示例，从左至右分别为原图、检测到的横线、检测到的竖线。
[0046]S102，RPA系统获取横线与竖线的交点集合，其中，交点集合中包括由横线和竖线相交而成的第一类交点，以及横线的延长线和/或竖线的延长线相交而成的第二类交点。
[0047]RPA系统获取横线与竖线的交点集合，假设上述步骤中共得到了x条横线和y条竖线，计算每对横竖线的交点坐标，无论线段是否相交，共可得到x*y个点，如图3所示。
[0048]其中，交点集合中包括由横线和竖线本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合RPA和AI的表格生成方法，其特征在于，由RPA系统执行，所述方法包括：所述RPA系统从图像中基于人工智能AI提取第一表格的横线和竖线；所述RPA系统获取所述横线与所述竖线的交点集合，其中，所述交点集合中包括由所述横线和所述竖线相交而成的第一类交点，以及所述横线的延长线和/或所述竖线的延长线相交而成的第二类交点；所述RPA系统根据所述交点集合生成与所述第一表格一致的空白的第二表格；所述RPA系统将从所述图像中基于光学字符识别ORC识别出的文本条目，填充至所述空白的第二表格中，得到目标表格。2.根据权利要求1所述的方法，其特征在于，所述RPA系统根据所述交点集合生成与所述第一表格一致的空白的第二表格，包括：所述RPA系统根据所述交点集合中的交点对单元进行枚举，获取候选单元格和所述候选单元格的属性信息；所述RPA系统根据所述候选单元格的属性信息，从所述候选单元格中识别用于生成所述空白的第二表格的目标单元格；所述RPA系统对所述目标单元格按照位置排布生成所述空白的第二表格。3.根据权利要求2所述的方法，其特征在于，所述RPA系统根据所述候选单元格的属性信息，从所述候选单元格中识别用于生成所述空白的第二表格的目标单元格，包括：所述RPA系统对枚举的所有候选单元格，按照单元格面积从小到大进行排序；所述RPA系统按序对所述候选单元格进行遍历，对遍历到的目标候选单元格的存在性进行判断；所述RPA系统每当判断出所述目标候选单元格存在，则从未遍历到的所述候选单元格中删除与所述目标候选单元格存在重叠的单元格，并将判断出存在的所述目标候选单元格确定为一个所述目标单元格；所述RPA系统对删除后未遍历到的所述候选单元格继续按序遍历，直至遍历结束得到所有的所述目标单元格。4.根据权利要求3所述的方法，其特征在于，所述RPA系统按序对所述候选单元格进行遍历，对遍历到的目标候选单元格的存在性进行判断，包括：所述RPA系统获取所述目标候选单元格对应的所述横线的第一起终点和所述竖线的第二起终点；所述RPA系统根据所述目标候选单元格的四角坐标、所述第一起终点和所述第二起终点，判断所述目标候选单元格的四条边是否均存在；所述RPA系统在判断出所述四条边均存在时，确定所述目标候选单元格存在。5.根据权利要求2
‑
4任一项所述的方法，其特征在于，所述RPA系统根据所述候选单元格的属性信息，从所述候选单元格中识别用于生成所述空白的第二表格的目标单元格之前，还包括：所述RPA系统将所述交点集合中的交点进行顺序排列，并按照同一方向将交点集合中相邻的交点，组成多个交点对；所述RPA系统按照所述同一方向依次获取相邻的所述交点对，并由所述相邻的所述交点对组成基础单元格；
所述RPA系统将所述基础单元格作为矩阵元素，构建布尔矩阵。6.根据权利要求5所述的方法，其特征在于，所述RPA系统对所述目标单元格按照位置排布生成所述空白的第二表格，包括：所述RPA系统根据所述目标单元格对所述布尔矩阵中每个所述矩阵元素进行赋值，以生成目标布尔矩阵；所述RPA系统识别所述目标布尔矩阵中是否包括均为第一取值的目标行和/或目标列；所述RPA系统在存在所述目标行和/或所述目标列，按照所述目标行和/或所述目标列对所述布尔矩阵进行分裂，生成子目标布尔矩阵；所述RPA系统获取所述子目标波尔矩阵对应的所述目标单元格，并按照位置排布以生成所述子目标布尔矩阵对应的所述空白的第二表格。7.根据权利要求6所述的方法，其特征在于，所述RPA系统根据所述目标单元格对所述布尔矩阵中每个所述矩阵元素进行赋值，以生成目标布尔矩阵，包括：所述RPA系统根据所述目标单元格的四角坐标，并根据所述四角坐标获取所述目标单元格所包括的第一基础单元格，并对所述第一基础单元格对应的矩阵元素从所述第一取值更新为第二取值。8.根据权利要求6所述的方法，其特征在于，所述RPA系统在存在所述目标行和/或所述目标列，按照所述目标行和/或所述目标列对所述布尔矩阵进行分裂，生成子目标布尔矩阵之后，还包括：所述RPA系统识别所述子目标布尔矩阵中是否存在取值为所述第一取值的目标矩阵元素；所述RPA系统将所述目标矩阵元素的取值从所述第一取值更新为所述第二取值。9.根据权利要求8所述的方法，其特征在于，所述RPA系统将所述矩阵元素的取值从所述第一取值更新为所述第二取值之前，还包括：所述RPA系统获取所...

【专利技术属性】
技术研发人员：黄安，汪冠春，胡一川，褚瑞，李玮，
申请(专利权)人：来也科技北京有限公司，
类型：发明
国别省市：