结合RPA和AI的软件界面元素的识别方法与装置制造方法及图纸

本申请提供一种结合RPA和AI的软件界面元素的识别方法与装置，涉及RPA和AI领域，该方法包括：提取当前软件界面中的界面元素；基于目标元素的结构模式及所述界面元素，进行相似度运算；根据相似度运算结果，确定所述目标元素在当前软件界面上的分布信息。从而可以提升机器人流程自动化过程中结合RPA和AI的对软件界面上的界面元素的匹配准确度，实现方式简单，效果稳定可靠。

【技术实现步骤摘要】
结合RPA和AI的软件界面元素的识别方法与装置
本申请涉及机器人流程自动化(RoboticProcessAutomation，简称RPA)、人工智能(ArtificialIntelligence，简称AI)
，尤其涉及一种结合RPA和AI的软件界面元素的识别方法与装置。
技术介绍
机器人流程自动化(RoboticProcessAutomation，简称RPA)是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。人工智能(ArtificialIntelligence，简称AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。目前，RPA和AI技术具有自动化程度高、精确度高、成本低的优点，得到了广泛的应用。现有技术中，为了保证自动化流程的准确性，软件机器人在运行流程时需要精准地识别目标元素的位置，并对其进行自动化操作。在远程桌面或虚拟机等应用场景，一般是通过计算机视觉技术检测界面元素，并提取其特征属性作为在流程运行时界面元素的匹配依据。然而，这种匹配方式并不稳定，很容易导致目标元素匹配错误或匹配失败，使得自动化流程的准确度低下。
技术实现思路
本申请提供一种结合RPA和AI的软件界面元素的识别方法与装置，可以提升机器人流程自动化过程中对软件界面上的界面元素的匹配准确度，实现方式简单，效果稳定可靠。第一方面，本申请提供一种结合RPA和AI的软件界面元素的识别方法，包括：提取当前软件界面中的界面元素；基于目标元素的结构模式及所述界面元素，进行相似度运算；根据相似度运算结果，确定所述目标元素在当前软件界面上的分布信息。在一种可能的设计中，所述提取当前软件界面中的界面元素，包括：截取当前软件界面的界面图像；通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述界面图像中提取出所有界面元素。在一种可能的设计中，所述结构模式，包括：目标元素及结构元素组成的基元集合；以及基元集合中各元素两两之间的位置关系的位置关系集合。在一种可能的设计中，所述基于目标元素的结构模式及所述界面元素，进行相似度运算，包括：根据所述基元集合，确定当前软件界面中的所有近似基元集合；对各近似基元集合，基于所述基元集合中各元素与所述基元集合中各元素的相似度，得到各近似基元集合的第一相似度集合；基于各近似基元集合中两两元素之间的位置关系，与所述基元集合中对应的两两元素之间的位置关系的相似度，确定各近似基元集合的第二相似度；基于所述第一相似度集合及所述第二相似度，确定所述基元集合与各近似基元集合的总相似度。在一种可能的设计中，根据所述基元集合，确定当前软件界面中的所有近似基元集合，包括：查找与所述基元集合中的目标元素匹配的界面元素，构成目标元素对应的第一界面元素集合；分别查找与所述基元集合中的各个结构元素匹配的界面元素，构成各个结构元素对应的第二界面元素集合；其中，所述基元集合中的每个结构元素对应一个独立的第二界面元素集合；分别从所述第一界面元素集合以及各个第二界面元素集合中任取一个界面元素，构成所述近似基元集合。在一种可能的设计中，对各近似基元集合，基于各元素与所述基元集合中各元素的相似度，得到各近似基元集合的第一相似度集合，包括：获取所述近似基元集合中第一界面元素与所述基元集合中目标元素的相似度，以及所述近似基元集合中各个第二界面元素与所述基元集合中对应的各个结构元素的相似度，得到所述近似基元集合的第一相似度集合。在一种可能的设计中，基于各近似基元集合中两两元素之间的位置关系，与所述基元集合中对应的两两元素之间的位置关系的相似度，确定各近似基元集合的第二相似度，包括：对所述基元集合中的元素进行两两组合，该组合构成所述基元集合的子模式集；对各近似基元集合中的元素进行两两组合，该组合构成所述近似基元集合的子模式集合；计算所述近似基元集合的子模式集合中各个元素与所述基元集合的子模式集合中各个元素之间的相似度，得到各近似基元集合的第二相似度集合。在一种可能的设计中，根据相似度运算结果，确定所述目标元素在当前软件界面上的分布信息，包括：选取总相似度最大的近似基元集合作为候选集合；若所述候选集合的总相似度大于预设阈值，则根据所述候选集合中界面元素的位置关系，确定所述目标元素在当前软件界面上的分布信息。在一种可能的设计中，所述根据相似度运算结果，确定所述目标元素在当前软件界面上的分布信息之后，还包括：根据所述分布信息，执行对所述目标元素的访问操作。在一种可能的设计中，所述基于目标元素的结构模式及所述界面元素，进行相似度运算，还包括：将所述目标元素对应的结构模式与所述当前软件界面中各个界面元素对应的结构模式进行相似度匹配运算。在一种可能的设计中，所述基于目标元素的结构模式及所述界面元素，进行相似度运算之前，还包括：提取模板软件界面的所有界面元素作为候选元素；从所述候选元素中选取目标元素，并获取所述目标元素对应的结构模式。在一种可能的设计中，所述从所述候选元素中选取目标元素，并获取所述目标元素对应的结构模式，包括：获取与所述目标元素关联的结构元素；根据所述目标元素、所述结构元素、所述目标元素和所述结构元素两两之间的位置关系，生成所述目标元素的候选模式；确定所述模板软件界面中所述候选模式对应的位置关系不唯一，则重新选取与所述目标元素关联的结构元素；确定所述模板软件界面中所述候选模式的位置关系，将所述候选模式作为所述目标元素对应的结构模式。在一种可能的设计中，所述提取模板软件界面的所有界面元素作为候选元素，包括：截取模板软件界面的界面图像；通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述模板软件界面的界面图像中提取出所有界面元素作为候选元素。在一种可能的设计中，所述结构元素包括：图标元素、文本元素、按键元素中的任一或任多项元素。第二方面，本申请还提供一种结合RPA和AI的软件界面元素的识别装置，包括：提取模块，用于提取当前软件界面中的界面元素；匹配模块，用于基于目标元素的结构模式及所述界面元素，进行相似度运算；识别模块，用于根据相似度运算结果，确定所述目标元素在当前软件界面上的分布信息。在一种可能的设计中，所述提取模块，具体用于：截取当前软件界面的界面图像；通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述界面图像中提取出所有界面元素。在一种可能的设计中，所述结构模式，包括：目标元素及结构元素组成的基元集合；以及基元集合中各元素两两之间的位置关系的位置关系集合。在一种可能的设计中，所述匹配模块，具体用于：根据所述基元集合，确定当前软件界面中的所有近似基元集合；...

【技术保护点】
1.一种结合RPA和AI的软件界面元素的识别方法，其特征在于，包括：/n提取当前软件界面中的界面元素；/n基于目标元素的结构模式及所述界面元素，进行相似度运算；/n根据相似度运算结果，确定所述目标元素在当前软件界面上的分布信息。/n

【技术特征摘要】
20191223 CN 20191133901261.一种结合RPA和AI的软件界面元素的识别方法，其特征在于，包括：
提取当前软件界面中的界面元素；
基于目标元素的结构模式及所述界面元素，进行相似度运算；
根据相似度运算结果，确定所述目标元素在当前软件界面上的分布信息。


2.根据权利要求1所述的方法，其特征在于，所述提取当前软件界面中的界面元素，包括：
截取当前软件界面的界面图像；
通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述界面图像中提取出所有界面元素。


3.根据权利要求1所述的方法，其特征在于，所述结构模式，包括：目标元素及结构元素组成的基元集合；以及基元集合中各元素两两之间的位置关系的位置关系集合。


4.根据权利要求3所述的方法，其特征在于，所述基于目标元素的结构模式及所述界面元素，进行相似度运算，包括：
根据所述基元集合，确定当前软件界面中的所有近似基元集合；
对各近似基元集合，基于所述基元集合中各元素与所述基元集合中各元素的相似度，得到各近似基元集合的第一相似度集合；
基于各近似基元集合中两两元素之间的位置关系，与所述基元集合中对应的两两元素之间的位置关系的相似度，确定各近似基元集合的第二相似度；
基于所述第一相似度集合及所述第二相似度，确定所述基元集合与各近似基元集合的总相似度。


5.根据权利要求4所述的方法，其特征在于，所述根据所述基元集合，确定当前软件界面中的所有近似基元集合，包括：
查找与所述基元集合中的目标元素匹配的界面元素，构成目标元素对应的第一界面元素集合；
分别查找与所述基元集合中的各个结构元素匹配的界面元素，构成各个结构元素对应的第二界面元素集合；其中，所述基元集合中的每个结构元素对应一个独立的第二界面元素集合；
分别从所述第一界面元素集合以及各个第二界面元素集合中任取一个界面元素，构成所述近似基元集合。


6.根据权利要求4所述的方法，其特征在于，所述对各近似基元集合，基于各元素与所述基元集合中各元素的相似度，得到各近似基元集合的第一相似度集合，包括：
获取所述近似基元集合中第一界面元素与所述基元集合中目标元素的相似度，以及所述近似基元集合中各个第二界面元素与所述基元集合中对应的各个结构元素的相似度，得到所述近似基元集合的第一相似度集合。


7.根据权利要求4所述的方法，其特征在于，所述基于各近似基元集合中两两元素之间的位置关系，与所述基元集合中对应的两两元素之间的位置关系的相似度，确定各近似基元集合的第二相似度，包括：
对所述基元集合中的元素进行两两组合，该组合构成所述基元集合的子模式集；
对各近似基元集合中的元素进行两两组合，该组合构成所述近似基元集合的子模式集合；
计算所述近似基元集合的子模式集合中各个元素与所述基元集合的子模式集合中各个元素之间的相似度，得到各近似基元集合的第二相似度集合。


8.根据...

【专利技术属性】
技术研发人员：张小勇，罗亮，褚瑞，李玮，
申请(专利权)人：北京来也网络科技有限公司，北京奔影网络科技有限公司，
类型：发明
国别省市：北京;11