结合RPA与AI的软件界面元素的匹配方法及装置制造方法及图纸

本公开提供一种结合RPA与AI的软件界面元素的匹配方法及装置。本实施例提供的软件界面元素的匹配方法，包括通过采用OCR技术提取当前软件界面中的界面元素；将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息；根据所述分布信息，执行对所述目标元素的访问操作。从而可以提升机器人流程自动化过程中对软件界面上的界面元素的匹配准确度，实现方式简单，效果稳定可靠。

【技术实现步骤摘要】
结合RPA与AI的软件界面元素的匹配方法及装置
本公开涉及自动化
，具体涉及RPA(RoboticProcessAutomation，机器人流程自动化)、AI(ArtificialIntelligence，人工智能)，尤其涉及一种结合RPA与AI的软件界面元素的匹配方法及装置。
技术介绍
在机器人流程自动化(RoboticProcessAutomation，RPA)领域，为了实现流程的自动化，软件机器人需要经常访问软件界面上的控件元素(简称界面元素)，并针对这些界面元素进行操作，以执行相应的操作任务。人工智能(ArtificialIntelligence，简称AI)是研究、开发用于模拟、延伸和扩展人智能的理论、方法、技术及应用系统的一门新技术科学。人工智能领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。现有技术中，为了保证自动化流程的准确性，软件机器人在运行流程时，需要精准地匹配目标元素的位置并对其进行自动化操作。在远程桌面或虚拟机等应用场景，一般是通过计算机视觉的技术检测界面元素，并提取其特征属性作为在流程运行时界面元素的匹配依据。然而，这种匹配方式并不稳定，很容易导致目标元素匹配错误或匹配失败，使得自动化流程的准确度低下。
技术实现思路
本公开提供一种结合RPA与AI的软件界面元素的匹配方法及装置，可以提升机器人流程自动化过程中对软件界面上的界面元素的匹配准确度，实现方式简单，效果稳定可靠。第一方面，本公开提供一种结合RPA与AI的软件界面元素的匹配方法，包括：采用光学字符识别(OpticalCharacterRecognition，OCR)技术提取当前软件界面中的界面元素；将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息；根据所述分布信息，执行对所述目标元素的访问操作。在一种可能的设计中，所述采用OCR技术提取当前软件界面中的界面元素，包括：截取当前软件界面的界面图像；通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述界面图像中提取出所有界面元素。在一种可能的设计中，将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息，包括：根据第一锚点元素对应的类别信息、位置信息、文本信息，从所述当前软件界面中的查找与所述第一锚点元素匹配的第二锚点元素；根据所述目标元素与所述第一锚点元素之间的位置关系，以及所述第二锚点元素在所述当前软件界面中的位置，确定所述目标元素在当前软件界面上的分布信息；所述分布信息包括：目标元素的至少一个形状点的坐标信息、目标元素的尺寸信息；其中，所述形状点用于界定所述目标元素包含的区域。在一种可能的设计中，在将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配之前，还包括：截取模板软件界面的界面图像；通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述模板软件界面的界面图像中提取出所有界面元素作为候选元素；从所述候选元素中选取目标元素，以及与所述目标元素关联的第一锚点元素；其中，所述第一锚点元素包括：形态不变的图标元素、文本元素、按键元素中的任一或任多项元素；根据所述目标元素和所述第一锚点元素，生成所述目标元素的特征信息；所述目标元素的特征信息包括：所述目标元素与所述第一锚点元素之间的位置关系，以及所述第一锚点元素对应的类别信息、位置信息、文本信息。在一种可能的设计中，在根据所述分布信息，执行对所述目标元素的访问操作之前，还包括：将所述分布信息对应的区域和当前软件界面中的界面元素进行重叠度检测，得到重叠阈值；若所述重叠阈值大于预设值，则执行对目标元素的访问。在一种可能的设计中，还包括：若所述重叠阈值不大于预设值，则确定所述目标元素无效，反馈匹配失败提示信息。第二方面，本公开还提供一种结合RPA与AI的软件界面元素的匹配装置，包括：提取模块，用于采用光学字符识别(OpticalCharacterRecognition，OCR)技术提取当前软件界面中的界面元素；匹配模块，用于将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息；执行模块，用于根据所述分布信息，执行对所述目标元素的访问操作。在一种可能的设计中，所述提取模块，具体用于：截取当前软件界面的界面图像；通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述界面图像中提取出所有界面元素。在一种可能的设计中，所述匹配模块，具体用于：根据第一锚点元素对应的类别信息、位置信息、文本信息，从所述当前软件界面中的查找与所述第一锚点元素匹配的第二锚点元素；根据所述目标元素与所述第一锚点元素之间的位置关系，以及所述第二锚点元素在所述当前软件界面中的位置，确定所述目标元素在当前软件界面上的分布信息；所述分布信息包括：目标元素的至少一个形状点的坐标信息、目标元素的尺寸信息；其中，所述形状点用于界定所述目标元素包含的区域。在一种可能的设计中，还包括：获取模块，用于在将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配之前，截取模板软件界面的界面图像；通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述模板软件界面的界面图像中提取出所有界面元素作为候选元素；从所述候选元素中选取目标元素，以及与所述目标元素关联的第一锚点元素；其中，所述第一锚点元素包括：形态不变的图标元素、文本元素、按键元素中的任一或任多项元素；根据所述目标元素和所述第一锚点元素，生成所述目标元素的特征信息；所述目标元素的特征信息包括：所述目标元素与所述第一锚点元素之间的位置关系，以及所述第一锚点元素对应的类别信息、位置信息、文本信息。在一种可能的设计中，还包括：重叠度判断模块，用于：将所述分布信息对应的区域和当前软件界面中的界面元素进行重叠度检测，得到重叠阈值；若所述重叠阈值大于预设值，则执行对目标元素的访问。在一种可能的设计中，还包括：反馈模块，用于在所述重叠阈值不大于预设值时，确定所述目标元素无效，反馈匹配失败提示信息。第三方面，本公开还提供一种电子设备，包括：处理器；以及，存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任意一种结合RPA与AI的软件界面元素的匹配方法。第四方面，本公开实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种结合RPA与AI的软件界面元素的匹配方法。本公开提供一种结合RPA与AI的软件界面元素的匹配方法及装置，通过采用OCR技术提取当前软件界面中的界面元素；将目标元素的特征信息与所述当前软件界面中本文档来自技高网...

【技术保护点】
1.一种结合RPA与AI的软件界面元素的匹配方法，其特征在于，包括：/n采用光学字符识别(OpticalCharacter Recognition，OCR)技术提取当前软件界面中的界面元素；/n将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息；/n根据所述分布信息，执行对所述目标元素的访问操作。/n

【技术特征摘要】
20191223 CN 20191134049701.一种结合RPA与AI的软件界面元素的匹配方法，其特征在于，包括：
采用光学字符识别(OpticalCharacterRecognition，OCR)技术提取当前软件界面中的界面元素；
将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息；
根据所述分布信息，执行对所述目标元素的访问操作。


2.根据权利要求1所述的方法，其特征在于，所述采用OCR技术提取当前软件界面中的界面元素，包括：
截取当前软件界面的界面图像；
通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述界面图像中提取出所有界面元素。


3.根据权利要求1所述的方法，其特征在于，将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息，包括：
根据第一锚点元素对应的类别信息、位置信息、文本信息，从所述当前软件界面中的查找与所述第一锚点元素匹配的第二锚点元素；
根据所述目标元素与所述第一锚点元素之间的位置关系，以及所述第二锚点元素在所述当前软件界面中的位置，确定所述目标元素在当前软件界面上的分布信息；所述分布信息包括：目标元素的至少一个形状点的坐标信息、目标元素的尺寸信息；其中，所述形状点用于界定所述目标元素包含的区域。


4.根据权利要求3所述的方法，其特征在于，在将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配之前，还包括：
截取模板软件界面的界面图像；
通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述模板软件界面的界面图像中提取出所有界面元素作为候选元素；
从所述候选元素中选取目标元素，以及与所述目标元素关联的第一锚点元素；其中，所述第一锚点元素包括：形态不变的图标元素、文本元素、按键元素中的任一或任多项元素；
根据所述目标元素和所述第一锚点元素，生成所述目标元素的特征信息；所述目标元素的特征信息包括：所述目标元素与所述第一锚点元素之间的位置关系，以及所述第一锚点元素对应的类别信息、位置信息、文本信息。


5.根据权利要求1-4中任一项所述的方法，其特征在于，在根据所述分布信息，执行对所述目标元素的访问操作之前，还包括：
将所述分布信息对应的区域和当前软件界面中的界面元素进行重叠度检测，得到重叠阈值；
若所述重叠阈值大于预设值，则执行对目标元素的访问。


6.根据权利要求5所述的方法，其特征在于，还包括：
若所述重叠阈值不大于预设值，则确定所述目标元素无效，反馈匹配失败提示信息。


7.一种结合RPA与AI的软件界面元素的匹配装置，其特征在于，包括：
提取模块，用于采用光学字符识别(Opti...

【专利技术属性】
技术研发人员：张小勇，罗亮，褚瑞，李玮，
申请(专利权)人：北京来也网络科技有限公司，北京奔影网络科技有限公司，
类型：发明
国别省市：北京;11