结合RPA与AI的软件界面元素的访问方法及装置制造方法及图纸

本公开提供一种结合RPA与AI的软件界面元素的访问方法、装置、设备及存储介质。本实施例提供的软件界面元素的访问方法，包括通过获取当前软件界面对应的模板特征图；根据所述模板特征图，采用光学字符识别(Optical Character Recognition，OCR)技术，确定所述当前软件界面上的目标锚点信息；根据所述目标锚点信息，确定至少一个界面元素在当前软件界面上的分布信息；根据所述分布信息，执行对所述界面元素的访问操作。从而可以对不支持UIA接口的软件界面上的界面元素进行访问处理，提高软件机器人的访问能力，实现方式简单，结果稳定可靠。

【技术实现步骤摘要】
结合RPA与AI的软件界面元素的访问方法及装置
本公开涉及自动化
，具体涉及RPA(RoboticProcessAutomation，机器人流程自动化)、AI(ArtificialIntelligence，人工智能)，尤其涉及一种结合RPA与AI的软件界面元素的访问方法及装置。
技术介绍
在机器人流程自动化(RoboticProcessAutomation，RPA)领域，为了实现流程的自动化，软件机器人需要经常访问软件界面上的控件元素(简称界面元素)，并针对这些界面元素进行操作，以执行相应的操作任务。人工智能(ArtificialIntelligence，简称AI)是研究、开发用于模拟、延伸和扩展人智能的理论、方法、技术及应用系统的一门新技术科学。人工智能领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。现有技术中，软件机器人一般是通过Microsoft用户界面自动化(MicrosoftUserInterfaceAutomation，UIA)接口获取到软件界面元素，然后执行相应的操作任务。但是，当软件界面不支持UIA接口访问时，软件机器人就无法对软件界面元素进行正常访问。
技术实现思路
本公开提供一种结合RPA与AI的软件界面元素的访问方法、装置、设备及存储介质，可以对不支持UIA接口的软件界面上的界面元素进行访问处理，提高软件机器人的访问能力。第一方面，本公开提供一种结合RPA与AI的软件界面元素的访问方法，包括：获取当前软件界面对应的模板特征图；根据所述模板特征图，采用光学字符识别(OpticalCharacterRecognition，OCR)技术，确定所述当前软件界面上的目标锚点信息；根据所述目标锚点信息，确定至少一个界面元素在当前软件界面上的分布信息；根据所述分布信息，执行对所述界面元素的访问操作。在一种可能的设计中，所述获取当前软件界面对应的模板特征图，包括：根据所述当前软件界面的软件标识信息，从存储器中搜索与所述软件标识信息匹配的模板特征图；其中，所述存储器中预先加载有模板特征图，以及所述模板特征图与软件标识信息之间的映射关系；或者，根据当前软件界面的图像，从存储器中搜索与所述当前软件界面的图像匹配的模板特征图。在一种可能的设计中，所述目标锚点信息包括：锚点区域、锚点区域与界面元素之间的关联信息；其中，所述锚点区域包括：形态不变的图标元素、文本元素、按键元素中的任一或任多项元素区域。在一种可能的设计中，根据所述目标锚点信息，确定至少一个界面元素在当前软件界面上的分布信息，包括：根据锚点区域、锚点区域与界面元素之间的关联信息，确定至少一个界面元素在当前软件界面上的分布信息；所述分布信息包括：界面元素的至少一个形状点的坐标信息、界面元素的尺寸信息；其中，所述形状点用于界定所述界面元素包含的区域；所述关联信息包括：所述锚点区域对应的坐标信息与所述界面元素的对应的坐标信息之间的坐标换算关系。在一种可能的设计中，在获取当前软件界面对应的模板特征图之前，还包括：根据软件界面的图像，生成模板特征图。在一种可能的设计中，所述根据软件界面的图像，生成模板特征图，包括：在运行软件时，截取软件界面的图像；在所述软件界面的图像中，标注锚点区域和界面元素；根据所述锚点区域对应的坐标信息和所述界面元素对应的坐标信息，确定所述锚点区域与所述界面元素之间的关联信息；根据所述软件界面的图像、标注的锚点区域和界面元素，以及所述锚点区域与所述界面元素之间的关联信息，生成所述软件对应的模板特征图。第二方面，本公开还提供一种结合RPA与AI的软件界面元素的访问装置，包括：获取模块，用于获取当前软件界面对应的模板特征图；第一确定模块，用于根据所述模板特征图，采用光学字符识别(OpticalCharacterRecognition，OCR)技术，确定所述当前软件界面上的目标锚点信息；第二确定模块，用于根据所述目标锚点信息，确定至少一个界面元素在当前软件界面上的分布信息；访问模块，用于根据所述分布信息，执行对所述界面元素的访问操作。在一种可能的设计中，所述获取模块，具体用于：根据所述当前软件界面的软件标识信息，从存储器中搜索与所述软件标识信息匹配的模板特征图；其中，所述存储器中预先加载有模板特征图，以及所述模板特征图与软件标识信息之间的映射关系；或者，根据当前软件界面的图像，从存储器中所述与所述当前软件界面的图像匹配的模板特征图。在一种可能的设计中，所述目标锚点信息包括：锚点区域、锚点区域与界面元素之间的关联信息；其中，所述锚点区域包括：形态不变的图标元素、文本元素、按键元素中的任一或任多项元素区域。在一种可能的设计中，所述第二确定模块，具体用于：根据锚点区域、锚点区域与界面元素之间的关联信息，确定至少一个界面元素在当前软件界面上的分布信息；所述分布信息包括：界面元素的至少一个形状点的坐标信息、界面元素的尺寸信息；其中，所述形状点用于界定所述界面元素包含的区域；所述关联信息包括：所述锚点区域对应的坐标信息与所述界面元素的对应的坐标信息之间的坐标换算关系。在一种可能的设计中，还包括：模板生成模块，用于：根据软件界面的图像，生成模板特征图。在一种可能的设计中，所述模板生成模块：具体用于：在运行软件时，截取软件界面的图像；在所述软件界面的图像中，标注锚点区域和界面元素；根据所述锚点区域对应的坐标信息和所述界面元素对应的坐标信息，确定所述锚点区域与所述界面元素之间的关联信息；根据所述软件界面的图像、标注的锚点区域和界面元素，以及所述锚点区域与所述界面元素之间的关联信息，生成所述软件对应的模板特征图。第三方面，本公开还提供一种电子设备，包括：处理器；以及，存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任意一种结合RPA与AI的软件界面元素的访问方法。第四方面，本公开实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种结合RPA与AI的软件界面元素的访问方法。本公开提供一种结合RPA与AI的软件界面元素的访问方法、装置、设备及存储介质，通过获取当前软件界面对应的模板特征图；根据所述模板特征图，采用OCR技术，确定所述当前软件界面上的目标锚点信息；根据所述目标锚点信息，确定至少一个界面元素在当前软件界面上的分布信息；根据所述分布信息，执行对所述界面元素的访问操作。从而可以对不支持UIA接口的软件界面上的界面元素进行访问处理，提高软件机器人的访问能力，实现方式简单，结果稳定可靠。附图说明为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面本文档来自技高网...

【技术保护点】
1.一种结合RPA与AI的软件界面元素的访问方法，其特征在于，包括：/n获取当前软件界面对应的模板特征图；/n根据所述模板特征图，采用光学字符识别(Optical Character Recognition，OCR)技术，确定所述当前软件界面上的目标锚点信息；/n根据所述目标锚点信息，确定至少一个界面元素在当前软件界面上的分布信息；/n根据所述分布信息，执行对所述界面元素的访问操作。/n

【技术特征摘要】
20191210 CN 20191125471781.一种结合RPA与AI的软件界面元素的访问方法，其特征在于，包括：
获取当前软件界面对应的模板特征图；
根据所述模板特征图，采用光学字符识别(OpticalCharacterRecognition，OCR)技术，确定所述当前软件界面上的目标锚点信息；
根据所述目标锚点信息，确定至少一个界面元素在当前软件界面上的分布信息；
根据所述分布信息，执行对所述界面元素的访问操作。


2.根据权利要求1所述的方法，其特征在于，所述获取当前软件界面对应的模板特征图，包括：
根据所述当前软件界面的软件标识信息，从存储器中搜索与所述软件标识信息匹配的模板特征图；其中，所述存储器中预先加载有模板特征图，以及所述模板特征图与软件标识信息之间的映射关系；或者，
根据当前软件界面的图像，从存储器中搜索与所述当前软件界面的图像匹配的模板特征图。


3.根据权利要求1所述的方法，其特征在于，所述目标锚点信息包括：锚点区域、锚点区域与界面元素之间的关联信息；其中，所述锚点区域包括：形态不变的图标元素、文本元素、按键元素中的任一或任多项元素区域。


4.根据权利要求3所述的方法，其特征在于，根据所述目标锚点信息，确定至少一个界面元素在当前软件界面上的分布信息，包括：
根据锚点区域、锚点区域与界面元素之间的关联信息，确定至少一个界面元素在当前软件界面上的分布信息；所述分布信息包括：界面元素的至少一个形状点的坐标信息、界面元素的尺寸信息；其中，所述形状点用于界定所述界面元素包含的区域；所述关联信息包括：所述锚点区域对应的坐标信息与所述界面元素的对应的坐标信息之间的坐标换算关系。


5.根据权利要求1-4中任一项所述的方法，其特征在于，在获取当前软件界面对应的模板特征图之前，还包括：
根据软件界面的图像，生成模板特征图。


6.根据权利要求5所述的方法，其特征在于，所述根据软件界面的图像，生成模板特征图，包括：
在运行软件时，截取软件界面的图像；
在所述软件界面的图像中，标注锚点区域和界面元素；
根据所述锚点区域对应的坐标信息和所述界面元素对应的坐标信息，确定所述锚点区域与所述界面元素之间的关联信息；
根据所述软件界面的图像、标注的锚点区域和界面元素，以及所述锚点区域与所述界面元素之间的关联信息，生成所...

【专利技术属性】
技术研发人员：张小勇，罗亮，褚瑞，李玮，
申请(专利权)人：北京来也网络科技有限公司，北京奔影网络科技有限公司，
类型：发明
国别省市：北京;11