一种面向windows系统的界面元素识别方法技术方案

本发明专利技术涉及计算机技术领域，公开了一种面向windows系统的界面元素识别方法，包括以下步骤：获取当前windows的系统界面截图、待识别界面元素的图像和信息文本；利用YOLO目标检测模型对系统界面截图进行目标检测处理，获取待识别界面元素的位置PYOLO；依据信息文本，通过UIA技术获取待识别界面元素的位置PUIA，并得到该位置对应的图像；将PYOLO和PUIA进行匹配，根据匹配结果得到待识别的界面元素。本发明专利技术所公开的方法在不需要额外下载插件的情况下，可以用同样的方法识别不同界面元素框架内的元素，使用灵活，易于操作。此外，克服图像匹配定位的局限性，界面元素的识别不会受遮挡情况的影响。影响。影响。

【技术实现步骤摘要】
一种面向windows系统的界面元素识别方法


[0001]本专利技术涉及计算机
，特别涉及一种面向windows系统的界面元素识别方法。

技术介绍

[0002]RPA是通过软件按照指定规则与流程进行业务自动处理的技术，意在模拟人类与计算机的交互，代替人工处理复杂、繁琐以及大量的各项事务，以实现对人工作业的辅助或替代，从而减少企业的人力成本，提升整体工作效率的软件机器人。
[0003]界面元素是指用于构建系统或应用程序的所有图形用户界面部分，例如窗口、输入框、按钮等。通过显示器、键盘、鼠标等计算机外部设备，人能够实现在指定输入框输入文本、点击指定按钮等操作，和操作系统以及业务系统进行交互。同样的，RPA要代替人完成这些操作，就需要能够识别这些界面元素。
[0004]界面元素识别方法有很多，但是通常情况下他们往往只支持几个界面元素框架，识别不同界面元素框架需要使用不同的方法和技术，实际使用起来也会更困难。如国内影响力最大的UiBot，使用浏览器时，需要下载专门的浏览器插件，灵活性很差，为此需要一种面向windows系统的灵活的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向windows系统的界面元素识别方法，其特征在于，包括以下步骤：步骤1，获取当前windows的系统界面截图、待识别界面元素的图像和待识别界面元素的信息文本；步骤2，利用YOLO目标检测模型对windows的系统界面截图进行目标检测处理，获取待识别界面元素的位置P
YOLO
；步骤3，依据待识别界面元素的信息文本，通过UIA技术获取待识别界面元素的位置P
UIA
，并得到该位置对应的图像；步骤4，将上述的两个位置P
YOLO
和P
UIA
进行匹配，根据匹配结果得到待识别的界面元素。2.根据权利要求1所述的一种面向windows系统的界面元素识别方法，其特征在于，步骤1具体如下：（1.1）利用robot类的createScreenCapture函数，对windows的系统当前界面进行截图；（1.2）读取windows系统本地文件，获取待识别界面元素的图像和待识别界面元素的信息文本，所述信息文本包括待识别界面元素所在的父窗口类型、待识别界面元素所在的父窗口名称、待识别界面元素类型、待识别界面元素名称、待识别界面元素在父窗口内的路径。3.根据权利要求2所述的一种面向windows系统的界面元素识别方法，其特征在于，所述路径指的是待识别界面元素在以父窗口为根节点，以窗口布局为树的排列方式的界面元素树中，从父窗口元素到待识别界面元素的路径。4.根据权利要求2所述的一种面向windows系统的界面元素识别方法，其特征在于，步骤2具体如下：（2.1）获取已经预先训练好的YOLO目标检测模型，根据信息文本中的待识别界面元素类型，检测出windows的系统界面截图中所有符合的界面元素集合E={E1,E2,...,Ei,...,En}，Ei表示第i个符合的界面元素，n表示所有符合的界面元素的数量；（2.2）将待识别界面元素的图像与（2.1）中查找的界面元素通过余弦相似度计算两图像的相似性，计算公式为：Cosθ=(a
·
b)/( |a|
×
|b|)其中，a为通过待识别界面元素的图像获得的图像向量，b为通过YOLO目标检测模型检测得到的界面元素集合E中某一界面元素Ei获得的图像向量；|a|为图像向量a的模，|b|为图像向量b的模，cosθ值越接近1说明图像相似度越高；得到相似度最高且满足阈值一的界面元素位置区域P
YOLO
，并且保存此次计算的相似度。5.根据权利要求4所述的一种面向windows系统的界面元素识别方法，其特征在于，所述YOLO目标检测模型的训练集为带标签的windows系统内的界面元素，标签为界面元素类型。6.根据权利要求2所述的一种面向windows系统的界面元素识别方法，其特征在于，步骤3具体如下：（3.1）利用UIA技术获取windows系统根节点下的一级子元素，即窗口元素，得到窗口列表listW=[W1,W2, ...,Wi,...,Wm]，Wi为第i个窗口元素，m为所有找到的窗口元素的数量；遍历窗口列表...

【专利技术属性】
技术研发人员：郑艳伟，程甜，于东晓，肖梦白，
申请(专利权)人：山东大学，
类型：发明
国别省市：