界面元素的捕获方法及电子设备、存储介质技术

本申请提供一种界面元素的捕获方法及电子设备、存储介质，所述方法包括：获取界面图像；通过已训练的前景检测和分类网络，得到界面图像的前景二值化图像和全景分类概率图；从前景二值化图像中提取每个界面元素对应的轮廓区域；根据全景分类概率图，确定界面图像中每个像素点的元素类别；针对每个轮廓区域，根据轮廓区域内每个像素点的元素类别，确定轮廓区域的最终元素类别。该方案采用图像识别的方法完成界面元素解析，效果稳定可靠，具有较高的通用性，且对应用程序完全无侵入。且对应用程序完全无侵入。且对应用程序完全无侵入。

【技术实现步骤摘要】
界面元素的捕获方法及电子设备、存储介质


[0001]本申请涉及计算机视觉
，特别涉及一种界面元素的捕获方法及电子设备、计算机可读存储介质。

技术介绍

[0002]机器流程自动化(Robotic process automation，RPA)技术中，对应用中的元素进行捕获，是完成流程自动化的关键技术。
[0003]传统元素捕获的方法，一般利用操作系统的底层API(应用程序接口)或者编程语言的特点进行界面元素解析，例如对于windows(以图形用户界面为基础研发的操作系统)原生的应用，可以通过底层UIA(UI Automation，微软提供的一套自动化接口)接口获取应用的元素属性和位置，网页可以解析html(Hyper Text Markup Language，即超文本标记语言)里面内容来确定界面结构和按钮的属性。
[0004]此方法准确度高，但不通用，而且对应用系统有一定的攻击性。如果操作系统升级或者迁移，就无法用原来的方法解析界面；如果界面开发编程时候用了一些自定的框架或者编程手法特殊，也是无法解析界面元素的。

技术实现思路

[0005]本申请实施例提供了一种界面元素的捕获方法，通过图像识别的方法完成界面元素的捕获，提高了方法的通用性，且不会对应用系统产生攻击。
[0006]本申请实施例提供了一种界面元素的捕获方法，所述方法包括：
[0007]获取界面图像；
[0008]通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和全景分类概率图；r/>[0009]从所述前景二值化图像中提取每个界面元素对应的轮廓区域；
[0010]根据所述全景分类概率图，确定所述界面图像中每个像素点的元素类别；
[0011]针对每个轮廓区域，根据所述轮廓区域内每个像素点的元素类别，确定所述轮廓区域的最终元素类别。
[0012]在一实施例中，所述通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和分类概率图，包括：
[0013]将所述界面图像输入已训练的前景检测和分类网络，获得所述前景检测和分类网络输出的前景概率图和全景分类概率图；
[0014]根据所述前景概率图以及二值化阈值，得到前景二值化图像。
[0015]在一实施例中，所述根据所述前景概率图以及二值化阈值，得到前景二值化图像，包括：
[0016]根据所述前景概率图指示的每个像素点属于前景像素点的概率值以及所述二值化阈值，将所述概率值大于等于所述二值化阈值的像素点作为前景像素点，将所述概率值
小于所述二值化阈值的像素点作为背景像素点；
[0017]将所述前景像素点的像素值赋值为第一预设值，将所述背景像素点的像素值赋值为第二预设值，得到所述前景二值化图像。
[0018]在一实施例中，所述从所述前景二值化图像中提取每个界面元素对应的轮廓区域，包括：
[0019]针对所述前景二值化图像，通过轮廓提取算法，提取每个界面元素对应的轮廓区域。
[0020]在一实施例中，所述根据所述全景分类概率图，确定所述界面图像中每个像素点的元素类别，包括：
[0021]根据所述全景分类概率图指示的所述界面图像中每个像素点属于不同元素类别的概率值，将概率值最大的元素类别作为所述像素点的元素类别。
[0022]在一实施例中，所述针对每个轮廓区域，根据所述轮廓区域内每个像素点的元素类别，确定所述轮廓区域的最终元素类别，包括：
[0023]针对每个轮廓区域，根据所述轮廓区域内每个像素点的元素类别，确定所述轮廓区域内每种元素类别对应的像素点数量；
[0024]将所述像素点数量最多的元素类别作为所述轮廓区域的最终元素类别。
[0025]在一实施例中，在所述通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和全景分类概率图之前，所述方法还包括：
[0026]获取训练样本集；所述训练样本集包括多张界面样本图像；所述界面样本图像中已标注出多个目标框以及每个目标框对应的元素类别；所述多个目标框所在区域标注为前景区域，所述界面样本图像中除所述前景区域以外的区域标注为背景区域；
[0027]根据所述界面样本图像的前景区域和背景区域，以及所述界面样本图像中每个目标框对应的元素类别，通过深度学习，训练得到所述前景检测和分类网络。
[0028]在一实施例中，在所述获取训练样本集之前，所述方法还包括：
[0029]将已知的64种界面元素按照视觉特征，划分为文本、图标、图像、滚动条、表格、下拉列表、按钮、日历控件这8种元素类别；所述训练样本集包括已标注出8种元素类别的多张界面样本图像。
[0030]本申请实施例还提供了一种界面元素的捕获装置，包括：
[0031]图像获取模块，用于获取界面图像；
[0032]检测分类模块，用于通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和全景分类概率图；
[0033]轮廓提取模块，用于从所述前景二值化图像中提取每个界面元素对应的轮廓区域；
[0034]像素类别确定模块，用于根据所述全景分类概率图，确定所述界面图像中每个像素点的元素类别；
[0035]区域类别确定模块，用于针对每个轮廓区域，根据所述轮廓区域内每个像素点的元素类别，确定所述轮廓区域的最终元素类别。
[0036]本申请实施例还提供了一种电子设备，所述电子设备包括：
[0037]处理器；
[0038]用于存储处理器可执行指令的存储器；
[0039]其中，所述处理器被配置为执行上述界面元素的捕获方法。
[0040]本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述界面元素的捕获方法。
[0041]本申请上述实施例提供的方案，通过前景检测和分类网络，得到界面图像的前景二值化图像和全景分类概率图；进而从前景二值化图像中提取每个界面元素对应的轮廓区域；根据全景分类概率图，确定界面图像中每个像素点的元素类别；进而根据轮廓区域内每个像素点的元素类别，确定轮廓区域的最终元素类别。该方案采用图像识别的方法完成界面元素解析，结合了前景检测和前景分类的优点，效果稳定可靠。该方案具有较高的通用性，对不同的应用程序无需采用不同的解析技术解析；并且该方案对应用程序完全无侵入，对用户优化相当友好。
附图说明
[0042]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
[0043]图1是本申请一实施例提供的一种浏览器界面示意图；
[0044]图2是传统界面元素捕获方法获取的表示新建标签页“+”按钮位置的xpath语言示意图；
[0045]图3是本申请一实施例提供的计算器的界面示意图；
[0046]图4是传统界面元素捕获方法获取的图3所示界面中“科学”按钮的属性示意图；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种界面元素的捕获方法，其特征在于，所述方法包括：获取界面图像；通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和全景分类概率图；从所述前景二值化图像中提取每个界面元素对应的轮廓区域；根据所述全景分类概率图，确定所述界面图像中每个像素点的元素类别；针对每个轮廓区域，根据所述轮廓区域内每个像素点的元素类别，确定所述轮廓区域的最终元素类别。2.根据权利要求1所述的方法，其特征在于，所述通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和分类概率图，包括：将所述界面图像输入已训练的前景检测和分类网络，获得所述前景检测和分类网络输出的前景概率图和全景分类概率图；根据所述前景概率图以及二值化阈值，得到前景二值化图像。3.根据权利要求2所述的方法，其特征在于，所述根据所述前景概率图以及二值化阈值，得到前景二值化图像，包括：根据所述前景概率图指示的每个像素点属于前景像素点的概率值以及所述二值化阈值，将所述概率值大于等于所述二值化阈值的像素点作为前景像素点，将所述概率值小于所述二值化阈值的像素点作为背景像素点；将所述前景像素点的像素值赋值为第一预设值，将所述背景像素点的像素值赋值为第二预设值，得到所述前景二值化图像。4.根据权利要求1所述的方法，其特征在于，所述从所述前景二值化图像中提取每个界面元素对应的轮廓区域，包括：针对所述前景二值化图像，通过轮廓提取算法，提取每个界面元素对应的轮廓区域。5.根据权利要求1所述的方法，其特征在于，所述根据所述全景分类概率图，确定所述界面图像中每个像素点的元素类别，包括：根据所述全景分类概率图指示的所述界面图像中每个像素点属于不同元素类别的概率值，将概率值最大的元素类别作为所述像素点的元素类别...

【专利技术属性】
技术研发人员：张泉，黄博，高磊，
申请(专利权)人：上海弘玑信息技术有限公司，
类型：发明
国别省市：