界面元素回显方法和电子设备技术

本申请提供了一种界面元素回显方法和电子设备，其中，该方法包括：从第一图像元素集中确定出目标图像元素，其中，所述第一图像元素集为从第一显示界面中捕获得到的元素集；在第二显示界面中，捕获其包含的第二图像元素集，其中，所述第一显示界面与所述第二显示界面中所包含的元素内容相同，其所包含的元素的尺寸相同或不同；根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域。元素在所述第二显示界面中的目标区域。元素在所述第二显示界面中的目标区域。

【技术实现步骤摘要】
界面元素回显方法和电子设备


[0001]本申请涉及他图像处理
，具体而言，涉及一种界面元素回显方法和电子设备。

技术介绍

[0002]机器人流程自动化(Robotic Process Automation，简称RPA)技术中，对应用中的元素进行捕获和回显，是完成流程自动化的关键技术。
[0003]当前对应用中的元素回显的方法，一般利用操作系统的底层应用程序接口(Application Program Interface，简称API)或者编程语言的特点进行界面元素或者界面结构文档对象化模型树(Document Object Model Tree，简称：DOM Tree)解析，并保存离散的传统特征或DOM Tree，在下次回显时候对元素特征进行匹配就能找到对应元素。此方法中元素特征描述简单，但是在界面结构发生改变的情况下匹配会存在明显误差。

技术实现思路

[0004]本申请的目的在于提供一种界面元素回显方法和电子设备，能够改善当前技术中元素回显中匹配存在误差的情况。
[0005]第一方面，本申请提供一种界面元素回显方法，包括：从第一图像元素集中确定出目标图像元素，其中，所述第一图像元素集为从第一显示界面中捕获得到的元素集；在第二显示界面中，捕获其包含的第二图像元素集，其中，所述第一显示界面与所述第二显示界面中所包含的元素内容相同；根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域。
[0006]在上述实现方式中，通过对界面中的图像元素的捕获，可以获得显示界面中更直观的图像元素，相较于传统特征或DOM Tree能够更好更直观地表达该界面中的各个元素；另外基于图像元素的匹配确定出回显元素，也可以更直观地确定出需要回显的元素，也能够降低元素回显过程中元素匹配的误差，提高回显的准确性。
[0007]在可选的实施方式中，所述第一显示界面的各个元素内容与该第二显示界面的各个元素内容的相对位置相同；所述根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域，包括：从所述第一图像元素集中确定出参考元素；根据所述参考元素确定出所述参考元素在所述第二显示界面中的参考区域；根据所述参考区域，确定出所述目标图像元素的待选区域；将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域。
[0008]在上述实施方式中，通过纳入参考元素的限定，可以实现更准确地为目标元素在第二显示界面中进行定位，也能够实现更准确地元素回显。
[0009]在可选的实施方式中，所述从所述第一图像元素集中确定出参考元素，包括：根据所述目标图像元素在第一显示界面中的位置，从所述第一图像元素集中，确定出在所述目
标图像元素限定范围内的图像元素作为参考元素。
[0010]在上述实施方式中，通过基于目标图像元素在第一显示界面中的位置，选出能够对该目标图像元素的位置存在关联的参考元素，从而可以更好地基于参考元素对目标元素进行定位。
[0011]在可选的实施方式中，所述根据所述目标图像元素在第一显示界面中的位置，从所述第一图像元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素，包括：将所述第一图像元素集中的各项图像元素与所述第二图像元素集中的各项图像元素中的各项图像元素进行相似度对比，以确定出所述第一图像元素集中的第一匹配元素集，其中，所述第一匹配元素集中对应所述第二图像元素集中的第二匹配元素集，其中，所述第一匹配元素集的任意一个第一匹配元素与所述第二匹配元素集中的唯一一个第二匹配元素的相似度大于设定阈值；根据所述目标图像元素在第一显示界面中的位置，从所述第一匹配元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素。
[0012]在上述实施方式中，可以先将第一图像元素集与第二图像元素集进行匹配，从能够与第二图像元素集中图像元素一对一匹配成功的元素中选出参考元素，可以实现参考元素更准确地在第二显示界面，也就能够更准确地实现目标图像元素在第二显示界面的定位。
[0013]在可选的实施方式中，所述将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域，包括：根据所述第一图像元素集与所述第二图像元素集，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例；根据所述目标缩放比例，调整所述目标图像元素的尺寸，得到调整元素；将所述调整元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域。
[0014]在可选的实施方式中，所述根据所述第一图像元素集与所述第二图像元素集，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例，包括：从所述第一匹配元素集中随机选出第i样本元素集，其中，i的取值为大于一，小于或等于N的正整数，N为大于一的正整数；根据所述第i样本元素集与所述第i样本元素集在所述第二匹配元素中对应的元素集，构建所述第一显示界面与所述第二显示界面的尺寸关系函数；根据所述目标图像元素与所述尺寸关系函数，确定出所述目标图像元素对应的第i缩放比例；重复上述步骤，得到N项缩放比例，根据第一缩放比例至第N缩放比例，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例。
[0015]在上述实施方式中，可以考虑两个阶段的显示界面可能存在尺寸差，例如，一个显示界面使全屏，另一个显示界面是缩小的界面等情况，还可以根据尺寸差先调整尺寸，再进行图像的匹配，可以满足更多场景的回显需求，也能够提高界面元素回显方法的适用性，也能够使用匹配结果也更加的准确。
[0016]在可选的实施方式中，所述根据所述参考元素确定出所述参考元素在所述第二显示界面中的参考区域，包括：确定出所述参考元素在所述第二图像元素中对应的图像元素；根据所述参考元素在所述第二图像元素中对应的图像元素在所述第二显示界面的位置，确定出所述参考元素在所述第二显示界面中的参考区域。
[0017]在可选的实施方式中，所述根据所述参考区域，确定出所述目标图像元素的待选
区域，包括：根据所述目标图像元素在所述第一显示界面的位置，与所述参考元素在所述第一显示界面中的位置，确定出所述目标图像元素与所述参考元素的相对位置关系；根据所述相对位置关系和所述参考区域，从所述第二显示界面中选出所述目标图像元素的待选区域。
[0018]在可选的实施方式中，所述将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域，包括：将所述目标图像元素在所述待选区域中各个子区域按照图像匹配方式进行匹配，确定出所述目标图像元素与所述待选区域中各个子区域的图像相似度；将与所述目标图像元素图像相似度最高的子区域作为所述目标区域。
[0019]在上述实施方式中，可以在选定待选区域后，通过图像匹配的方式对比目标图像元素与待选区域中各个子区域的图像相似度，从而可以选出该目标图像元素在第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种界面元素回显方法，其特征在于，包括：从第一图像元素集中确定出目标图像元素，其中，所述第一图像元素集为从第一显示界面中捕获得到的元素集；在第二显示界面中，捕获其包含的第二图像元素集，其中，所述第一显示界面与所述第二显示界面中所包含的元素内容相同；根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域。2.根据权利要求1所述的方法，其特征在于，所述第一显示界面的各个元素内容与该第二显示界面的各个元素内容的相对位置相同；所述根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域，包括：从所述第一图像元素集中确定出参考元素；根据所述参考元素确定出所述参考元素在所述第二显示界面中的参考区域；根据所述参考区域，确定出所述目标图像元素的待选区域；将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域。3.根据权利要求2所述的方法，其特征在于，所述从所述第一图像元素集中确定出参考元素，包括：根据所述目标图像元素在第一显示界面中的位置，从所述第一图像元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标图像元素在第一显示界面中的位置，从所述第一图像元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素，包括：将所述第一图像元素集中的各项图像元素与所述第二图像元素集中的各项图像元素中的各项图像元素进行相似度对比，以确定出所述第一图像元素集中的第一匹配元素集，其中，所述第一匹配元素集中对应所述第二图像元素集中的第二匹配元素集，所述第一匹配元素集的任意一个第一匹配元素与所述第二匹配元素集中的唯一一个第二匹配元素的相似度大于设定阈值；根据所述目标图像元素在第一显示界面中的位置，从所述第一匹配元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素。5.根据权利要求4所述的方法，其特征在于，所述将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域，包括：根据所述第一图像元素集与所述第二图像元素集，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例；根据所述目标缩放比例，调整所述目标图像元素的尺寸，得到调整元素；将所述调整元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一图像元素集与所述第二图像元素集，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例，包括：
从所述第一匹配元素集中随机选出第i样本元素集，其中，i的取值为大于一，小于或等于N的正整数，N为大于一的正整数；根据所述第i样本元素集与所述第i样本元素集在所述第二匹配元素中对应的元素集，构建所述第一显示界面与所述第二显示界面的尺寸关系函数；根据所述目标图像元素与所述尺寸关系函数，确定出所述目标图像...

【专利技术属性】
技术研发人员：张泉，高磊，黄博，
申请(专利权)人：上海弘玑信息技术有限公司，
类型：发明
国别省市：