一种交互界面建模方法和装置制造方法及图纸

本说明书实施例公开了一种交互界面建模方法及装置，其中所述方法包括：获得目标交互界面的界面元素；所述界面元素包括第一特征和第二特征，所述第一特征用于表征所述界面元素的视觉信息，所述第二特征用于表征所述界面元素的语义信息；获得所述界面元素的表征模型，以及依据所述表征模型获得对所述界面元素的第一聚类结果；对所述界面元素的所述第一聚类结果进行语义重组，以获得对所述界面元素的第二聚类结果作为所述目标交互界面的建模结果。本发明专利技术方案基于界面元素的视觉信息和语义信息，构建交互界面模型，有效提高了机器人自动处理非结构化数据、复杂交互界面的能力，增强了对不同应用程序交互界面的兼容性。了对不同应用程序交互界面的兼容性。了对不同应用程序交互界面的兼容性。

【技术实现步骤摘要】
一种交互界面建模方法和装置


[0001]本说明书涉及计算机软件
，尤其涉及一种交互界面建模方法、装置、电子设备和存储介质。

技术介绍

[0002]机器人流程自动化是一种利用软件机器人自动执行常规、重复性任务的技术。这些任务通常是基于规则的、结构化的，需要进行大量数据输入和处理的工作。但是，目前的办公和企业场景中存在大量的复杂任务处理是基于非结构化数据进行决策的任务，且运行有大量的异构系统和软件，同时机器人自动执行任务仍需要人类管理和监督。
[0003]因此，如何克服上述问题，提出通用的交互界面建模方案，以提高机器人流程自动化对非结构化数据和复杂交互界面的处理能力，增强其对各类系统和软件的交互兼容性，是亟待解决的技术问题。

技术实现思路

[0004]本说明书实施例的目的是针对上述问题，提供一种交互界面建模方法、装置、电子设备和存储介质。
[0005]为解决上述技术问题，本说明书实施例是这样实现的：
[0006]第一方面，提出了一种交互界面建模方法，包括：
[0007]获得目标交互界面的界面元素；所述界面元素包括第一特征和第二特征，所述第一特征用于表征所述界面元素的视觉信息，所述第二特征用于表征所述界面元素的语义信息；
[0008]获得所述界面元素的表征模型，以及依据所述表征模型获得对所述界面元素的第一聚类结果；
[0009]对所述界面元素的所述第一聚类结果进行语义重组，以获得对所述界面元素的第二聚类结果作为所述目标交互界面的建模结果。
[0010]进一步地，所述获得目标交互界面的界面元素，包括：
[0011]依据界面类型采用相应提取方式提取所述目标交互界面；以及，
[0012]匹配于所述界面元素的表征模型的建模需求，从提取得到的所述目标交互界面中解析出所述界面元素。
[0013]进一步地，所述第一特征包括所述界面元素的形状、尺寸和位置。
[0014]进一步地，基于所述界面元素的所述第一特征获得所述界面元素的表征模型，包括：当所述界面元素的形状为长方形时，基于所述界面元素的长度、宽度以及左上角顶点的横坐标、纵坐标，确定不同的所述界面元素之间的视觉距离d
v
作为所述表征模型为d
v
＝d
x
+d
y
；其中，当n
i
,n
j
为两个不同的所述界面元素时，n
i
,n
j
之间的水平距离n
i
,n
j
之间的
垂直距离
[0015]进一步地，所述依据所述表征模型获得对所述界面元素的第一聚类结果，包括：使用DBSCAN算法将所述界面元素进行聚类并输出所述第一聚类结果；其中DBSCAN算法的邻域最小点数设置为1且邻域半径设置为所述目标交互界面的宽度值的二分之一。
[0016]进一步地，所述第二特征包括所述界面元素的文字密度。
[0017]进一步地，依据所述第二特征对所述界面元素的所述第一聚类结果进行语义重组，包括：当所述第二特征包括所述界面元素的文字密度时，确定不同的所述界面元素之间的文字密度差值模型为其中，n
i
,n
j
为两个不同的所述界面元素，所述界面元素n
i
的所述文字密度为c
i
是所述界面元素n
i
中的字符数量。
[0018]进一步地，获得对所述界面元素的第二聚类结果作为所述目标交互界面的建模结果，包括：
[0019]设置基于视觉距离阈值和文字密度差值阈值；
[0020]对满足距离小于所述视觉距离阈值且文字密度差值小于所述文字密度差值阈值的所述第一聚类结果进行聚类获得所述第二聚类结果，直至达到预设的聚类终止条件；
[0021]输出所述第二聚类结果。
[0022]进一步地，所述获得目标交互界面的界面元素，还包括：匹配于所述界面元素的表征模型的建模需求，从解析出所述界面元素中剔除指定类型的所述界面元素。
[0023]第二方面，提出一种通用交互界面建模装置，包括：
[0024]第一模块，能够获得目标交互界面的界面元素；所述界面元素包括第一特征和第二特征，所述第一特征用于表征所述界面元素的视觉信息，所述第二特征用于表征所述界面元素的语义信息；
[0025]第二模块，能够获得所述界面元素的表征模型，以及依据所述表征模型获得对所述界面元素的第一聚类结果；
[0026]第三模块，能够对所述界面元素的所述第一聚类结果进行语义重组，以获得对所述界面元素的第二聚类结果作为所述目标交互界面的建模结果。
[0027]第三方面，提出了一种电子设备，包括：处理器；以及
[0028]被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第一方面所述的方法。
[0029]第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第一方面所述的方法。
[0030]本说明书可以达到至少以下技术效果：
[0031]本专利技术方案构建交互界面元素的表征模型，在界面元素的视觉信息和语义信息基础上，通过基于交互界面元素视觉距离的聚类和基于文字密度的语义重组，构建了通用的交互界面模型，可有效提高机器人自动处理非结构化数据、复杂交互界面的能力，增强对不
同应用程序交互界面的兼容性。
附图说明
[0032]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本说明书实施例提供的交互界面建模方法示意图之一。
[0034]图2为本说明书实施例提供的交互界面建模方法示意图之二。
[0035]图3为本说明书实施例提供的交互界面建模方法示意图之三。
[0036]图4为本说明书实施例提供的交互界面建模方法示意图之四。
[0037]图5为本说明书实施例提供的交互界面建模装置示意图。
[0038]图6为本说明书的一个实施例提供的电子设备的结构示意图。
具体实施方式
[0039]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0040]下面通过具体的实例对本说明书所涉及的一种交互界面建模方案进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互界面建模方法，其特征在于，包括：获得目标交互界面的界面元素；所述界面元素包括第一特征和第二特征，所述第一特征用于表征所述界面元素的视觉信息，所述第二特征用于表征所述界面元素的语义信息；获得所述界面元素的表征模型，以及依据所述表征模型获得对所述界面元素的第一聚类结果；对所述界面元素的所述第一聚类结果进行语义重组，以获得对所述界面元素的第二聚类结果作为所述目标交互界面的建模结果。2.根据权利要求1所述的方法，其特征在于，所述获得目标交互界面的界面元素，包括：依据界面类型采用相应提取方式提取所述目标交互界面；以及，匹配于所述界面元素的表征模型的建模需求，从提取得到的所述目标交互界面中解析出所述界面元素。3.根据权利要求1所述的方法，其特征在于，所述第一特征包括所述界面元素的形状、尺寸和位置。4.根据权利要求3所述的方法，其特征在于，基于所述界面元素的所述第一特征获得所述界面元素的表征模型，包括：当所述界面元素的形状为长方形时，基于所述界面元素的长度、宽度以及左上角顶点的横坐标、纵坐标，确定不同的所述界面元素之间的视觉距离d
v
作为所述表征模型为d
v
＝d
x
+d
y
；其中，当n
i
,n
j
为两个不同的所述界面元素时，n
i
,n
j
之间的水平距离离n
i
,n
j
之间的垂直距离5.根据权利要求4所述的方法，其特征在于，所述依据所述表征模型获得对所述界面元素的第一聚类结果，包括：使用DBSCAN算法将所述界面元素进行聚类并输出所述第一聚类结果；其中DBSCAN算法的邻域最小点数设置为1且邻域半径设置为所述目标交互界面的宽度值的二分之一。6.根据权利要求1所述的方法，其特征在于，所述第二特征包括所述界面元素的文字密度。7.根据权利要求6所述的方法，其特...

【专利技术属性】
技术研发人员：邢炬，左磊，
申请(专利权)人：天聚地合苏州科技股份有限公司，
类型：发明
国别省市：