一种制造技术

本发明专利技术公开了一种

【技术实现步骤摘要】
一种UI操作提取方法、装置、设备及存储介质


[0001]本专利技术涉及一种
UI
操作提取方法
、
装置
、
设备及存储介质，属于数据处理

。

技术介绍

[0002]UI
操作视频中往往记录着用户对于特定软件的操作模式，即潜在的用户任务
。
如何挖掘出这些
UI
操作任务，对
RPM、PRA
有着重大价值
。UI
操作的提取大多依赖
UIA
等库提供的操作日志来捕捉，但是对于某些商用办公软件，无法获取对应的
UIA
数据，此时则需要通过
CV
的方式获取操作信息
。
[0003]操作是一个高语义的概念，如果考虑视频分类网络或是多模态输入网络来判别操作类型，算力以及数据标注的代价过大
。

技术实现思路

[0004]目的：鉴于以上技术问题中的至少一项，本专利技术提供一种
UI
操作提取方法
、
装置
、
设备及存储介质，表征视频中连续帧
UI
图像的变化，并根据图像以及
OCR
结果的变化推理每一帧对应的
UI
操作
。
[0005]技术方案：为解决上述技术问题，本专利技术采用的技术方案为：
[0006]第一方面，本专利技术提供了一种
UI
操作提取方法，所述方法包括：
[0007]获取目标
UI
操作视频数据；其中，所述
UI
操作视频数据中包括多张连续帧的
UI
图像；
[0008]针对连续帧的两张
UI
图像，提取
UI
图像的特征图，并将特征图拆分成相同数量的图像块；其中前后两帧
UI
图像的图像块中包括相似图像块和差异图像块；
[0009]根据所述图像块，确定前后两帧
UI
图像的图像变换差异度；
[0010]根据前后两帧
UI
图像的图像变换差异度，执行对应的推理，得到目标
UI
操作视频数据的任务操作序列
。
[0011]在一些实施例中，根据所述图像块，确定前后两帧
UI
图像的图像变换差异度，包括：
[0012]针对连续帧的两张
UI
图像的特征图，计算对应位置的图像块的相似度；
[0013]根据图像块的相似度和阈值确定前后两帧中相似图像块和差异图像块；
[0014]根据前后两帧中相似图像块的数量和
UI
图像中图像块的总数量，得到前后两帧
UI
图像的图像变换差异度
。
[0015]在一些实施例中，根据前后两帧
UI
图像的图像变换差异度，执行对应的推理，包括：
[0016]若图像变换差异度位于第一阈值范围内，执行悬停操作推理；
[0017]若图像变换差异度位于第二阈值范围内，执行弹出框操作推理；
[0018]若图像变换差异度位于第三阈值范围内，执行功能区域窗口改变推理；
[0019]其中所述第一阈值范围
>
第二阈值范围
>
第三阈值范围
。
[0020]在一些实施例中，执行悬停操作推理，包括：
[0021]针对连续帧的多张
UI
图像的特征图，检测位置连续的差异图像块中的文本信息；
[0022]根据差异图像块中的文本信息判断提示类型；
[0023]若为第一提示类型，根据统合的差异图像块的位置，返回当前悬停操作对应的组件位置；
[0024]若为第二提示类型，返回文本内容获得前悬停操作对应的文本提示，其中所述文本提示表征当前鼠标悬停的
UI
元素的功能和
/
或作用
。
[0025]在一些实施例中，执行弹出框操作推理，包括：
[0026]针对连续帧的两张
UI
图像的特征图，统合所有连续的差异图像块的位置区域，得到弹出框区域及其位置信息；其中所述连续帧的两张
UI
图像包括时间序列在前的第一帧图像和时间序列在后的第二帧图像；
[0027]针对连续帧的两张
UI
图像的特征图，检测对应差异图像块中的文本信息以及文本信息在差异图像块中的位置信息；根据所述文本信息在差异图像块中的位置信息，获取离左上角最近的文本作为弹出框区域的主标题；
[0028]基于弹出框区域内的文本内容，确定弹窗框区域的副标题；
[0029]若在所述连续帧的两张
UI
图像之后出现弹出框与第一帧图像中弹出框对应区域相同的一帧
UI
图像，表示弹出框关闭；否则弹出框关闭默认开启状态
。
[0030]进一步地，在弹出框关闭默认开启状态下，若图像变换差异度位于第四阈值范围内，执行弹出框内部区域性操作推理；其中所述第四阈值范围位于第二阈值范围内，且第四阈值范围的上限小于第二阈值范围的上限
。
[0031]在一些实施例中，所述功能区域窗口改变推理包括：
[0032]针对连续帧的两张
UI
图像的特征图，统合所有连续的差异图像块的位置区域，得到功能区域及其位置信息
。
[0033]进一步地，所述功能区域窗口改变推理还包括功能区域的标题推理，其中所述功能区域的标题推理包括：
[0034]针对连续帧的两张
UI
图像的特征图，检测对应差异图像块中的文本信息以及文本信息在差异图像块中的位置信息；根据所述文本信息在差异图像块中的位置信息，获取离左上角最近的文本作为功能区域的副标题；
[0035]针对所述连续帧的两张
UI
图像的特征图，提取功能区域变化对应的两个组件的图像特征，将第二帧图像与第一帧前一帧图像的两个组件图像特征进行相似度对比，确定原始功能区域和转变后的功能区域；分别提取两个组件的
OCR
文本作为功能区域的主标题
。
[0036]进一步地，所述功能区域窗口改变推理还包括功能区域的嵌套，其中所述功能区域的嵌套包括：较大的功能区域中嵌套较小的功能区域，功能区域中出现鼠标悬停
、
弹出框或功能区域中的功能区域的变化；
[0037]统计除第一功能区域外的区域的大小，若有其他区域与第一功能区域同样大小，为平级变化；若有其他区域比第一功能区域小，为次级变化
。
[0038]进一步地，在一些实施例中，在执行弹出框操作推理或功能区域窗口改变推理过程中，还包括滚动操作推理；所述滚动操作推理包括：
[0039]提取前后两帧
UI
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
UI
操作提取方法，其特征在于，所述方法包括：获取目标
UI
操作视频数据；其中，所述
UI
操作视频数据中包括多张连续帧的
UI
图像；针对连续帧的两张
UI
图像，提取
UI
图像的特征图，并将特征图拆分成相同数量的图像块；其中前后两帧
UI
图像的图像块中包括相似图像块和差异图像块；根据所述图像块，确定前后两帧
UI
图像的图像变换差异度；根据前后两帧
UI
图像的图像变换差异度，执行对应的推理，得到目标
UI
操作视频数据的任务操作序列
。2.
根据权利要求1所述的
UI
操作提取方法，其特征在于，根据所述图像块，确定前后两帧
UI
图像的图像变换差异度，包括：针对连续帧的两张
UI
图像的特征图，计算对应位置的图像块的相似度；根据图像块的相似度和阈值确定前后两帧中相似图像块和差异图像块；根据前后两帧中相似图像块的数量和
UI
图像中图像块的总数量，得到前后两帧
UI
图像的图像变换差异度
。3.
根据权利要求1所述的
UI
操作提取方法，其特征在于，根据前后两帧
UI
图像的图像变换差异度，执行对应的推理，包括：若图像变换差异度位于第一阈值范围内，执行悬停操作推理；若图像变换差异度位于第二阈值范围内，执行弹出框操作推理；若图像变换差异度位于第三阈值范围内，执行功能区域窗口改变推理；其中所述第一阈值范围
>
第二阈值范围
>
第三阈值范围
。4.
根据权利要求3所述的
UI
操作提取方法，其特征在于，执行悬停操作推理，包括：针对连续帧的多张
UI
图像的特征图，检测位置连续的差异图像块中的文本信息；根据差异图像块中的文本信息判断提示类型；若为第一提示类型，根据统合的差异图像块的位置，返回当前悬停操作对应的组件位置；若为第二提示类型，返回文本内容获得前悬停操作对应的文本提示，其中所述文本提示表征当前鼠标悬停的
UI
元素的功能和
/
或作用
。5.
根据权利要求3所述的
UI
操作提取方法，其特征在于，执行弹出框操作推理，包括：针对连续帧的两张
UI
图像的特征图，统合所有连续的差异图像块的位置区域，得到弹出框区域及其位置信息；其中所述连续帧的两张
UI
图像包括时间序列在前的第一帧图像和时间序列在后的第二帧图像；针对连续帧的两张
UI
图像的特征图，检测对应差异图像块中的文本信息以及文本信息在差异图像块中的位置信息；根据所述文本信息在差异图像块中的位置信息，获取离左上角最近的文本作为弹出框区域的主标题；基于弹出框区域内的文本内容，确定弹窗框区域的副标题；若在所述连续帧的两张
UI
图像之后出现弹出框与第一帧图像中弹出框对应区域相同的一帧
UI
图像，表示弹出框关闭；否则弹出框关闭默认开启状态
。6.
根据权利要求5所述的
UI
操作提取方法，其特征在于，在弹出框关闭默认开启状态下，若图像变换差异度位于第四阈值范围内，执行弹出框内部区域性操作推理；其中所述第四阈值范围位于第二阈值范围内，且第四阈值范围的...

【专利技术属性】
技术研发人员：吴鑫，唐琦松，林平，谢涛，
申请(专利权)人：上海艺赛旗软件股份有限公司，
类型：发明
国别省市：