System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 应用功能的识别方法、装置、终端设备及存储介质制造方法及图纸_技高网

应用功能的识别方法、装置、终端设备及存储介质制造方法及图纸

技术编号:40232270 阅读:6 留言:0更新日期:2024-02-02 22:33
本申请公开了一种应用功能的识别方法、装置、终端设备及存储介质,涉及图像处理技术领域。该方法包括:获取前台运行的应用的运行界面截图;通过预先训练的第一图像特征提取模型,提取所述运行界面截图的图像特征,作为目标图像特征;根据多个预设功能文本特征以及所述目标图像特征,识别所述运行界面截图中所包含的应用功能,得到功能识别结果,所述功能识别结果用于确定待执行的目标操作,每个所述预设功能文本特征与至少一种预设应用功能对应。如此,提高应用功能的识别的效率及准确性。

【技术实现步骤摘要】

本申请涉及图像处理,尤其涉及一种应用功能的识别方法、装置、终端设备及存储介质


技术介绍

1、现在越来越多的应用难以以一个分类概括所有功能,如现在一个应用会同时包含了餐饮、外卖、旅游等等多种更加细化的功能,如果还是按照传统的应用类别来分析用户的使用手机行为或者做其他用途,会跟实际上用户使用的内容产生很大偏差。

2、而在相关技术中,对应用的功能分类往往均是由人为的预先进行识别标注,效率较为低下且主观性较强,准确性有待提高。


技术实现思路

1、本申请提出了一种应用功能的识别方法、装置、终端设备及存储介质,以提高应用功能的识别的效率及准确性。

2、第一方面,本申请实施例提供了一种应用功能的识别方法,应用于终端设备,所述方法包括:获取前台运行的应用的运行界面截图;通过预先训练的第一图像特征提取模型,提取所述运行界面截图的图像特征,作为目标图像特征;根据多个预设功能文本特征以及所述目标图像特征,识别所述运行界面截图中所包含的应用功能,得到功能识别结果,所述功能识别结果用于确定待执行的目标操作,每个所述预设功能文本特征与至少一种预设应用功能对应。

3、第二方面,本申请实施例提供了一种应用功能的识别装置,应用于终端设备,所述装置包括:截图获取模块,用于获取前台运行的应用的运行界面截图;特征提取模块,用于通过预先训练的第一图像特征提取模型,提取所述运行界面截图的图像特征,作为目标图像特征;功能识别模块,用于根据多个预设功能文本特征以及所述目标图像特征,识别所述运行界面截图中所包含的应用功能,得到功能识别结果,所述功能识别结果用于确定待执行的目标操作,每个所述预设功能文本特征与至少一种预设应用功能对应。

4、第三方面,本申请实施例提供了一种终端设备,包括:一个或多个处理器;存储器;一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述的方法。

5、第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述的方法。

6、本申请提供的方案中,终端设备可以获取前台运行的应用的运行界面截图;通过预先训练的第一图像特征提取模型,提取运行界面截图的图像特征,作为目标图像特征;根据多个预设功能文本特征以及目标图像特征,识别运行界面截图中所包含的应用功能,得到功能识别结果,功能识别结果用于确定待执行的目标操作,每个所述预设功能文本特征与至少一种预设应用功能对应。显然,通过对应用在前台运行时的运行界面截图进行识别,从而可以更加细化且准确地获知到该应用内部的应用功能;并且,利用了预先训练的第一图像特征提取模型,快速且准确地提取了运行界面截图的图像特征,进而再根据图像特征以及多种预设功能文本特征,可以更为快速且准确地确定出该运行界面截图所包含的应用功能,在一定程度上避免了由人为的预先识别应用内部的应用功能存在主观性导致准确性低以及识别效率低等问题。

本文档来自技高网...

【技术保护点】

1.一种应用功能的识别方法,其特征在于,应用于终端设备,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据多个预设功能文本特征以及所述目标图像特征,识别所述运行界面截图中所包含的应用功能,得到功能识别结果,包括:

3.根据权利要求2所述的方法,其特征在于,在所述从所述多个预设文本特征中,获取与所述目标图像特征匹配的预设文本特征,作为目标文本特征之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述第一图像特征提取模型是对第二图像特征提取模型进行压缩处理后得到的,所述第二图像特征提取模型以及所述第一文本特征提取模型的训练过程,包括:

5.根据权利要求4所述的方法,其特征在于,所述获取目标样本集,包括:

6.根据权利要求4所述的方法,其特征在于,在所述从所述多个预设文本特征中,获取与所述目标图像特征匹配的预设文本特征,作为目标文本特征之前,所述方法还包括:

7.根据权利要求1-6任一项所述的方法,其特征在于,所述获取前台运行的应用的运行界面截图,包括:

8.根据权利要求7所述的方法,其特征在于,在所述根据多个预设功能文本特征以及所述目标图像特征,识别所述运行界面截图中所包含的应用功能,得到功能识别结果之后,所述方法还包括:

9.根据权利要求1-6任一项所述的方法,其特征在于,所述运行界面截图为实时运行界面截图,在所述根据多个预设功能文本特征以及所述目标图像特征,识别所述运行界面截图中所包含的应用功能,得到功能识别结果之后,所述方法还包括:

10.一种应用功能的识别装置,其特征在于,应用于终端设备,所述装置包括:

11.一种终端设备,其特征在于,包括:

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1至9任一项所述的方法。

...

【技术特征摘要】

1.一种应用功能的识别方法,其特征在于,应用于终端设备,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据多个预设功能文本特征以及所述目标图像特征,识别所述运行界面截图中所包含的应用功能,得到功能识别结果,包括:

3.根据权利要求2所述的方法,其特征在于,在所述从所述多个预设文本特征中,获取与所述目标图像特征匹配的预设文本特征,作为目标文本特征之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述第一图像特征提取模型是对第二图像特征提取模型进行压缩处理后得到的,所述第二图像特征提取模型以及所述第一文本特征提取模型的训练过程,包括:

5.根据权利要求4所述的方法,其特征在于,所述获取目标样本集,包括:

6.根据权利要求4所述的方法,其特征在于,在所述从所述多个预设文本特征中,获取与所述目标图像特征匹配的预设文本特征,作为目标文本特征之前,所...

【专利技术属性】
技术研发人员:李士新邱雨帅朝春
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1