面向GUI的任务自动执行插件生成方法及服务获取方法技术

技术编号:40532302 阅读:20 留言:0更新日期:2024-03-01 13:53
本申请提供了一种面向GUI的任务自动执行插件生成方法及服务获取方法,属于人工智能技术领域。该方法包括:响应于针对训练指导控件的触控操作,显示目标服务的GUI;在用户基于GUI演示目标服务的获取过程中,获取目标任务中每个子任务执行时用户输入的目标信息及每个子任务对应的界面信息;调用多模态大语言模型,对每个子任务执行时用户输入的目标信息及每个子任务对应的界面信息进行处理,得到至少一个子任务对应的子任务自动执行脚本;根据至少一个子任务对应的子任务自动执行脚本,生成任务自动执行插件。本申请可自动生成目标任务对应的任务自动执行插件,降低了插件编写难度及开发成本。

【技术实现步骤摘要】

本申请涉及人工智能,特别涉及一种面向gui的任务自动执行插件生成方法及服务提供方法。


技术介绍

1、在现代生活中,为满足用户的使用需求,基于gui(graphical user interface,图形用户界面)提供服务的应用程序被开发出来。用户通过在这些应用程序的gui上进行操作,可以获取所需服务,例如预订机票、预订酒店、购买咖啡、管理okr(objectives and keyresults,目标与关键成果)等。对gui上的用户操作进行分析可以发现,用户的操作具有一定的规则性和可重复性。为了更好地服务于用户,降低用户的操作复杂度,可为那些面向gui的服务,生成任务自动执行插件,从而无需用户操作,通过调用任务自动执行插件,即可为用户提供所需服务。

2、目前,面向gui的任务自动执行插件均需要插件开发人员来编写。然而,该种方式编写难度较大,开发成本较高。


技术实现思路

1、本申请实施例提供了一种面向gui的任务自动执行插件生成方法及服务获取方法,能够降低面向gui的任务自动执行插件的编写难度,降低本文档来自技高网...

【技术保护点】

1.一种面向GUI的任务自动执行插件生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个子任务对应的子任务自动执行脚本,生成所述目标任务对应的任务自动执行插件,包括:

5.根据权利要求4所述的方法,其特征在于,所述获取至少一个目标参数,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述至少一个目标参数,对所述至少一个子任务自动执行脚本中相应目标参数的参...

【技术特征摘要】

1.一种面向gui的任务自动执行插件生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个子任务对应的子任务自动执行脚本,生成所述目标任务对应的任务自动执行插件,包括:

5.根据权利要求4所述的方法,其特征在于,所述获取至少一个目标参数,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述至少一个目标参数,对所述至少一个子任务自动执行脚本中相应目标参数的参数值进行泛化处理,得到所述目标任务对应的任务自动执行插件,包括:

7.根据权利要求4所述的方法,其特征在于,所述获取至少一个目标参数,包括:

8.根据权利要求7所述的方法,其特征在于,所述基于所述至少一个目标参数,对所述至少一个子任务自动执行脚本中相应目标参数的参数值进行泛化处理,得到所述目标任务对应的任务自动执行插件,包括:

9.根据权利要求1至...

【专利技术属性】
技术研发人员:程操红石佳锐符小宝李乔李坤鑫王超成伟张玮珂陈天其陆逸慧邵淳华侯雅文吴律宗维康彭峥吴朋欧阳德仁
申请(专利权)人:钉钉中国信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1