任务处理方法、服务器、语言预测系统和人机交互系统技术方案

技术编号:38854482 阅读:26 留言:0更新日期:2023-09-17 10:00
本公开提供了一种任务处理方法、服务器、语言预测系统和人机交互系统,涉及数据处理领域,具体涉及人工智能、人机交互和深度学习领域。具体实现方案为:获取语言处理任务和所述语言处理任务的任务类型;在服务节点集群中,查询所述任务类型对应的至少一个目标节点;获取各所述目标节点的实时任务处理数量;根据各所述目标节点的实时任务处理数量,在各所述目标节点中筛选空闲节点,并将所述语言处理任务分配给所述空闲节点执行;获取所述空闲节点针对所述语言处理任务的执行结果,并反馈所述执行结果。本公开实施例可以提高请求响应效率和资源利用率。资源利用率。资源利用率。

【技术实现步骤摘要】
任务处理方法、服务器、语言预测系统和人机交互系统


[0001]本公开涉及数据处理领域,具体涉及人工智能、人机交互和深度学习领域,尤其涉及一种任务处理方法、服务器、语言预测系统和人机交互系统。

技术介绍

[0002]大语言模型(LLM,Large Language Model,LLM)是指使用大量文本数据训练的深度学习模型,可以理解语言文本的含义,生成相应内容。
[0003]大语言模型可以处理多种自然语言任务,如文案生成、知识问答、对话和文本续写等,是通向人工智能的一条重要途径。

技术实现思路

[0004]本公开提供了一种任务处理方法、服务器、语言预测系统和人机交互系统。
[0005]根据本公开的一方面,提供了一种任务处理方法,包括:
[0006]获取语言处理任务和所述语言处理任务的任务类型;
[0007]在服务节点集群中,查询所述任务类型对应的至少一个目标节点;
[0008]获取各所述目标节点的实时任务处理数量;
[0009]根据各所述目标节点的实时任务处理数量,在各所述目标节点中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法,包括:获取语言处理任务和所述语言处理任务的任务类型;在服务节点集群中,查询所述任务类型对应的至少一个目标节点;获取各所述目标节点的实时任务处理数量;根据各所述目标节点的实时任务处理数量,在各所述目标节点中筛选空闲节点;将所述语言处理任务分配给所述空闲节点执行;获取所述空闲节点针对所述语言处理任务的执行结果,并反馈所述执行结果。2.根据权利要求1所述的方法,其中,所述根据各所述目标节点的实时任务处理数量,在各所述目标节点中筛选空闲节点,包括:获取所述目标节点最大任务处理数量,所述最大任务处理数量根据所述目标节点的处理单元类型确定;获取最大任务处理数量大于实时任务处理数量的目标节点,并从中筛选空闲节点。3.根据权利要求2所述的方法,在将所述语言处理任务分配给所述空闲节点执行之后,还包括:更新所述空闲节点的实时任务处理数量。4.根据权利要求2所述的方法,还包括:获取节点注册请求;从所述节点注册请求中,提取备选节点的节点功能信息,所述节点功能信息包括下述至少一项:运行的模型的模型类型、模型功能和模型性能;根据所述节点功能信息,确定所述备选节点对应的任务类型;从所述节点注册请求中,提取所述备选节点的处理单元类型;根据所述备选节点的处理单元类型,和处理单元类型与最大任务处理数量之间的映射关系,确定所述备选节点的最大任务处理数量;根据所述备选节点的任务类型和最大任务处理数量,对所述备选节点进行注册。5.根据权利要求1所述的方法,其中,所述语言处理任务通过用户人机交互输入的语言内容生成,所述任务类型通过对所述语言内容进行意图识别确定,所述任务类型包括下述至少一项:文本生成类型、图像生成类型、富文本生成类型和超链接生成类型。6.根据权利要求1所述的方法,还包括:在各所述目标节点中不存在空闲节点,等待预设目标时长,重新获取各所述目标节点的实时任务处理数量,并在各所述目标节点中筛选空闲节点;若等待时长满足超时条件,提示所述任务类型对应的服务扩容建议信息。7.根据权利要求3所述的方法,其中,所述在服务节点集群中,查询所述任务类型对应的至少一个目标节点,包括:获取锁;根据所述锁,在服务节点集群中,查询所述任务类型对应的至少一个目标节点;所述更新所述空闲节点的实时任务处理数量,包括:更新所述空闲节点的实时任务处理数量,并释放所述锁。8.一种任务处理装置,包括:负载均衡器,用于获取语言处理任务和所述语言处理任务的任务类型;
资源协调器,用于在服务节点集群中,查询所述任务类型对应的至少一个目标节点;所述资源协调器,用于获取各所述目标节点的实时任务处理数量;所述资源协调器,用于根据各所述目标节点的实时任务处理数量,在各所述目标节点中筛选空闲节点;所述负载均衡器,用于将所述语言处理任务分配给所述空闲节点执行;所述负载均衡器,用于获取所述空闲节点针对所述语言处理任务的执行结果,并反馈所述执行结果。9.根据权利要求8所述的装置,其中,所述资源协调器,包括:最大任务处理数量获取模块,用于获取所述目标节点最大任务处理数量,所述最大任务处理数量根据所述目标节点的处理单元类型确定;空闲节点筛选模块,用于获取最大任务处理数量大于实时任务处理数量的目标节点,并从中筛选空闲节点。10.根据权利要求9所述的装置,所述资源协调器,还包括:实时任务处理量更新模块,用于在将所述...

【专利技术属性】
技术研发人员:卜崇宇孙权王莹雪白正彪包顺科王高俊董大祥
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1