一种基于大模型的多模型服务的构建和智能调度方法技术

技术编号:43710738 阅读:21 留言:0更新日期:2024-12-18 21:23
本发明专利技术公开了一种基于大模型的多模型服务的构建和智能调度方法,该基于大模型的多模型服务的构建和智能调度方法包括以下步骤:S1、构建多模型集成平台;S2、模型的注册和评价;S3、用户服务请求的语义向量拆解与理解;S4、模型选择与优先级筛选;S5、服务响应优先级排序与资源智能分派;S6、反馈结果优化与反馈;S7、命中标注和结果训练;本发明专利技术的基于大模型的多模型服务的构建和智能调度方法通过构建人工智能集成平台,将包括大模型在内的多种人工智能模型统一服务和接口,实现用户服务请求的智能理解、模型智能选择、服务响应智能调度以及反馈结果优化,以满足用户的多场景人工智能技术应用需求。

【技术实现步骤摘要】

本专利技术涉及人工智能领域,特别涉及一种基于大模型的多模型服务的构建和智能调度方法


技术介绍

1、随着人工智能技术的飞速发展,用户对于人工智能服务的需求日益增加,且需求场景日益多样化。然而,传统的人工智能应用通常局限于单一技术,无法满足用户在单一应用下多场景人工智能技术应用的需求。因此,如何构建一种能够融合多种人工智能技术,并通过智能调度满足用户多样化需求的系统和方法,成为当前人工智能
亟待解决的问题。

2、目前的技术方案具有两方面的缺陷:

3、一是在使用大模型技术时,通用大模型无法在某一个具体的行业做到领域深度,对生成能力的提升需要大参数模型的训练,资源成本较大;行业模型专注某一领域的深度训练,而通用能力较差。同时由于大模型技术的局限,对完成特定业务场景时,需要进行大模型和小模型的搭配使用,这对应用系统的技术栈要求较单一大模型应用复杂化。

4、二是在需求多样化的应用场景中,单一的模型不能够完成场景需求,需要对目标需求进行任务分解,并通过多种模型组合的形式,完成不同子任务需求。此问题在应用规划初期如未能设计全面,本文档来自技高网...

【技术保护点】

1.一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,该基于大模型的多模型服务的构建和智能调度方法包括以下步骤:

2.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述构建多模型集成平台为:该平台将包括大模型在内的多种人工智能模型进行集成,提供统一的服务和接口。

3.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述模型的注册和评价为:对构建在平台之上的模型的能力、任务目标、资源开销、计算类型进行注册,对模型的能力进行评价,形成评价指标、能力范围、访问规则,并对调度模型进行规则微调训练;...

【技术特征摘要】

1.一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,该基于大模型的多模型服务的构建和智能调度方法包括以下步骤:

2.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述构建多模型集成平台为:该平台将包括大模型在内的多种人工智能模型进行集成,提供统一的服务和接口。

3.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述模型的注册和评价为:对构建在平台之上的模型的能力、任务目标、资源开销、计算类型进行注册,对模型的能力进行评价,形成评价指标、能力范围、访问规则,并对调度模型进行规则微调训练;采用能力标注与权重计算的方式形成指标矩阵,根据矩阵对模型评价指标进行定义,最终形成对模型的指标分值,当多个模型具有同一业务能力时,可通过评价指标进行择优选择。

4.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述用户服务请求的语义向量拆解与理解为:当用户通过自然语言对话形式提出服务请求时,系统首先对用户请求进行语义向量拆解,将用户的自然语言输入转化为计算机可理解的语义向量,并获取用户请求的具体参数。然后,系统对请求进行语义理解,明确用户的具体需求。

5.根据权利要求1所述的一种基于大模型...

【专利技术属性】
技术研发人员:葛雷黄彩青杨静霞毕志华袁腾飞石清云张若飞李宏磊
申请(专利权)人:航天开元科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1