【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种大模型请求调度方法、大模型网关系统及电子设备。
技术介绍
1、随着大模型技术的发展，如何对客户端发出的各类大模型请求进行合理调度，成为降低大模型调度成本所面临的首要问题。相关技术中，通过为大模型设置网关系统，由网关系统对客户端发出的各类大模型请求进行调度。
2、该大模型下的网关系统常通过提供一个集中管理和控制api(applicationprogram interface，应用程序接口)的功能模块，由该功能模块对各个互联网服务进行管控。但是，现有的网关系统在实际应用过程中，存在难以支持复杂的请求的问题。
技术实现思路
1、有鉴于此，本申请实施例提供了一种大模型请求调度方法、大模型网关系统及电子设备，以解决现有的大模型网关系统功能简单，无法支持复杂的请求调度的问题。
2、第一方面，本申请实施例提供了一种大模型请求调度方法，其中，该方法包括：
3、接收目标请求消息，其中，所述目标请求消息携带有所要请求的服务类型；
4、从预设配置信息中心获取大模型的各服务设备的通信属性信息以及运行情况信息，其中，所述通信属性信息为所述服务设备支持的通信方式类型，所述运行情况信息包括所述服务设备运行服务实例的情况信息；
5、根据所述服务类型，基于各所述服务设备的通信属性信息以及运行情况信息，确定响应所述目标请求的目标服务设备，控制所述目标服务设备响应所述目标请求消息。
6、结合第一方面，在第二种可能的实
7、根据所述预设配置信息中心存储的各服务设备的运行情况信息，确定各所述服务设备是否存在运行异常；若存在运行异常的服务设备，生成告警信息；
8、基于各所述服务设备的运行情况信息，以及所述告警信息，生成运维管理报表。
9、结合第一方面，在第三种可能的实施例中，所述基于各所述服务设备的通信属性信息以及运行情况信息，确定响应所述目标请求的目标服务设备，控制所述目标服务设备响应所述目标请求消息，包括：
10、基于各所述服务设备的运行情况信息，确定运行状态处于空闲状态的目标服务设备；
11、根据所述目标服务设备的通信属性信息，将所述目标请求消息转发至所述目标服务设备中，其中，所述通信属性信息包括所述目标服务设备的通信地址信息。
12、结合第一方面，在第四种可能的实施例中，所述方法还包括：
13、提取所述目标请求消息中携带的预设字段信息；
14、将所述预设字段信息以及所述目标服务设备的设备地址信息，按照预设通用协议生成规则，填充至所述预设通用协议对应的字段中，以得到通用的请求协议消息；
15、基于所述通用的请求协议消息携带的所述目标服务设备的设备地址信息，将所述通用的请求协议消息转发至所述目标服务设备中。
16、结合第一方面，在第五种可能的实施例中，所述方法还包括：
17、针对各所述服务设备中运行的各服务的健康状况进行监测，确定是否存在超出预设时间范围无通信的服务，或者是否存在不可用的服务；
18、若存在，删除所述超出预设时间范围无通信的服务，或者删除所述不可用的服务。
19、结合第一方面，在第六种可能的实施例中，所述基于各所述服务设备的通信属性信息以及运行情况信息，确定响应所述目标请求的目标服务设备，包括：
20、根据各所述服务设备中的各服务实例的负载状态，基于预设令牌桶流控策略，确定响应所述目标请求消息的目标服务设备。
21、第二方面，本申请实施例提供了一种大模型网关系统，所述系统包括：
22、预处理模块，用于接收目标请求消息，其中，所述目标请求消息携带有所要请求的服务类型；
23、预设配置信息中心，用于存储大模型的各服务设备的通信属性信息以及运行情况信息，其中，所述通信属性信息为所述服务设备支持的通信方式类型，所述运行情况信息包括所述服务设备运行服务实例的情况信息；
24、所述预处理模块，还用于从预设配置信息中心获取大模型的各服务设备的通信属性信息以及运行情况信息；
25、路由模块，用于根据所述服务类型，基于各所述服务设备的通信属性信息以及运行情况信息，确定响应所述目标请求的目标服务设备，控制所述目标服务设备响应所述目标请求消息。
26、结合第二方面，在第二种可能的实施例中，所述系统还包括：
27、监控模块，用于根据所述预设配置信息中心存储的各服务设备的运行情况信息，确定各所述服务设备是否存在运行异常；若存在运行异常的服务设备，生成告警信息；
28、所述监控模块，还用于基于各所述服务设备的运行情况信息，以及所述告警信息，生成运维管理报表。
29、结合第二方面，在第三种可能的实施例中，所述系统还包括：
30、协议转换模块，用于提取所述目标请求消息中携带的预设字段信息；
31、将所述预设字段信息以及所述目标服务设备的设备地址信息，按照预设通用协议生成规则，填充至所述预设通用协议对应的字段中，以得到通用的请求协议消息；
32、基于所述通用的请求协议消息携带的所述目标服务设备的设备地址信息，将所述通用的请求协议消息转发至所述目标服务设备中。
33、结合第二方面，在第四种可能的实施例中，所述监测模块，还用于针对各所述服务设备中运行的各服务的健康状况进行监测，确定是否存在超出预设时间范围无通信的服务，或者是否存在不可用的服务；
34、若存在，删除所述超出预设时间范围无通信的服务，或者删除所述不可用的服务。
35、结合第二方面，在第五种可能的实施例中，所述路由模块，具体用于：
36、基于各所述服务设备的运行情况信息，确定运行状态处于空闲状态的目标服务设备；
37、根据所述目标服务设备的通信属性信息，将所述目标请求消息转发至所述目标服务设备中，其中，所述通信属性信息包括所述目标服务设备的通信地址信息。
38、结合第二方面，在第六种可能的实施例中，所述路由模块，还用于根据各所述服务设备中的各服务实例的负载状态，基于预设令牌桶流控策略，确定响应所述目标请求消息的目标服务设备。
39、第三方面，本申请实施例提供了一种电子设备，其中，所述电子设备包括：
40、处理器；以及
41、存储程序的存储器，
42、其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行第一方面所述的大模型请求调度方法。
43、第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行第一方面所述的大模型请求调度方法。
44、本申请的有益效果：
45、本申请实施例提供了一种大模型请求调度方法、大模型网关系统及电子设备，其中，该方法通过接本文档来自技高网...
【技术保护点】
1.一种大模型请求调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述基于各所述服务设备的通信属性信息以及运行情况信息，确定响应所述目标请求的目标服务设备，控制所述目标服务设备响应所述目标请求消息，包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述基于各所述服务设备的通信属性信息以及运行情况信息，确定响应所述目标请求的目标服务设备，包括：
7.一种大模型网关系统，其特征在于，所述系统包括：
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：
9.根据权利要求7所述的系统，其特征在于，所述路由模块，具体用于：
10.一种电子设备，其特征在于，所述电子设备包括：
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于
...【技术特征摘要】
1.一种大模型请求调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述基于各所述服务设备的通信属性信息以及运行情况信息，确定响应所述目标请求的目标服务设备，控制所述目标服务设备响应所述目标请求消息，包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所...
【专利技术属性】
技术研发人员：耿旭涵，李晓亮，徐健，赵辉，刘哲文，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。