【技术实现步骤摘要】
本专利技术涉及计算机数据处理，具体涉及一种请求时间窗口动态调整方法、系统、计算机系统及介质。
技术介绍
1、随着人工智能技术的发展，大规模模型（如gpt系列模型）已广泛应用于在线问答、搜索推荐和实时推理等场景。多个客户的并发请求的波动对系统的响应能力和资源利用效率提出了严峻挑战。例如，当多个客户同时发起请求时，系统必须快速响应每个请求，否则可能导致延迟增加。如何动态调整时间窗口以高效处理多个客户的并发请求，是提升大模型应用效率的关键。
技术实现思路
1、本申请要解决的技术问题是提供一种请求时间窗口动态调整方法、系统、计算机系统及介质，具有可以在优化计算资源分配的同时，更好地平衡请求处理效率和响应速度，从而满足多客户并发场景下实际需求的特点。
2、第一方面，一种实施例中提供一种请求时间窗口动态调整方法，包括：
3、获取当前的请求频率，所述的当前的请求频率包括ai服务大模型当前的服务请求到达频率；
4、获取预设的基础请求时间窗口，所述基础请求时间窗口为预设的...
【技术保护点】
1.一种请求时间窗口动态调整方法，其特征在于，包括：
2.如权利要求1所述的请求时间窗口动态调整方法，其特征在于，所述的基于所述请求频率、基础请求时间窗口和第一调整系数计算当前的请求时间窗口，包括：
3.如权利要求1或2所述的请求时间窗口动态调整方法，其特征在于，所述的获取第一调整系数，包括：
4.如权利要求3所述的请求时间窗口动态调整方法，其特征在于，所述的基于所述上一服务请求推理时间、基础请求时间窗口和第二调整系数，计算第一调整系数，包括：
5.如权利要求4所述的请求时间窗口动态调整方法，其特征在于，所述的获取第二调
【技术特征摘要】
1.一种请求时间窗口动态调整方法，其特征在于，包括：
2.如权利要求1所述的请求时间窗口动态调整方法，其特征在于，所述的基于所述请求频率、基础请求时间窗口和第一调整系数计算当前的请求时间窗口，包括：
3.如权利要求1或2所述的请求时间窗口动态调整方法，其特征在于，所述的获取第一调整系数，包括：
4.如权利要求3所述的请求时间窗口动态调整方法，其特征在于，所述的基于所述上一服务请求推理时间、基础请求时间窗口和第二调整系数，计算第一调整系数，包括：
5.如权利要求4所述的请求时间窗口动态调整方法，其特征在于，所述的获取第二调整系数，包括：
6.如权利要求5所述的请求时间窗口动态调整方法，其特征在于，所述第一阈值为5，第二阈值为0.5，第一数值大于或等于0.1...
【专利技术属性】
技术研发人员：孙月，石薪霖，肖晓月，
申请(专利权)人：熵减成都智能科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。