一种容器集群中算法模型的预加载方法技术

本发明专利技术实施例提供了一种容器集群中算法模型的预加载方法、装置及计算设备，实现了容器集群中算法模型的预加载，解决模型实时加载慢，以及短时间内大量模型同时加载造成的加载队列阻塞和模型加载失败的问题。方法包括：获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；根据所述第二时间段内的算法模型预加载任务分布预加载算法模型。

【技术实现步骤摘要】
一种容器集群中算法模型的预加载方法
本专利技术涉及容器
，尤其涉及一种容器集群中算法模型的预加载方法、装置及计算设备。
技术介绍
人工智能的相关应用在提供服务时都需要加载相应的算法模型，在智能语音交互和智能客服文本交互的使用场景中，因为不同客户的业务内容不同，需要给不同的客户提供不同的算法模型。在拥有大量客户的情况下，加载算法模型会消耗巨大的系统资源，所以在实际使用中，算法模型被设计为按需加载，在客户需要使用时再通过基于容器技术的模型实例管理系统进行加载，若模型在一段时间内没有被使用，则模型实例管理系统会将模型卸载，以释放系统的资源。现有的技术解决了大量的模型实例空闲时占用系统资源的问题，但是利用容器加载模型需要一定的时间，某些需要实时响应的人工智能系统会因此在模型第一次被调用时出现比较长的延迟，影响了用户的使用体验。另外一方面，多数人工智能系统的使用时间有着很大的一致性，例如智能外呼系统通常会在早上9点以及下午2点时集中开始任务，而客服系统在早晨上班时间也有着集中使用的特点，这种用户使用的特定导致了算法模型会在某一段时间内大量的本文档来自技高网...

【技术保护点】
1.一种容器集群中算法模型的预加载方法，其特征在于，包括：/n获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；/n根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；其中，所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间；/n根据所述第二时间段内的算法模型预加载任务分布预加载算法模型。/n

【技术特征摘要】
1.一种容器集群中算法模型的预加载方法，其特征在于，包括：
获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；
根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；其中，所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间；
根据所述第二时间段内的算法模型预加载任务分布预加载算法模型。


2.如权利要求1所述的方法，其特征在于，
根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布，包括：
将时间划分为若干时间单元；
根据所述第一时间段内各个时间单元的算法模型加载数目，建立N维第一向量；
将所述第一向量左乘N*N维的预设矩阵，得到N维第二向量；
根据所述第二向量，确定所述第二时间段内各个时间单元的算法模型预加载数目；
以及，
所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，通过设置所述预设矩阵实现。


3.如权利要求2所述的方法，其特征在于，根据所述第二时间段内的算法模型预加载任务分布预加载算法模型，包括：
根据所述第二时间段内的算法模型预加载任务分布，在所述第二时间段内预加载部分算法模型；
获取第三时间段内各个时间单元的算法模型加载任务分布；其中，包括所述第二时间段内未处理的预加载任务分布和所述第二时间段之后的算法模型加载任务分布；
根据所述第三时间段内各个时间单元的算法模型加载任务分布，建立N维第三向量；
将所述第三向量左乘N*N维的预设矩阵，得到N维第四向量；
根据所述第四向量，确定所述第三时间段内各个时间单元的算法模型预加载任务分布；
根据所述第三时间段内的算法模型预加载...

【专利技术属性】
技术研发人员：陈开冉，黎展，王木，
申请(专利权)人：广州探迹科技有限公司，
类型：发明
国别省市：广东;44