【技术实现步骤摘要】
一种在线图像识别服务的扩缩容方法及相关装置
[0001]本专利技术涉及数据处理
，特别涉及一种在线图像识别服务的扩缩容方法及相关装置。
技术介绍
[0002]在线图像识别服务是借助深度学习在线服务框架和中央处理器(Central Processing Unit，CPU)的算力资源，在线提供稳定的高吞吐量预测服务。该服务用于根据预置的识别模型对客户端上传的待处理图像进行识别预测。为合理分配各预测任务对资源的占用，相关技术中多通过自动扩缩容操作来动态分配用于执行预测任务的资源量。
[0003]传统的扩缩容方式是根据在线图像识别服务的CPU资源使用情况作为评判指标，通过对执行预测任务所需的计算资源进行扩缩容操作，以使在线图像识别服务能够动态的适应流量高峰以及低谷时期的不同资源需求。这种直接以CPU资源的占用作为判断指标的方式多存在扩缩容误操作的发生，例如因与在线图像识别服务无关的其他系统占用CPU资源较多时，会导致CPU占用率升高。当在线图像识别服务监测到CPU占用率升高时会通过执行扩缩容操作以获取更多的计算资源。但...
【技术保护点】
【技术特征摘要】
1.一种在线图像识别服务的扩缩容方法，其特征在于，所述方法包括：对在线图像识别服务的待处理图像的数量进行监测，基于监测到的所述待处理图像的数量确定执行预测任务所需的设备资源量；基于预设转换关系确定所述待处理图像的数量在容器管理系统中对应的预设监控指标；其中，所述容器管理系统用于对所述在线图像识别服务持有的容器进行管理；每一容器内封装有图形处理器资源，所述容器为在线图像识别服务持有资源量的分配单位，所述容器的逻辑封装用于拦截对统一计算设备架构库的应用程序编程接口的调用；根据所述预设监控指标控制所述容器管理系统对所述在线图像识别服务持有的容器进行扩缩容操作，以使扩缩容后的容器所对应的持有资源量满足所述设备资源量；根据所述持有资源量执行所述预测任务；其中，执行扩容操作时，从资源集群的实体设备卡中划分出与目标资源量相同的资源，对所述资源进行容器封装以构建虚拟设备卡；所述目标资源量是根据所述设备资源量和所述持有资源量确定的；执行缩容操作时，对所述在线图像识别服务当前持有的容器执行预设删除操作，以使所述在线图像识别服务的响应时间处于预设时间范围内。2.根据权利要求1所述的方法，其特征在于，所述基于监测到的所述待处理图像的数量确定执行预测任务所需的设备资源量，包括：获取所述预测任务的延时时长以及图像处理器的处理速率；根据所述待处理图像的数量、所述延时时长以及所述处理速率确定所述设备资源量。3.根据权利要求1所述的方法，其特征在于，所述基于预设转换关系确定所述待处理图像的数量在容器管理系统中对应的预设监控指标，包括：若所述待处理图像的数量大于第一监控阈值，则确定所述待处理图像的数量对应于表征执行扩容操作的预设监控指标；若所述待处理图像的数量小于第二监控阈值，则确定所述待处理图像的数量对应于表征执行缩容操作的预设监控指标；其中，所述第二监控阈值小于所述第一监控阈值；若所述待处理图像的数量处于所述第一监控阈值和所述第二监控阈值之间，则确定所述待处理图像的数量对应于表征无需执行扩缩容操作的预设监控指标。4.根据权利要求1所述的方法，其特征在于，所述从资源集群的实体设备卡中划分出与目标资源量相同的虚拟资源之前，所述方法还包括：对所述资源集群进行检测，获取满足所述设备资源量的实体设备卡；所述从资源集群的实体设备卡中划分出与目标资源量相同的图形处理器资源，对所述图形处理器资源进行容器封装以构建虚拟设备卡，包括：选取图形处理资源最少的实体设备卡作为目标实体设备卡，从所述目标实体设备卡中划分出与所述目标资源量相同的图形处理器资源；对所述图形处理器资源进行容器封装，将封装的容器作为所述虚拟设备卡。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：对所述资源集群进行检测时，若未检测到所述资...
【专利技术属性】
技术研发人员：莫浩，朱立谷，姬光，张恩伟，尹宇鹤，谢群，蒙移发，
申请(专利权)人：北京声迅电子股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。