【技术实现步骤摘要】
资源调度方法、装置和云端服务系统
[0001]本公开涉及计算机应用
,尤其涉及云计算和智能搜索
技术介绍
[0002]如今硬件的处理能力发展迅速,服务器的处理能力也得到了迅速提升。为了提高服务器的资源利用率,逐渐将多个服务部署到同一台机器上,这就产生了云端服务架构。对于服务提供商而言,不需要去购买各种机器,而直接在云上运用各种资源来部署服务。
[0003]目前搜索、推荐等服务成为用户内容消费的主流方式,例如图文内容、小视频、短视频、长视频、音频等媒体内容等,都需要大量复杂的策略计算从而实现以策略计算为驱动的内容分发。由于多数服务的流量不会一成不变,会有相应的波动。为了保证服务的正常提供通常按照流量的高峰吞吐量来部署资源实例,这必然会造成很大的资源浪费。
技术实现思路
[0004]本公开提供了一种资源调度方法、装置、云端服务系统、电子设备、计算机可读存储介质和计算机程序产品,以减少资源浪费。
[0005]根据本公开的第一方面,提供了一种资源调度方法,应用于云端服务系统,在所述云端 ...
【技术保护点】
【技术特征摘要】
1.一种资源调度方法,应用于云端服务系统,在所述云端服务系统中来自数据生产方的服务数据被送入对应服务的数据队列中,以便为所述服务分配的资源实例从所述数据队列中读取服务数据并进行相应处理;所述方法包括:监测所述数据队列的堆积状况;依据所述数据队列的堆积状况调整为所述服务分配的资源实例。2.根据权利要求1所述的方法,其中,监测所述数据队列的堆积状况包括:监测所述数据队列最新放入的服务数据状态和为所述服务分配的资源实例最新处理完的服务数据状态;依据所述数据队列最新放入的服务数据状态和为所述服务分配的资源实例最新处理完的服务数据状态之间的差异值,确定所述数据队列的堆积状况。3.根据权利要求1所述的方法,其中,依据所述数据队列的堆积状况调整为所述服务分配的资源实例包括以下至少一种:若所述数据队列的堆积状况大于或等于预设扩容阈值的持续时长达到预设第一时长,则增加为所述服务分配的资源实例;若所述数据队列的堆积状况小于或等于预设缩容阈值的持续时长达到预设第二时长,则减少为所述服务分配的资源实例。4.根据权利要求3所述的方法,其中,所述增加为所述服务分配的资源实例包括:若所述数据队列的堆积状况大于或等于预设突发阈值,所述突发阈值大于所述扩容阈值,则将为所述服务分配的资源实例增加至预设的最大资源实例数;否则,按照预设的步长或比例增加为所述服务分配的资源实例直至达到所述最大资源实例数。5.根据权利要求3所述的方法,其中,所述减少为所述服务分配的资源实例包括:若所述数据队列的堆积状况指示无待处理服务数据的持续时长达到预设第三时长,所述第三时长大于或等于所述第二时长,则将为所述服务分配的资源实例数减少为0;否则,按照预设的步长或比例减少为所述服务分配的资源实例直至达到预设的最小资源实例数,所述最小资源实例数为正整数。6.根据权利要求1、3、4或5所述的方法,其中,调整为所述服务分配的资源实例的间隔时长大于或等于预设最小连续触发时长。7.根据权利要求5所述的方法,在将为所述服务分配的资源实例数减少为0之后,还包括:记录资源实例最后读取到的数据队列偏移位置;若监测到最新写入所述数据队列的服务数据状态标识发生变化,则为所述服务分配资源实例,以便资源实例启动后依据记录的所述偏移位置读取服务数据。8.根据权利要求1、3、4或7所述的方法,还包括:若监测到资源实例超过预设异常启动时长仍未启动完成,则将该资源实例的处理任务迁移至其他资源实例。9.根据权利要求3所述的方法,若所述数据队列的堆积状况大于或等于预设扩容阈值的持续时长达到预设第一时长,该方法还包括:监测为所述服务分配的各资源实例的数据堆积状况,依据所述各资源实例的数据堆积状况确定热门算子;
所述增加为所述服务分配的资源实例包括:针对所述热门算子增加资源实例。10.根据权利要求3所述的方法,还包括:若剩余资源少于或等于预设资源数量阈值,则优先增加为高优先级服务分配的资源实例。11.根据权利要求1
‑
5、7或9所述的方法,其中,所述服务数据包括多媒体内容数据;所述处理包括基于搜索策略的计算或者基于推荐策略的计算。12.一种资源调度装置,应用于云端服务系统,在所述云端服务系统中来自数据生产方的服务数据被送入对应服务的数据队列中,以便为所述服务分配的资源实例从所述数据队列中读取服务数据并进行相应处理;所述装置包括:监测单元,用于监测所述数据队列的堆积状况;调度单元,用于依据所述数据队列的堆积状况调整为所述服务分配的资源实例。13.根据权利要求12所述的装置,其中,所述监测单元包括:状态获取子单元,用于监测所述数据队列最新放入的服务数据状态和为所述服务分配的资源实例最新处理完的服务数据状态;堆...
【专利技术属性】
技术研发人员:刘桐仁,张安站,
申请(专利权)人:百度在线网络技术北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。