一种资源治理方法和装置制造方法及图纸

本发明专利技术公开了一种资源治理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：采集实时计算任务的元数据信息；基于所述元数据信息和预设的规则，确定所述实时计算任务占用的资源情况；在占用的资源情况满足资源回收条件时，则反馈资源回收信息，所述资源回收信息用于指示回收至少部分预分配给所述实时计算任务的资源，所述资源回收信息包括可回收的资源类型和相对应可回收的资源量。该实施方式能够在不干扰实时计算任务顺利运行的同时提高实时计算平台资源利用率，节省实时计算平台资源成本，还能够定量分析需要减少的资源量，从而最大化提高资源利用率。

【技术实现步骤摘要】
一种资源治理方法和装置
本专利技术涉及计算机
，尤其涉及一种资源治理方法和装置。
技术介绍
随着互联网技术的不断发展，互联网大数据的趋势日益显著，数据处理的时效性、准确性、稳定性越来越重要，在此趋势下，大数据实时计算平台应运而生。大数据实时计算平台可以为企业提供精准的数据加工、数据存储、数据计算等服务。为保证业务能够顺利进展，业务方会估算任务所需的资源，从而配置软硬件环境。目前，常用的计算任务所需资源的方法包括如下几种：(1)根据实时计算任务输入数据量大小评估所需资源量；(2)根据实时计算任务计算逻辑复杂程度评估所需资源量；(3)根据实时计算任务依赖的外部服务处理效率及网络等因素评估所需资源量；(4)根据实时计算任务多次调试得出所需资源量。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：各业务对资源的需求没有准确的计算方式，不能准确的计算出各业务所需的资源，而为了满足业务发展的需求，平台需要不断增加软硬件方面的基础建设，容易导致资源浪费问题，使得实时计算平台的资源没有得到充分利用。而且，不断增加软硬件方面本文档来自技高网...

【技术保护点】
1.一种资源治理方法，其特征在于，包括：/n采集实时计算任务的元数据信息；/n基于所述元数据信息，确定所述实时计算任务占用的资源情况；/n在占用的资源情况满足资源回收条件时，则根据预设的规则确定资源回收信息，所述资源回收信息用于指示回收至少部分预分配给所述实时计算任务的资源，所述资源回收信息包括可回收的资源类型和相对应可回收的资源量。/n

【技术特征摘要】
1.一种资源治理方法，其特征在于，包括：
采集实时计算任务的元数据信息；
基于所述元数据信息，确定所述实时计算任务占用的资源情况；
在占用的资源情况满足资源回收条件时，则根据预设的规则确定资源回收信息，所述资源回收信息用于指示回收至少部分预分配给所述实时计算任务的资源，所述资源回收信息包括可回收的资源类型和相对应可回收的资源量。


2.根据权利要求1所述的方法，其特征在于，所述可回收的资源类型包括分配给所述实时计算任务的执行单元或硬件配置。


3.根据权利要求2所述的方法，其特征在于，所述实时计算任务占用的资源情况包括：所述实时计算任务占用的资源量，或所述实时计算任务占用的资源使用率；
占用的资源情况满足资源回收条件包括：预定周期内所述占用的资源量的最大值小于预分配给该实时计算任务的资源，或预定周期内所述资源使用率的最大值小于资源阈值；
根据预设的规则确定资源回收信息包括：
根据所述实时计算任务占用的资源使用率和所述资源阈值，确定可回收的执行单元的数量或硬件配置。


4.根据权利要求3所述的方法，其特征在于，
根据下式确定可回收的执行单元的数量或硬件配置：
R1＝(S-K)×R2
其中，K表示资源使用率，S表示与资源使用率对应的资源阈值，R2表示实时计算任务占用的执行单元的数量或占用的硬件配置，R1表示可回收的执行单元的数量或硬件配置。


5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
统计所述资源回收信息和实际回收的资源情况；
根据统计结果，...

【专利技术属性】
技术研发人员：闫莉刚，高廉墀，张升，刘昕，裴周宇，张蛟，李豆豆，刘彦伟，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11