计算资源分配方法、装置、电子设备、存储介质制造方法及图纸

本发明专利技术提供一种实时计算任务的计算资源分配方法、装置、电子设备、存储介质，实时计算任务的计算资源分配方法，包括：接收用户登入信息，并根据所述用户登入信息验证用户权限；接收实时计算任务的发布，并依据所述用户权限将该实时计算任务分配至关联该用户权限的任务队列中；自所述任务队列中获取实时计算任务；以及根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源。本发明专利技术提供的方法及装置优化实时计算资源的分配。

【技术实现步骤摘要】
计算资源分配方法、装置、电子设备、存储介质
本专利技术涉及计算机应用
，尤其涉及一种实时计算任务的计算资源分配方法、装置、电子设备、存储介质。
技术介绍
在互联网时代，各种数据处理都有实时计算的需求。例如，车货匹配的业务场景中，有很多实时需求，比如推荐排序、实时报表、运营分析等。但是他们使用大数据实时集群的计算能力的门槛很高，比如无法方便申请和隔离资源、无法开发部署、没有监控报警等。出现了实时资源利用不充分，资源抢占，提交实时应用混乱等情况。
技术实现思路
本专利技术为了克服上述相关技术存在的缺陷，提供一种实时计算任务的计算资源分配方法、装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本专利技术的一个方面，提供一种实时计算任务的计算资源分配方法，包括：接收用户登入信息，并根据所述用户登入信息验证用户权限；接收实时计算任务的发布，并依据所述用户权限将该实时计算任务分配至关联该用户权限的任务队列中；自所述任务队列中获取实时计算任务；以及根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源。可选地，所述根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源包括：根据所述实时计算任务的配置信息确定所述实时计算任务所要求的计算集群的不同类型的计算资源的权重；根据所述计算集群的资源状态及所述实时计算任务所要求的计算集群的不同类型的计算资源的权重，向所述实时计算任务分配不同类型的计算资源。可选地，所述根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源之后包括：执行所述实时计算任务，并持久化对该实时计算任务的计算资源的分配，供下次执行该实时计算任务或执行同类型的其它实时计算任务时计算资源分配参考。可选地，所述实时计算任务的配置信息至少包括所述实时计算任务所申请的计算资源及所述实时计算任务的资源类型。可选地，所述实时计算任务的配置信息还包括所述实时计算任务的数据源的数据大小，所述实时计算任务的资源类型根据所述实时计算任务的数据源的数据大小确定。可选地，所述实时计算任务的资源类型包括CPU类型及内存类型，其中，所述实时计算任务的数据源的数据大小大于设定阈值时，所述实时计算任务的资源类型确定为CPU类型；所述实时计算任务的数据源的数据大小小于等于设定阈值时，所述实时计算任务的资源类型确定为内存类型。可选地，所述根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源之后还包括：执行所述实时计算任务，并监控所述实时计算任务中各段数据源的执行时间，若所述执行时间大于预定时间阈值，则生成告警提示。可选地，所述预定时间阈值由各段数据源的历史执行时间的平均值与一容错时间值之和确定。根据本专利技术的又一方面，还提供一种实时计算任务的计算资源分配装置，包括：权限认证模块，用于接收用户登入信息，并根据所述用户登入信息验证用户权限；队列模块，用于接收实时计算任务的发布，并依据所述用户权限将该实时计算任务分配至关联该用户权限的任务队列中；获取模块，用于自所述任务队列中获取实时计算任务；以及分配模块，用于根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源。可选地，所述权限认证模块、发布模块、获取模块及分配模块中的一个或多个模块为热插拔模块。根据本专利技术的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。根据本专利技术的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。相比现有技术，本专利技术的优势在于：一方面，本专利技术通过对用户的管理，实现用户和用户之间，用户和应用之间权限的校验，有效的避免误操作以及非法操作对实时计算算力的影响；另一方面，通过对计算集群的资源状态的动态监控和收集，以根据计算集群的资源状态动态地对集群资源进行配额管理和优化分配，最大化利用集群算力。附图说明通过参照附图详细描述其示例实施方式，本专利技术的上述和其它特征及优点将变得更加明显。图1示出了根据本专利技术实施例的实时计算任务的计算资源分配方法的流程图。图2示出了根据本专利技术具体实施例的计算资源分配的流程图。图3示出了根据本专利技术具体实施例的实时计算架构的示意图。图4示出了根据本专利技术实施例的实时计算任务的计算资源分配装置的示意图。图5示意性示出本专利技术示例性实施例中一种计算机可读存储介质示意图。图6示意性示出本专利技术示例性实施例中一种电子设备示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本专利技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，附图仅为本专利技术的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。图1示出了根据本专利技术实施例的实时计算任务的计算资源分配方法的流程图。参考图1，所述实时计算任务的计算资源分配方法包括如下步骤：步骤S110：接收用户登入信息，并根据所述用户登入信息验证用户权限；步骤S120：接收实时计算任务的发布，并依据所述用户权限将该实时计算任务分配至关联该用户权限的任务队列中；步骤S130：自所述任务队列中获取实时计算任务；以及步骤S140：根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源。在本专利技术的示例性实施方式的实时计算任务的计算资源分配方法中，一方面，本专利技术通过对用户的管理，实现用户和用户之间，用户和应用之间权限的校验，有效的避免误操作以及非法操作对实时计算算力的影响；另一方面，通过对计算集群的资源状态的动态监控和收集，以根据计算集群的资源状态动态地对集群资源进行配额管理和优化分配，最大化利用集群算力。下面将具体描述本专利技术提供的实时计算任务的计算资源分配方法：在本专利技术的各个实施例中，所述的计算资源的资源类型可以包括CPU资源、内存资源、网络带宽等。本专利技术并非以此为限。在本专利技术的各个实施例中，上述的实时计算任务的配置信息至少包括所述实时计算任务所申请的计算资源及所述实时计算任务的资源类型。在一些实施例中，此处所述的所述实时计算任务所申请的计算资源可以指所述实时计算任务所申请的计算资源的类型。在这样的实施例中，后续计算资源的分配可以该实时计算任务前一次执行(或同类型的其它实时计算任务执行)时所分配的本文档来自技高网...

【技术保护点】
1.一种实时计算任务的计算资源分配方法，其特征在于，包括：接收用户登入信息，并根据所述用户登入信息验证用户权限；接收实时计算任务的发布，并依据所述用户权限将该实时计算任务分配至关联该用户权限的任务队列中；自所述任务队列中获取实时计算任务；以及根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源。

【技术特征摘要】
1.一种实时计算任务的计算资源分配方法，其特征在于，包括：接收用户登入信息，并根据所述用户登入信息验证用户权限；接收实时计算任务的发布，并依据所述用户权限将该实时计算任务分配至关联该用户权限的任务队列中；自所述任务队列中获取实时计算任务；以及根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源。2.如权利要求1所述的实时计算任务的计算资源分配方法，其特征在于，所述根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源包括：根据所述实时计算任务的配置信息确定所述实时计算任务所要求的计算集群的不同类型的计算资源的权重；根据所述计算集群的资源状态及所述实时计算任务所要求的计算集群的不同类型的计算资源的权重，向所述实时计算任务分配不同类型的计算资源。3.如权利要求2所述的实时计算任务的计算资源分配方法，其特征在于，所述根据所述实时计算任务的配置信息及计算集群的资源状态向该实时计算任务动态分配计算集群的计算资源之后包括：执行所述实时计算任务，并持久化对该实时计算任务的计算资源的分配，供下次执行该实时计算任务或执行同类型的其它实时计算任务时计算资源分配参考。4.如权利要求1至3任一项所述的实时计算任务的计算资源分配方法，其特征在于，所述实时计算任务的配置信息至少包括所述实时计算任务所申请的计算资源及所述实时计算任务的资源类型。5.如权利要求4所述的实时计算任务的计算资源分配方法，其特征在于，所述实时计算任务的配置信息还包括所述实时计算任务的数据源的数据大小，所述实时计算任务的资源类型根据所述实时计算任务的数据源的数据大小确定。6.如权利要求5所述的实时计算任务的计算资源分配方法，其特征在于，所述实时计算任...

【专利技术属性】
技术研发人员：马远鸣，李大学，
申请(专利权)人：江苏满运软件科技有限公司，
类型：发明
国别省市：江苏,32