基于Kafka的资源处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种基于Kafka的资源处理方法、装置、设备及存储介质，该方法包括：确定Kafka资源请求方的资源使用信息；基于所述资源使用信息和预设资源使用需求模型，预测所述Kafka资源请求方未来的资源使用需求；基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整；其中，所述Kafka的资源基于主题逻辑和租户逻辑分配给所述Kafka资源请求方。在本申请中，保证不同业务间的资源和数据隔离，使用预设资源使用需求模型，即使用机器学习算法进行资源使用需求的预测和分析，动态调整各Kafka资源请求方的资源，使资源利用率最大化。率最大化。率最大化。

【技术实现步骤摘要】
基于Kafka的资源处理方法、装置、设备及存储介质


[0001]本申请涉及通信计算机
，尤其涉及一种基于Kafka的资源处理方法、装置、设备及存储介质。

技术介绍

[0002]Kafka是应用最广泛的开源消息中间件或者高吞吐量的分布式发布订阅消息系统，经常被应用在高吞吐量的场景中，如经常被应用在分布式消息订阅
‑
发布，流处理等场景中。
[0003]多个业务在生产或者处理中往往需要使用Kafka资源，目前，不同的业务需要共享Kafka资源，而不同的业务共享Kafka资源，难以实现数据隔离，导致数据安全隐患，另外，不同的业务共享Kafka资源，存在着资源分配不均，资源抢占的问题，导致Kafka资源利用率低下。
[0004]也即，现有Kafka资源存在利用率低下的问题。

技术实现思路

[0005]本申请的主要目的在于提供一种基于Kafka的资源处理方法、装置、设备及存储介质，旨在解决现有业务使用Kafka资源时，存在资源利用率低下的技术问题。
[0006]为实现上述目的，本申请提供一种基于Kafka的资源处理方法，所述基于Kafka的资源处理方法包括：确定Kafka资源请求方的资源使用信息；基于所述资源使用信息和预设资源使用需求模型，预测所述Kafka资源请求方未来的资源使用需求；基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整；其中，所述Kafka的资源基于主题逻辑和租户逻辑分配给所述Kafka资源请求方。
[0007]可选地，所述基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整的步骤之前，所述方法包括：在接收到Kafka资源请求方的租户申请指令时，确定所述租户申请指令中的申请信息；基于所述申请信息和预设多租户适配模型，对所述Kafka资源请求方进行租户逻辑和主题逻辑的适配，分别得到目标租户和目标主题；对所述目标租户进行权限配置以及分区配置，分别得到所述目标租户的目标权限以及目标分区；其中，所述基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整的步骤，包括：基于所述目标租户，所述目标权限、所述目标主题、所述目标分区和所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整。
[0008]可选地，所述基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整的步骤，包括：调用预设权限控制器，基于所述未来的资源使用需求和所述预设权限控制器，对所述Kafka资源请求方进行资源动态调整；其中，所述预设权限控制器基于主题逻辑和租户逻辑，将所述Kafka的资源分配给所述Kafka资源请求方。
[0009]可选地，所述基于所述未来的资源使用需求和所述预设权限控制器，对所述Kafka资源请求方进行资源动态调整的步骤，包括：基于所述预设权限控制器，确定所述目标租户的细粒度权限；基于所述目标租户的细粒度权限，确定对所述Kafka资源请求方进行资源动态调整的调整主体；基于所述调整主体和所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整。
[0010]可选地，所述基于所述资源使用信息和预设资源使用需求模型，预测所述Kafka资源请求方未来的资源使用需求的步骤之前，所述方法包括：获取具有预设资源需求标签的训练数据；基于所述训练数据，对预设待训练模型进行迭代训练，直至得到满足预设训练完成条件的模型，将满足预设训练完成条件的模型作为所述预设资源使用需求模型。
[0011]可选地，所述确定Kafka资源请求方的资源使用信息的步骤之后，所述方法包括：基于所述资源使用信息，确定所述Kafka资源请求方当前使用的资源值是否在预设门限内；若不在预设门限内时，生成所述Kafka资源请求方的资源使用告警。
[0012]可选地，所述确定Kafka资源请求方的资源使用信息的步骤，包括：获取所述基于Kafka的资源处理平台记录的所述Kafka资源请求方的主题逻辑生命周期，其中，所述主题逻辑生命周期根据主题逻辑相应数据存储的时间确定；基于所述主题逻辑生命周期，确定所述Kafka资源请求方的资源使用信息。
[0013]本申请还提供一种基于Kafka的资源处理装置，所述基于Kafka的资源处理装置包括：第一确定模块，用于确定Kafka资源请求方的资源使用信息；预测模块，用于基于所述资源使用信息和预设资源使用需求模型，预测所述Kafka资源请求方未来的资源使用需求；调整模块，用于基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整；其中，所述Kafka的资源基于主题逻辑和租户逻辑分配给所述Kafka资源请求方。
[0014]本申请还提供一种基于Kafka的资源处理设备，所述基于Kafka的资源处理设备为实体节点设备，所述基于Kafka的资源处理设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于Kafka的资源处理方法的程序，所述基于Kafka的资源处理方法的程序被处理器执行时可实现如上述所述基于Kafka的资源处理方法的步骤。
[0015]本申请还提供一种存储介质，所述存储介质上存储有实现上述基于Kafka的资源处理方法的程序，所述基于Kafka的资源处理方法的程序被处理器执行时实现如上述所述基于Kafka的资源处理方法的步骤。
[0016]本申请还提供一种计算机程序产品、包括计算机程序，该计算机程序被处理器执行时实现上述所述基于Kafka的资源处理方法的步骤。
[0017]本申请提供一种基于Kafka的资源处理方法、装置、设备及存储介质，与现有技术不同的业务共享Kafka资源，致使资源利用率低下相比，在本申请中，确定Kafka资源请求方的资源使用信息；基于所述资源使用信息和预设资源使用需求模型，预测所述Kafka资源请求方未来的资源使用需求；基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整；其中，所述Kafka的资源基于主题逻辑和租户逻辑分配给所述Kafka资源请求方。在本申请中，快捷的将Kafka的资源映射为或者分配为不同主题逻辑和租户逻辑（不同业务使用不同租户逻辑，且不同业务使用不同的主题逻辑），进而保证不同业务间的资源和数据隔离，另外，在本申请中，使用预设资源使用需求模型，即使用机器学习算法进行资源使用需求的预测和分析，动态调整各Kafka资源请求方的资源，使资源利用率最大化。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0019]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本申请基于Kafka的资源处理方法第一实施例的流程示意图；图2为本申请基于Kafka的资源处理方法中步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kafka的资源处理方法，其特征在于，所述基于Kafka的资源处理方法包括：确定Kafka资源请求方的资源使用信息；基于所述资源使用信息和预设资源使用需求模型，预测所述Kafka资源请求方未来的资源使用需求；基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整；其中，所述Kafka的资源基于主题逻辑和租户逻辑分配给所述Kafka资源请求方。2.根据权利要求1所述的基于Kafka的资源处理方法，其特征在于，所述基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整的步骤之前，所述方法包括：在接收到Kafka资源请求方的租户申请指令时，确定所述租户申请指令中的申请信息；基于所述申请信息和预设多租户适配模型，对所述Kafka资源请求方进行租户逻辑和主题逻辑的适配，分别得到目标租户和目标主题；对所述目标租户进行权限配置以及分区配置，分别得到所述目标租户的目标权限以及目标分区；其中，所述基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整的步骤，包括：基于所述目标租户，所述目标权限、所述目标主题、所述目标分区和所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整。3.如权利要求1所述的基于Kafka的资源处理方法，其特征在于，所述基于所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整的步骤，包括：调用预设权限控制器，基于所述未来的资源使用需求和所述预设权限控制器，对所述Kafka资源请求方进行资源动态调整；其中，所述预设权限控制器基于主题逻辑和租户逻辑，将所述Kafka的资源分配给所述Kafka资源请求方。4.如权利要求3所述的基于Kafka的资源处理方法，其特征在于，所述基于所述未来的资源使用需求和所述预设权限控制器，对所述Kafka资源请求方进行资源动态调整的步骤，包括：基于所述预设权限控制器，确定所述目标租户的细粒度权限；基于所述目标租户的细粒度权限，确定对所述Kafka资源请求方进行资源动态调整的调整主体；基于所述调整主体和所述未来的资源使用需求，对所述Kafka资源请求方进行资源动态调整。5.如权利要求1所述的基于Kafka的资源处理方法，其特征在于，所述基于所述资源使用信息和预设...

【专利技术属性】
技术研发人员：王宪，马子恒，王树栋，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：