业务的冷启动方法、装置及设备制造方法及图纸

本说明书实施例提供了一种业务的冷启动方法、装置及设备，其中方法包括：根据获取到的目标冷启动任务的处理请求，确定目标冷启动任务的元信息；其中，元信息包括多个回溯节点中每个回溯节点在Kafka消息队列中对应的分区；根据处理请求获取目标冷启动任务对应的第一业务的目标历史日志数据；将目标历史日志数据均衡保存至各分区中；其中，每个分区中的目标历史日志数据用于分区对应的回溯节点，确定与第一业务具有依赖关系的第二业务的累积指标的指标数据；根据该指标数据对第二业务进行冷启动处理。启动处理。启动处理。

【技术实现步骤摘要】
业务的冷启动方法、装置及设备


[0001]本文件涉及数据处理
，尤其涉及一种业务的冷启动方法、装置及设备。

技术介绍

[0002]业务的冷启动，即一个新的业务所依赖的目标数据从无到有进行积累，并达到该新的业务的可用状态的过程。目前，为了提升业务的冷启动效率，通常将历史事件数据导入到MapReduce等大数据离线计算平台，通过该大数据离线计算平台根据导入的历史事件数据进行回溯计算，得到目标数据。或者，将历史事件数据导入到其对应的业务系统中，以利用原有业务逻辑进行回溯计算，得到目标数据。然而，在前者中，由于大数据离线计算平台的数据处理能力有限，往往无法处理复杂的回溯计算逻辑，因此适用范围有限，并且成本较高。而在后者中，对于历史事件数据达到日均千万级甚至更多时，回溯计算的耗时较长，因此无法满足业务的冷启动需求。

技术实现思路

[0003]本说明书一个或多个实施例提供了一种业务的冷启动方法。该方法包括根据获取到的目标冷启动任务的处理请求，确定所述目标冷启动任务的元信息。其中，所述元信息包括多个回溯节点中每个回溯节点在Kafka消息队列中对应的分区。根据所述处理请求获取所述目标冷启动任务对应的第一业务的目标历史日志数据。将所述目标历史日志数据均衡保存至各所述分区中。其中，每个所述分区中的目标历史日志数据用于所述分区对应的所述回溯节点，确定与所述第一业务具有依赖关系的第二业务的累积指标的指标数据。根据所述指标数据对所述第二业务进行冷启动处理。
[0004]本说明书一个或多个实施例提供了一种业务的冷启动装置。该装置包括确定模块，根据获取到的目标冷启动任务的处理请求，确定所述目标冷启动任务的元信息。其中，所述元信息包括多个回溯节点中每个回溯节点在Kafka消息队列中对应的分区。该装置还包括获取模块，根据所述处理请求获取所述目标冷启动任务对应的第一业务的目标历史日志数据。该装置还包括保存模块，将所述目标历史日志数据均衡保存至各所述分区中。其中，每个所述分区中的目标历史日志数据用于所述分区对应的所述回溯节点，确定与所述第一业务具有依赖关系的第二业务的累积指标的指标数据。该装置还包括处理模块，根据所述指标数据对所述第二业务进行冷启动处理。
[0005]本说明书一个或多个实施例提供了一种业务的冷启动设备。该设备包括处理器。该设备还包括被安排成存储计算机可执行指令的存储器。所述计算机可执行指令在被执行时使所述处理器根据获取到的目标冷启动任务的处理请求，确定所述目标冷启动任务的元信息。其中，所述元信息包括多个回溯节点中每个回溯节点在Kafka消息队列中对应的分区。根据所述处理请求获取所述目标冷启动任务对应的第一业务的目标历史日志数据。将所述目标历史日志数据均衡保存至各所述分区中。其中，每个所述分区中的目标历史日志数据用于所述分区对应的所述回溯节点，确定与所述第一业务具有依赖关系的第二业务的
累积指标的指标数据。根据所述指标数据对所述第二业务进行冷启动处理。
[0006]本说明书一个或多个实施例提供了一种存储介质。该存储介质用于存储计算机可执行指令。所述计算机可执行指令在被处理器执行时根据获取到的目标冷启动任务的处理请求，确定所述目标冷启动任务的元信息。其中，所述元信息包括多个回溯节点中每个回溯节点在Kafka消息队列中对应的分区。根据所述处理请求获取所述目标冷启动任务对应的第一业务的目标历史日志数据。将所述目标历史日志数据均衡保存至各所述分区中。其中，每个所述分区中的目标历史日志数据用于所述分区对应的所述回溯节点，确定与所述第一业务具有依赖关系的第二业务的累积指标的指标数据。根据所述指标数据对所述第二业务进行冷启动处理。
附图说明
[0007]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0008]图1为本说明书一个或多个实施例提供的一种业务的冷启动方法的第一种场景示意图；
[0009]图2为本说明书一个或多个实施例提供的一种业务的冷启动方法的第二种场景示意图；
[0010]图3为本说明书一个或多个实施例提供的一种业务的冷启动方法的第三种场景示意图
[0011]图4为本说明书一个或多个实施例提供的一种业务的冷启动方法的第一种流程示意图；
[0012]图5为本说明书一个或多个实施例提供的一种业务的冷启动方法的第二种流程示意图；
[0013]图6为本说明书一个或多个实施例提供的一种业务的冷启动方法的第三种流程示意图；
[0014]图7为本说明书一个或多个实施例提供的一种业务的冷启动装置的模块组成示意图；
[0015]图8为本说明书一个或多个实施例提供的一种业务的冷启动设备的结构示意图。
具体实施方式
[0016]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0017]图1为本说明书一个或多个实施例提供的一种业务的冷启动方法的应用场景示意图，如图1所示，该场景包括：冷启动处理节点、多个回溯节点和提供第二业务的业务系统；
其中，第二业务是待进行冷启动的业务；各节点可以是终端设备也可以是服务端；终端设备可以为手机、平板电脑、台式计算机、便携笔记本式计算机等；服务端可以为独立的服务器(图1中仅示出服务器)，也可以为由多个服务器组成的服务器集群。第二业务的业务系统可以提供第一业务，也可以不提供第一业务。
[0018]具体的，当冷启动处理节点获取到目标冷启动任务的处理请求时，确定目标冷启动任务的元信息；该元信息中包括每个回溯节点在Kafka消息队列中对应的分区；冷启动处理节点根据确定的元信息向各回溯节点发送回溯请求，并根据目标冷启动任务的处理请求获取目标冷启动任务对应的第一业务的目标历史日志数据，将目标历史日志数据均衡保存至各回溯节点对应的分区中。各回溯节点根据接收到的回溯请求确定自身在Kafka消息队列中对应的分区，并根据对应分区中的目标历史日志数据，确定与第一业务具有依赖关系的第二业务的累积指标的指标数据，以及将该指标数据提供给业务系统。业务系统根据获取到的指标数据对第二业务进行冷启动。
[0019]其中，冷启动处理节点中可以安装有前置处理应用和日志抽取应用，并通过前置处理应用获取目标冷启动任务的处理请求，确定目标冷启动任务的元信息；以及通过日志抽取应用获取目标冷启动任务对应的第一业务的目标历史日志数据，将目标历史日志数据均衡保存至各回溯节点对应的分区中；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务的冷启动方法，包括：根据获取到的目标冷启动任务的处理请求，确定所述目标冷启动任务的元信息；其中，所述元信息包括多个回溯节点中每个回溯节点在Kafka消息队列中对应的分区；根据所述处理请求获取所述目标冷启动任务对应的第一业务的目标历史日志数据；将所述目标历史日志数据均衡保存至各所述分区中；其中，每个所述分区中的目标历史日志数据用于所述分区对应的所述回溯节点，确定与所述第一业务具有依赖关系的第二业务的累积指标的指标数据；根据所述指标数据对所述第二业务进行冷启动处理。2.根据权利要求1所述的方法，其特征在于，所述确定所述目标冷启动任务的元信息，包括：根据所述回溯节点的总数量和预设的并发配置参数，为所述目标冷启动任务创建第一数量的主题，并将所述回溯节点划分为所述第一数量的回溯节点组；其中，所述回溯节点组与所述主题一一对应；在所述Kafka消息队列中为每个所述主题分配第二数量的分区；其中，所述第二数量不小于所述回溯节点组中回溯节点的第三数量；对每个所述主题的所述分区进行分配处理，得到所述主题对应的所述回溯节点组中每个回溯节点所对应的至少一个分区；根据所述目标冷启动任务的任务标识、所述第一数量的主题、所述第一数量的回溯节点组以及每个所述回溯节点对应的分区，生成所述目标冷启动任务的元信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述处理请求获取所述目标冷启动任务对应的第一业务的目标历史日志数据，包括：从所述处理请求中获取筛选参数；若确定所述第一业务的历史日志数据中与所述筛选参数相匹配的目标历史日志数据符合预设的分次获取条件，则依次从所述目标历史日志数据中获取部分目标历史日志数据；所述将所述目标历史日志数据均衡保存至各所述分区中，包括：根据所述元信息和预设的均衡规则，确定各所述分区中用于保存当前次获取的所述部分目标历史日志数据的第一目标分区；将当前次获取的所述部分目标历史日志数据保存至所述第一目标分区中。4.根据权利要求3所述的方法，所述根据所述元信息和预设的均衡规则，确定各所述分区中用于保存当前次获取的所述部分目标历史日志数据的第一目标分区，包括：根据所述目标冷启动任务的任务标识，查询所述目标冷启动任务的所述元信息；从所述元信息中获取所述第一数量的主题；根据预设的均衡规则，确定所述第一数量的主题中待分配日志数据的第一目标主题；从所述元信息中获取所述第一目标主题对应的所述第二数量的候选分区；根据所述均衡规则，确定所述候选分区中待配分日志数据的第一目标分区；将所述第一目标分区确定为用于保存当前次获取的所述部分目标历史日志数据的第一目标分区。5.根据权利要求1所述的方法，所述根据所述指标数据对所述第二业务进行冷启动处
理，包括：将所述指标数据保存至指定的存储位置，以使所述第二业务的业务系统从所述存储位置中获取所述指标数据，并根据获取的所述指标数据对所述第二业务进行冷启动处理；或者，将所述指标数据上传至所述第二业务的业务系统中，以使所述业务系统根据上传的所述指标数据对所述第二业务进行冷启动处理。6.根据权利要求2所述的方法，所述方法还包括：接收每个所述回溯节点发送的当前位移参数；其中，所述当前位移参数表征所述回溯节点当前已处理的最后一个目标历史日志数据，在所述回溯节点对应的分区中的位置；根据所述当前位移参数，更新所述元信息。7.根据权利要求6所述的方法，所述元信息中包括所述回溯节点的节点标识、所述回溯节点对应的分区的分区标识以及所述当前位移参数的关联关系，所述方法还包括：若确定存在预设时长内处于宕机状态的第一目标回溯节点，则将所述第一目标回溯节点所在的目标回溯节点组所对应的主题的确定为第二目标主题；重新对所述第二目标主题的分区进行分配处理，得到所述目标回溯节点组中每个剩余回溯节点对应的至少一个新的分区；根据所述新的分区的分区标识从所述元信息中获取关联的所述当前位移参数；根据所述新的分区的分区标识和所述新的分区关联的所述当前位移参数，向所述新的分区对应的剩余回溯节点发送分区更新消息；其中，所述分区更新消息用于所述剩余回溯节点在所述分区标识对应的新的分区中，将所述当前位移参数所对应的目标日志数据之后的目标日志数据确定为待处理数据，并根据所述待处理数据确定所述指标数据。8.根据权利要求7所述的方法，所述方法还包括：接收各回溯节点发送的心跳数据，并记录每个回溯节点当前最后一个心跳数据的发送时间；以及，将记录的所述发送时间确定为所述预设时长的起始时间点，确定所述预设时长内是否存在未发送所述心跳数据的第一目标回溯节点；若是...

【专利技术属性】
技术研发人员：吉力，李云领，李萌萌，
申请(专利权)人：蚂蚁区块链科技上海有限公司，
类型：发明
国别省市：