实时数据处理方法、装置、设备及介质制造方法及图纸

本申请提供了一种实时数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品；方法包括：在实时数据基于当前计算链进行数据处理的过程中，获取热更新请求所指示的目标计算链对应的目标配置链文件；其中，目标配置链文件包括链式结构的多个目标组件；将目标配置链文件与当前计算链对应的当前配置链文件进行组件比对，得到组件比对结果；基于组件比对结果，更新当前计算链对应的组件，得到更新组件后的当前计算链；获取新的实时数据，新的实时数据基于更新组件后的当前计算链进行实时数据处理。进行实时数据处理。进行实时数据处理。

【技术实现步骤摘要】
实时数据处理方法、装置、设备及介质


[0001]本申请涉及计算机技术，尤其涉及一种实时数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]在流媒体和大数据处理中，实时数据流分析处理已成为日常各系统的常态化功能。
[0003]相关技术中，实时数据流处理技术需要能够满足经常变化的业务统计及数据处理需求，原有的数据处理逻辑调整、处理顺序变更、增加处理逻辑等计算链更新需要宕机来实现。

技术实现思路

[0004]本申请实施例提供一种实时数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够在无宕机的情况下，实现计算链的组件热更新。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种实时数据处理方法，包括：
[0007]在实时数据基于当前计算链进行数据处理的过程中，获取热更新请求所指示的目标计算链对应的目标配置链文件；
[0008]其中，所述目标配置链文件包括链式结构的多个目标组件；
[0009]将所述目标配置链文件与所述当前计算链对应的当前配置链文件进行组件比对，得到组件比对结果；
[0010]基于所述组件比对结果，更新所述当前计算链对应的组件，得到更新组件后的所述当前计算链；
[0011]获取新的实时数据，并基于更新组件后的所述当前计算链对所述新的实时数据进行实时数据处理。
[0012]本申请实施例提供一种实时数据处理装置，包括：
[0013]获取模块，用于在实时数据基于当前计算链进行数据处理的过程中，获取热更新请求所指示的目标计算链对应的目标配置链文件；
[0014]其中，所述目标配置链文件包括链式结构的多个目标组件；
[0015]对比模块，用于将所述目标配置链文件与所述当前计算链对应的当前配置链文件进行组件比对，得到组件比对结果；
[0016]更新模块，用于基于所述组件比对结果，更新所述当前计算链对应的组件，得到更新组件后的所述当前计算链；
[0017]实时处理模块，用于获取新的实时数据，并基于更新组件后的所述当前计算链对所述新的实时数据进行实时数据处理。
[0018]上述技术方案中，所述获取热更新请求所指示的目标计算链对应的目标配置链文
件之前，所述获取模块还用于响应于针对文件存储服务中存储的配置链文件的更改操作，生成所述热更新请求，其中，所述热更新请求用于指示所述配置链文件发生更改；
[0019]将所述文件存储服务中更改的所述配置链文件确定为所述目标配置链文件；
[0020]所述获取模块还用于基于定时检测到的所述热更新请求，从所述文件存储服务中下载所述目标配置链文件。
[0021]上述技术方案中，所述对比模块还用于确定所述目标配置链文件包括的多个目标组件，其中，每个所述目标组件对应有组件版本以及在所述目标配置链文件中的顺序；
[0022]确定本地中所述当前配置链文件包括的多个当前组件，其中，每个所述当前组件对应有组件版本以及在所述当前配置链文件中的顺序；
[0023]基于所述多个目标组件在所述目标配置链文件中的顺序，对所述多个目标组件以及所述多个当前组件进行组件版本比对，得到版本比对结果，其中，所述版本比对结果表示所述当前配置链文件相对于所述目标配置链文件缺失的所述组件版本；
[0024]基于所述多个目标组件在所述目标配置链文件中的顺序，对所述多个目标组件以及所述多个当前组件进行组件顺序比对，得到顺序对比结果，其中，所述顺序比对结果表示所述多个当前组件相对于所述多个目标组件不一致的组件顺序；
[0025]将所述版本比对结果以及所述顺序比对结果确定为所述组件比对结果。
[0026]上述技术方案中，所述更新模块还用于基于所述组件比对结果中的版本比对结果，从文件存储服务中下载缺失组件，其中，所述缺失组件为所述当前配置链文件相对于所述目标配置链文件缺失的所述组件版本对应的组件；
[0027]获取所述缺失组件对应的配置文件，其中，所述配置文件包括至少一个计算逻辑，每个所述计算逻辑包括至少一个计算方法；
[0028]基于所述至少一个计算方法以及所述组件比对结果中的顺序比对结果，更新所述当前计算链对应的组件，得到更新组件后的所述当前计算链。
[0029]上述技术方案中，所述更新模块还用于基于所述至少一个计算方法，生成每个所述计算方法的方法名称列表；
[0030]基于每个所述计算方法的方法名称列表，将每个所述计算方法载入内存中，并替换掉所述当前计算链对应的组件对应的计算方法；
[0031]基于每个所述计算方法的方法名称列表以及所述组件比对结果中的顺序比对结果，更新本地的所述当前计算链对应的组件，得到更新组件后的所述当前计算链。
[0032]上述技术方案中，更新组件后的所述当前计算链对应的本地配置链文件包括链式结构的多个组件；所述实时处理模块还用于获取进入实时处理线程池的所述新的实时数据，其中，所述实时处理线程池包括用于进行实时数据计算处理的至少一个线程；
[0033]按照所述多个组件的组件顺序，通过载入的所述组件对应的实时计算方法对所述新的实时数据进行实时数据计算处理，其中，所述实时计算方法为用于进行实时数据计算的计算方法。
[0034]上述技术方案中，更新组件后的所述当前计算链对应的本地配置链文件包括链式结构的多个组件；所述实时处理模块还用于获取进入定时处理线程池的所述新的实时数据，其中，所述定时处理线程池包括用于进行实时数据定时处理的至少一个线程；
[0035]按照所述多个组件的组件顺序，通过载入的所述组件对应的定时梳理方法对所述
新的实时数据进行实时数据定时处理，其中，所述定时梳理方法为用于进行实时数据定时处理的计算方法。
[0036]上述技术方案中，所述装置还包括：
[0037]耗时处理模块，用于当所述新的实时数据需要进行耗时处理时，对所述新的实时数据进行基于耗时的批处理。
[0038]上述技术方案中，所述对所述新的实时数据进行基于耗时的批处理之前，所述耗时处理模块还用于将所述新的实时数据进行推送至消息队列；
[0039]准实时处理脚本从所述消息队列中拉取所述新的实时数据进行耗时处理；
[0040]当所述消息队列中累计的所述新的实时数据的数量达到泄洪窗阈值时，对所述消息队列中的部分所述新的实时数据进行基于耗时的批处理。
[0041]上述技术方案中，所述对所述消息队列中的部分所述新的实时数据进行基于耗时的批处理之前，所述耗时处理模块还用于当所述消息队列中累计的所述新的实时数据的数量达到安全窗阈值时，更新组件后的所述当前计算链中的定时梳理方法，启动定时检测所述消息队列中累计的所述新的实时数据的数量是否达到所述泄洪窗阈值，其中，所述安全窗阈值小于所述泄洪窗阈值。
[0042]上述技术方案中，所述耗时处理模块还用于从所述消息队列中，拉取部分所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时数据处理方法，其特征在于，所述方法包括：在实时数据基于当前计算链进行数据处理的过程中，获取热更新请求所指示的目标计算链对应的目标配置链文件；其中，所述目标配置链文件包括链式结构的多个目标组件；将所述目标配置链文件与所述当前计算链对应的当前配置链文件进行组件比对，得到组件比对结果；基于所述组件比对结果，更新所述当前计算链对应的组件，得到更新组件后的所述当前计算链；获取新的实时数据，并基于更新组件后的所述当前计算链对所述新的实时数据进行实时数据处理。2.根据权利要求1所述的方法，其特征在于，所述获取热更新请求所指示的目标计算链对应的目标配置链文件之前，所述方法还包括：响应于针对文件存储服务中存储的配置链文件的更改操作，生成所述热更新请求，其中，所述热更新请求用于指示所述配置链文件发生更改；将所述文件存储服务中更改的所述配置链文件确定为所述目标配置链文件；所述获取热更新请求所指示的目标计算链对应的目标配置链文件，包括：基于定时检测到的所述热更新请求，从所述文件存储服务中下载所述目标配置链文件。3.根据权利要求1所述的方法，其特征在于，所述将所述目标配置链文件与所述当前计算链对应的当前配置链文件进行组件比对，得到组件比对结果，包括：确定所述目标配置链文件包括的多个目标组件，其中，每个所述目标组件对应有组件版本以及在所述目标配置链文件中的顺序；确定本地中所述当前配置链文件包括的多个当前组件，其中，每个所述当前组件对应有组件版本以及在所述当前配置链文件中的顺序；基于所述多个目标组件在所述目标配置链文件中的顺序，对所述多个目标组件以及所述多个当前组件进行组件版本比对，得到版本比对结果，其中，所述版本比对结果表示所述当前配置链文件相对于所述目标配置链文件缺失的所述组件版本；基于所述多个目标组件在所述目标配置链文件中的顺序，对所述多个目标组件以及所述多个当前组件进行组件顺序比对，得到顺序对比结果，其中，所述顺序比对结果表示所述多个当前组件相对于所述多个目标组件不一致的组件顺序；将所述版本比对结果以及所述顺序比对结果确定为所述组件比对结果。4.根据权利要求1所述的方法，其特征在于，所述基于所述组件比对结果，更新所述当前计算链对应的组件，得到更新组件后的所述当前计算链，包括：基于所述组件比对结果中的版本比对结果，从文件存储服务中下载缺失组件，其中，所述缺失组件为所述当前配置链文件相对于所述目标配置链文件缺失的所述组件版本对应的组件；获取所述缺失组件对应的配置文件，其中，所述配置文件包括至少一个计算逻辑，每个所述计算逻辑包括至少一个计算方法；
基于所述至少一个计算方法以及所述组件比对结果中的顺序比对结果，更新所述当前计算链对应的组件，得到更新组件后的所述当前计算链。5.根据权利要求4所述的方法，其特征在于，所述基于所述至少一个计算方法以及所述组件比对结果中的顺序比对结果，更新所述当前计算链对应的组件，得到更新组件后的所述当前计算链，包括：基于所述至少一个计算方法，生成每个所述计算方法的方法名称列表；基于每个所述计算方法的方法名称列表，将每个所述计算方法载入内存中，并替换掉所述当前计算链对应的组件对应的计算方法；基于每个所述计算方法的方法名称列表以及所述组件比对结果中的顺序比对结果，更新本地的所述当前计算链对应的组件，得到更新组件后的所述当前计算链。6.根据权利要求1所述的方法，其特征在于，更新组件后的所述当前计算链对应的本地配置链文件包括链式结构的多个组件；所述获取新的实时数据，包括：获取进入实时处理线程池的所述新的实时数据，其中，所述实时处理线程池包括用于进行实时数据计算处理的至少一个线程；所述基于更新组件后的所述当前计算链对所述新的实时...

【专利技术属性】
技术研发人员：刘伟，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：