一种实时处理数据的方法、装置、设备、介质及产品制造方法及图纸

本申请实施例提供了一种实时处理数据的方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及大数据技术领域。该方法包括：响应于订阅的更新消息，获取至少一个原始数据集；根据每个原始数据集配置的主题处理相应的原始数据集，得到相应的待处理数据集；根据从动态模型、事件模型、时序模型中筛选出的处理策略，处理待处理数据集，得到相应的处理结果。该方法实现了通过实时掌握的数据动态来驱动对原始数据的处理，并且在处理过程中，采用了不同的数据模型中的处理策略来处理相关数据，即提供了多样化的数据模型和处理策略，使处理所得的结果更加丰富全面，从而为实时应用提供更丰富的实时性的数据处理结果。用提供更丰富的实时性的数据处理结果。用提供更丰富的实时性的数据处理结果。

【技术实现步骤摘要】
一种实时处理数据的方法、装置、设备、介质及产品


[0001]本申请涉及大数据
，具体而言，本申请涉及一种实时处理数据的方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]传统的大数据平台通常采用Hadoop、MPP为存储介质，其数据模型往往是精心打磨的离线数据仓库模型。基于传统的数据模型处理数据的过程，存在着获取数据延迟、处理周期长、数据加工汇总慢及缺失实时处理能力等问题，导致用户总是“滞后”才能看到所需的相关数据。
[0003]另外，在实践中发现，在每建立一个实时应用的过程中，都需要对原始的数据进行一次消费性处理，不仅容易形成一个个数据孤岛(即无法复用的数据)，而且由于处理所依赖的数据模型不常更改，使得后端经营决策无法快速应对前端业务的快速变化。
[0004]因此，目前的数据处理方式无法满足当前业务发展的需求。

技术实现思路

[0005]本申请实施例的目的旨在能解决目前的数据处理方式无法满足当前业务发展的需求的问题。
[0006]根据本申请实施例的一个方面，提供了一种实时处理数据的方法，该方法包括：
[0007]响应于订阅的更新消息，获取至少一个原始数据集；
[0008]根据每个原始数据集配置的主题处理相应的原始数据集，得到相应的待处理数据集；
[0009]根据从预设模型中筛选出的处理策略，处理待处理数据集，得到相应的处理结果，其中，预设模型为动态模型、事件模型、时序模型中的至少一项。
[0010]在一种可能的实现方式中，响应于订阅的更新消息，获取至少一个原始数据集，包括：；
[0011]在初始化阶段，订阅对应以下数据源的更新消息：B域数据源、O域数据源、M域数据源；
[0012]响应于至少一条更新消息，获取每条更新消息对应的数据源中的原始数据集。
[0013]在一种可能的实现方式中，根据每个原始数据集配置的主题处理相应的原始数据集，得到相应的待处理数据集，包括：
[0014]针对所述至少一个原始数据集中每个原始数据集执行以下操作：
[0015]预处理该原始数据集，得到临时数据集；
[0016]获取该原始数据集所配置主题的所有子主题；
[0017]根据每个子主题对应的统计模型，对该临时数据集进行处理，并将非空的处理结果确定为相应子主题对应的待处理数据集。
[0018]在一种可能的实现方式中，每个待处理数据集携带一个标识，根据从预设模型中
筛选出的处理策略，处理待处理数据集，得到相应的处理结果，包括：
[0019]确定标识集，其中，所述标识集包括每个待处理数据集携带的标识；
[0020]根据所述标识集从所述预设模型中筛选出至少一项处理策略，其中，每项处理策略关联至少一个标识；
[0021]根据所述至少一项处理策略中每项处理策略关联的标识，从所有的待处理数据集中分别确定出与每项处理策略相关联的至少一个待处理数据集，并按照相应的处理策略进行处理，得到相应的处理结果。
[0022]在一种可能的实现方式中，在按照相应的处理策略进行处理之前，还包括：
[0023]若确定出的至少一个待处理数据集不包括相应处理策略关联的所有待处理数据集，从订阅的数据源中获取新的原始数据集，以补充其他待处理数据集，其中，其他待处理数据集为相应处理策略关联的所有待处理数据集中除确定出的至少一个待处理数据集之外的待处理数据集。
[0024]在一种可能的实现方式中，该方法还包括；
[0025]根据每项处理策略所属的数据模型所配置的存储模式，存储相应的处理结果。
[0026]在一种可能的实现方式中，该方法还包括：
[0027]响应于第一更新指令，更新数据库中的目标主题和/或目标子主题；
[0028]响应于第二更新指令，更新数据库中的目标处理策略。
[0029]根据本申请实施例的另一个方面，提供了一种实时处理数据的装置，该装置包括：
[0030]获取模块，用于响应于订阅的更新消息，获取至少一个原始数据集；
[0031]第一处理模块，用于根据每个原始数据集配置的主题处理相应的原始数据集，得到相应的待处理数据集；
[0032]第二处理模块，用于根据从预设模型中筛选出的处理策略，处理待处理数据集，得到相应的处理结果，其中，预设模型为动态模型、事件模型、时序模型中的至少一项。
[0033]根据本申请实施例的另一个方面，提供了一种电子设备，该电子设备包括：
[0034]包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现本申请一个方面所示的实时处理数据的方法的步骤。
[0035]根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本申请一个方面所示的实时处理数据的方法的步骤。
[0036]根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请一个方面所示的实时处理数据的方法的步骤。
[0037]本申请实施例提供的技术方案带来的有益效果是：
[0038]本申请提供了一种实时处理数据的方法，具体地：根据实时掌握的数据动态(例如，订阅的更新消息)，获取原始数据；再根据原始数据所携带的标识(例如，表的主题)对原始数据做预处理，得到可以进一步处理的待处理数据；最后根据从预设模型中筛选出的处理策略，进一步处理该待处理数据集，得到处理结果。其中，该预设模型为动态模型、事件模型、时序模型中的至少一项。该方法实现了通过实时掌握的数据动态来驱动对原始数据的处理，并且在处理过程中，采用了不同的数据模型中的处理策略来处理相关数据，即提供了多样化的数据模型和处理策略，使处理所得的结果更加丰富全面，从而为实时应用提供更
丰富的实时性的数据的处理结果。
附图说明
[0039]为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
[0040]图1为本申请实施例提供的一种二层实时模型架构的原理示意图；
[0041]图2为本申请实施例提供的一种实时处理数据的方法的流程示意图；
[0042]图3为本申请实施例提供的一种实时处理数据的装置的结构示意图。
具体实施方式
[0043]下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
[0044]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本
所支持其他特征、信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时处理数据的方法，其特征在于，包括：响应于订阅的更新消息，获取至少一个原始数据集；根据每个原始数据集配置的主题处理相应的原始数据集，得到相应的待处理数据集；根据从预设模型中筛选出的处理策略，处理所述待处理数据集，得到相应的处理结果，其中，所述预设模型为动态模型、事件模型、时序模型中的至少一项。2.根据权利要求1所述的方法，其特征在于，所述响应于订阅的更新消息，获取至少一个原始数据集，包括：在初始化阶段，订阅对应以下数据源的更新消息：B域数据源、O域数据源、M域数据源；响应于至少一条更新消息，获取每条更新消息对应的数据源中的原始数据集。3.根据权利要求1所述的方法，其特征在于，根据每个原始数据集配置的主题处理相应的原始数据集，得到相应的待处理数据集，包括：针对所述至少一个原始数据集中每个原始数据集执行以下操作：预处理该原始数据集，得到临时数据集；获取该原始数据集所配置主题的所有子主题；根据每个子主题对应的统计模型，对该临时数据集进行处理，并将非空的处理结果确定为相应子主题对应的待处理数据集。4.根据权利要求1所述的方法，其特征在于，每个待处理数据集携带一个标识，所述根据从预设模型中筛选出的处理策略，处理所述待处理数据集，得到相应的处理结果，包括：确定标识集，其中，所述标识集包括每个待处理数据集携带的标识；根据所述标识集从所述预设模型中筛选出至少一项处理策略，其中，每项处理策略关联至少一个标识；根据所述至少一项处理策略中每项处理策略关联的标识，从所有的待处理数据集中分别确定出与每项处理策略相关联的至少一个待处理数据集，并按照相应的处理策略进行处理，得到相应的处理结果。5.根据权利要求4所述的方法，其特征在于，在按照相应的处理策略进行处理之前...

【专利技术属性】
技术研发人员：王立冬，尚涛，李黎莉，欧阳晔，
申请(专利权)人：亚信科技中国有限公司，
类型：发明
国别省市：