本发明专利技术提供了一种数据处理方法、系统、设备和存储介质。所述方法包括：获取数据源中数据聚合日期前的存量数据并存储至存量历史预聚合表中；获取数据源中数据聚合日期的当日累积数据，并将当日累积数据存储至中间表；对数据源中实时数据的生成进行管控，同时将中间表中的当日累积数据合并至存量历史预聚合表；当中间表中的当日累积数据合并至存量历史预聚合表之后取消对数据源中实时数据的管控，并将所述数据源中生成的新的实时数据写入所述合并后的存量历史预聚合表得到实时聚合数据表。本发明专利技术的上述方法通过存量数据和增量数据的分离与预聚合处理极大减轻了数据在实时运算时所带来的性能压力，进而可以极大地提高决策引擎对数据的利用率。引擎对数据的利用率。引擎对数据的利用率。
【技术实现步骤摘要】
数据处理方法、系统、设备和存储介质
[0001]本专利技术涉及计算机应用
，更为具体而言，涉及一种数据处理方法、系统、设备和存储介质。
技术介绍
[0002]在对海量数据的应用方面，传统数据分析处理的对象不包含系统当天产生的数据，这是因为传统意义上的数据仓库需要获取某一日的数据时，需要到第二天才能得到，这不符合实时数据应用的需求。
[0003]此外，随着互联网技术不断发展，现有技术中出现了实时流处理技术，但大都是强调当前处理状态的技术，难以融合历史沉淀数据。例如，Lambda架构实时数仓永远存在离线和实时两条链路，数据一致性差、运维复杂且没有完善的数据融合和指标加工方案。Kappa架构实时数仓依赖Kafka等消息队列来保存所有历史，而Kafka难以实现数据的更新和纠错，发生故障或者升级时需要重做所有历史，周期较长，无法实时汇集多个可变数据源形成的数据集快照，不适合即席查询。
[0004]因此，在海量数据/大数据的应用方面，例如消费金融公司展业以来会积累大量不同维度的客户相关信息等，需要一种对这类大体量、不同维度的数据进行实时聚合、运算并生成有效变量供决策引擎使用的技术。
技术实现思路
[0005]为解决上述现有技术存在的问题或部分问题，本专利技术实施方式提供了一种数据处理方法、系统、设备和存储介质，通过存量数据和增量数据的分离与预聚合处理极大减轻了数据在实时运算时所带来的性能压力，进而极大地提高了决策引擎对数据的利用率。
[0006]根据本专利技术的第一方面，本专利技术实施方式提供了一种数据处理方法，其包括：获取数据源中数据聚合日期前的存量数据；将所述存量数据按照第一维度和第二维度存储至存量历史预聚合表中，并将第三维度的信息存储为所述存量历史预聚合表中的数值；获取数据源中数据聚合日期的当日累积数据，并将所述当日累积数据存储至中间表；对数据源中实时数据的生成进行管控，同时将所述中间表中的当日累积数据合并至所述存量历史预聚合表；当所述中间表中的当日累积数据合并至所述存量历史预聚合表之后取消对数据源中实时数据的管控，并将所述数据源中生成的新的实时数据写入所述合并后的存量历史预聚合表得到实时聚合数据表。
[0007]根据本专利技术上述实施方式，将数据聚合日期前的存量数据按照特定存储规则存储至存量历史预聚合表中可以得到存量历史数据对应的顶层数据视角的预聚合状态的数据结构，便于后续对存储数据的处理。并且，在将中间表中存储的数据聚合日期生成的当日累积数据合并至存量历史预聚合表的较短时间内对数据源中的实时数据生成进行管控，并在合并完成后取消管控，从而能够将数据源中新生成的新的实时数据直接按照特定存储规则写入合并后的存量历史预聚合表得到实时聚合数据表。由此得到的实时聚合数据表可以轻
松涵盖海量的沉淀数据，有效解决了单纯的实时流处理技术只强调当前处理状态的问题。同时，本专利技术上述实施方式通过存量数据和增量数据的分离与预聚合处理极大减轻了数据在实时运算时所带来的性能压力，进而可以极大地提高决策引擎对数据的利用率。
[0008]在本专利技术的一些实施方式中，所述第一维度和第二维度分别为用户维度和时间维度，所述第三维度的信息是用户的行为属性信息。
[0009]根据本专利技术上述实施方式，通过将多个维度的数据归并至用户和时间维度，并将多个维度的数据抽象为某个用户在某个时间的某些行为或属性统计进行存储，以得到顶层数据视角的预聚合状态的数据结构，便于后续的数据加工处理。
[0010]在本专利技术的一些实施方式中，将第三维度的信息存储为所述存量历史预聚合表中的数值包括：将所述用户的行为属性信息以json形式存储为所述存量历史预聚合表中的数值。
[0011]在本专利技术的一些实施方式中，所述数据处理方法还包括：获取数据查询参数；根据所述数据查询参数获取所述实时聚合数据表中的查询数据。
[0012]根据本专利技术上述实施方式，通过获取数据查询参数以得到相应的查询数据，可以满足决策引擎的各种查询需求，提高服务性能和对海量数据的利用率。
[0013]根据本专利技术的第二方面，本专利技术实施方式提供了一种数据处理系统，其包括：存量数据获取模块，用于获取数据源中数据聚合日期前的存量数据；存量数据聚合模块，用于将所述存量数据按照第一维度和第二维度存储至存量历史预聚合表中，并将第三维度的信息存储为所述存量历史预聚合表中的数值；累积数据获取模块，用于获取数据源中数据聚合日期的当日累积数据，并将所述当日累积数据存储至中间表；数据合并模块，用于在对数据源中实时数据的生成进行管控时，将所述中间表中的当日累积数据合并至所述存量历史预聚合表；实时聚合数据表生成模块，用于当所述中间表中的当日累积数据合并至所述存量历史预聚合表之后取消对数据源中实时数据的管控，并将所述数据源中生成的新的实时数据写入所述合并后的存量历史预聚合表得到实时聚合数据表。
[0014]根据本专利技术上述实施方式，将数据聚合日期前的存量数据按照特定存储规则存储至存量历史预聚合表中可以得到存量历史数据对应的顶层数据视角的预聚合状态的数据结构，便于后续对存储数据的处理。并且，在将中间表中存储的数据聚合日期生成的当日累积数据合并至存量历史预聚合表的较短时间内对数据源中的实时数据生成进行管控，并在合并完成后取消管控，从而能够将数据源中新生成的新的实时数据直接按照特定存储规则写入合并后的存量历史预聚合表得到实时聚合数据表。由此得到的实时聚合数据表可以轻松涵盖海量的沉淀数据，有效解决了单纯的实时流处理技术只强调当前处理状态的问题。同时，本专利技术上述实施方式通过存量数据和增量数据的分离与预聚合处理极大减轻了数据在实时运算时所带来的性能压力，进而可以极大地提高决策引擎对数据的利用率。
[0015]在本专利技术的一些实施方式中，所述第一维度和第二维度分别为用户维度和时间维度，所述第三维度的信息是用户的行为属性信息。
[0016]根据本专利技术上述实施方式，通过将多个维度的数据归并至用户和时间维度，并将多个维度的数据抽象为某个用户在某个时间的某些行为或属性统计进行存储，以得到顶层数据视角的预聚合状态的数据结构，便于后续的数据加工处理。
[0017]在本专利技术的一些实施方式中，将第三维度的信息存储为所述存量历史预聚合表中
的数值包括：将所述用户的行为属性信息以json形式存储为所述存量历史预聚合表中的数值。
[0018]在本专利技术的一些实施方式中，所述数据处理系统还包括：数据查询模块，用于获取数据查询参数，并根据所述数据查询参数获取所述实时聚合数据表中的查询数据。
[0019]根据本专利技术上述实施方式，通过获取数据查询参数以得到相应的查询数据，可以满足决策引擎的各种查询需求，提高服务性能和对海量数据的利用率。
[0020]根据本专利技术的第三方面，本专利技术实施方式提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得计算机执行如下操作：所述操作包括如上任意一种实施方式所述数据处理方法所包含的步骤。
[0021]根据本专利技术的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括：获取数据源中数据聚合日期前的存量数据；将所述存量数据按照第一维度和第二维度存储至存量历史预聚合表中，并将第三维度的信息存储为所述存量历史预聚合表中的数值；获取数据源中数据聚合日期的当日累积数据，并将所述当日累积数据存储至中间表；对数据源中实时数据的生成进行管控，同时将所述中间表中的当日累积数据合并至所述存量历史预聚合表；当所述中间表中的当日累积数据合并至所述存量历史预聚合表之后取消对数据源中实时数据的管控，并将所述数据源中生成的新的实时数据写入所述合并后的存量历史预聚合表得到实时聚合数据表。2.如权利要求1所述的数据处理方法，其特征在于，所述第一维度和第二维度分别为用户维度和时间维度，所述第三维度的信息是用户的行为属性信息。3.如权利要求2所述的数据处理方法，其特征在于，将第三维度的信息存储为所述存量历史预聚合表中的数值包括：将所述用户的行为属性信息以json形式存储为所述存量历史预聚合表中的数值。4.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：获取数据查询参数；根据所述数据查询参数获取所述实时聚合数据表中的查询数据。5.一种数据处理系统，其特征在于，所述数据处理系统包括：存量数据获取模块，用于获取数据源中数据聚合日期前的存量数据；存量数据聚合模块，用于将所述存量数据按照第一维度和第二维度存储至存量历史预聚合表中，并将第三维度的信息存储为所述存量历史预聚合表中的数值；累积数据获取模块，用...
【专利技术属性】
技术研发人员：刘晓阳，卜贞贞，韩金玲，
申请(专利权)人：河北幸福消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。