数据处理方法以及装置制造方法及图纸

本说明书实施例提供数据处理方法以及装置，其中所述数据处理方法包括：根据目标业务的历史业务数据确定业务主题，并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表；将根据预设数据分析粒度以及所述业务主题的至少一个数据分析维度对所述历史业务数据进行数据分析获得的分析结果插入所述初始主题表的数据单元，以生成目标主题表；将所述目标主题表中的数据按照预先建立的初始数据仓库表的表结构进行数据同步处理，生成第一数据仓库表；再对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表。

Data processing method and device

【技术实现步骤摘要】
数据处理方法以及装置
本说明书实施例涉及计算机
，特别涉及一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。
技术介绍
数据仓库(DataWarehouse，可简写为DW或DWH)是一种结构化数据环境。数据仓库可以为数据分析、数据报表以及数据挖掘等应用提供数据支持，数据仓库管理是数据仓库运维的一个核心内容，且数据仓库管理通常包括数据维护以及数据仓库的建设评价等，数据仓库的任务主要是把信息加以整理归纳和重组，并及时提供给决策人员。
技术实现思路
有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：根据目标业务的历史业务数据确定业务主题，并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表；根据预设数据分析粒度以及所述业务主题的至少一个数据分析维度对所述历史业务数据进行数据分析，将分析结果插入所述初始主题表的数据单元，生成目标主题表；将所述目标主题表中的数据按照预先建立的初始数据仓库表的表结构进行同步处理，生成第一数据仓库表；对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表。可选地，所述根据目标业务的历史业务数据确定业务主题，并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表，包括：对所述历史业务数据进行主题域划分，将划分结果中目标主题域对应的主题确定为所述业务主题；根据所述业务主题查询与所述业务主题对应的业务数据表；以所述业务数据表中的主题关键字为目标字段构建所述初始主题表，其中，所述初始主题表还包括业务属性字段以及属性值字段。可选地，所述初始数据仓库表通过以下方式进行构建：以所述目标主题表中的主题关键字以及所述业务属性字段下的各个属性类别为目标字段构建所述初始数据仓库表。可选地，所述初始数据仓库表通过以下方式进行构建：根据预设筛选规则对所述目标主题表中所述业务属性字段下的各个属性类别进行筛选处理；将筛选获得的目标属性类别以及所述目标主题表的主题关键字作为目标字段构建所述初始数据仓库表。可选地，所述对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表，包括：在所述第一数据仓库表中新增初始字段生成第二数据仓库表，其中，新增的所述初始字段的数目根据所述业务数据表中包含的字段数目确定；确定所述业务数据表中主题关键字与各个字段中数据的映射关系；基于所述第二数据仓库表的表结构，将所述业务数据表中的数据按照所述映射关系进行同步处理，生成所述目标数据仓库表。可选地，若所述初始主题表为分区表，则所述将分析结果插入所述初始主题表的数据单元，包括：根据所述初始主题表的分区策略确定分析结果中不同类别的属性数据与所述初始主题表中各个分区的对应关系；根据所述对应关系将所述不同类别的属性数据依次插入对应的分区下的数据单元。可选地，所述对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表步骤执行之后，还包括：接收数据查询指令，所述数据查询指令中携带有待查询的数据分析维度以及目标主题关键字；将所述目标主题关键字作为索引信息，并根据所述目标数据仓库表中主题关键字与数据分析维度字段下数据的映射关系进行数据索引处理；将索引结果作为数据查询结果输出。可选地，所述将索引结果作为数据查询结果输出步骤执行之后，还包括：将所述待查询的数据分析维度与所述数据查询结果中包含的数据分析维度信息进行比对；在根据比对结果确定所述待查询的数据分析维度中存在任意一个数据分析维度对应的查询结果为空的情况下，则将查询结果为空的数据分析维度确定为待处理的数据分析维度；根据预设数据分析粒度以及所述待处理的数据分析维度对所述历史业务数据进行数据分析；将分析结果插入所述目标主题表的数据单元。可选地，所述对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表步骤执行之后，还包括：在检测到所述目标主题表中存在增量数据的情况下，则基于所述增量数据对所述目标数据仓库表进行更新。根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：构建模块，被配置为根据目标业务的历史业务数据确定业务主题，并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表；数据处理模块，被配置为根据预设数据分析粒度以及所述业务主题的至少一个数据分析维度对所述历史业务数据进行数据分析，将分析结果插入所述初始主题表的数据单元，生成目标主题表；数据同步模块，被配置为将所述目标主题表中的数据按照预先建立的初始数据仓库表的表结构进行同步处理，生成第一数据仓库表；字段合并模块，被配置为对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表。根据本说明书实施例的第三方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：根据目标业务的历史业务数据确定业务主题，并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表；根据预设数据分析粒度以及所述业务主题的至少一个数据分析维度对所述历史业务数据进行数据分析，将分析结果插入所述初始主题表的数据单元，生成目标主题表；将所述目标主题表中的数据按照预先建立的初始数据仓库表的表结构进行同步处理，生成第一数据仓库表；对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表。根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述数据处理方法的步骤。本说明书一个实施例实现了根据目标业务的历史业务数据确定业务主题，并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表；根据预设数据分析粒度以及所述业务主题的至少一个数据分析维度对所述历史业务数据进行数据分析，将分析结果插入所述初始主题表的数据单元，生成目标主题表；将所述目标主题表中的数据按照预先建立的初始数据仓库表的表结构进行同步处理，生成第一数据仓库表；对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表。通过先生成目标主题表，再将目标主题表转化为目标数据仓库表的方式进行数据处理，初始主题表为表的开发提供了便利性，有利于降低开发成本，通过表转化的方式生成目标数据仓库表，并通过目标数据仓库表为用户提供数据查询服务，有利于为用户提供多类别数据查询的便利性。附图说明本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n根据目标业务的历史业务数据确定业务主题，并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表；/n根据预设数据分析粒度以及所述业务主题的至少一个数据分析维度对所述历史业务数据进行数据分析，将分析结果插入所述初始主题表的数据单元，生成目标主题表；/n将所述目标主题表中的数据按照预先建立的初始数据仓库表的表结构进行同步处理，生成第一数据仓库表；/n对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表。/n

【技术特征摘要】
1.一种数据处理方法，包括：
根据目标业务的历史业务数据确定业务主题，并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表；
根据预设数据分析粒度以及所述业务主题的至少一个数据分析维度对所述历史业务数据进行数据分析，将分析结果插入所述初始主题表的数据单元，生成目标主题表；
将所述目标主题表中的数据按照预先建立的初始数据仓库表的表结构进行同步处理，生成第一数据仓库表；
对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表。


2.根据权利要求1所述的数据处理方法，所述根据目标业务的历史业务数据确定业务主题，并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表，包括：
对所述历史业务数据进行主题域划分，将划分结果中目标主题域对应的主题确定为所述业务主题；
根据所述业务主题查询与所述业务主题对应的业务数据表；
以所述业务数据表中的主题关键字为目标字段构建所述初始主题表，其中，所述初始主题表还包括业务属性字段以及属性值字段。


3.根据权利要求2所述的数据处理方法，所述初始数据仓库表通过以下方式进行构建：
以所述目标主题表中的主题关键字以及所述业务属性字段下的各个属性类别为目标字段构建所述初始数据仓库表。


4.根据权利要求2所述的数据处理方法，所述初始数据仓库表通过以下方式进行构建：
根据预设筛选规则对所述目标主题表中所述业务属性字段下的各个属性类别进行筛选处理；
将筛选获得的目标属性类别以及所述目标主题表的主题关键字作为目标字段构建所述初始数据仓库表。


5.根据权利要求1所述的数据处理方法，所述对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表，包括：
在所述第一数据仓库表中新增初始字段生成第二数据仓库表，其中，新增的所述初始字段的数目根据所述业务数据表中包含的字段数目确定；
确定所述业务数据表中主题关键字与各个字段中数据的映射关系；
基于所述第二数据仓库表的表结构，将所述业务数据表中的数据按照所述映射关系进行同步处理，生成所述目标数据仓库表。


6.根据权利要求1所述的数据处理方法，若所述初始主题表为分区表，则所述将分析结果插入所述初始主题表的数据单元，包括：
根据所述初始主题表的分区策略确定分析结果中不同类别的属性数据与所述初始主题表中各个分区的对应关系；
根据所述对应关系将所述不同类别的属性数据依次插入对应的分区下的数据单元。


7.根据权利要求1所述的数据处理方法，所述对所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理，生成目标数据仓库表步骤执行之后，还包括：
接收数据查询指令，所述数据查询指令中携带有待查询的数据分析维度以及目标主题关键字；
将所述目标主题关键字作为索引信息，并根据所述目标数据仓库表中主题关键字与数据分析维度字段下数据的映射关系进行数据索引处理...

【专利技术属性】
技术研发人员：王潘安，
申请(专利权)人：浙江网商银行股份有限公司，
类型：发明
国别省市：浙江;33