中台数据处理方法技术

本申请涉及大数据分析应用技术领域，提供了一种中台数据处理方法

【技术实现步骤摘要】
中台数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及大数据分析
，尤其是涉及一种基于大数据的中台数据处理方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着企业数字化转型的不断发展，企业数据量呈现出爆炸性的增长
。
为了更好地管理和利用这些数据，许多企业开始构建自己的数据中台
。
数据中台是一种集数据采集
、
数据处理
、
数据分析
、
数据可视化于一体的数据处理平台，它对海量数据进行采集
、
计算
、
存储
、
加工，同时统一标准和口径，形成标准数据后再进行存储，形成大数据资产层，可以为企业提供全方位的数据支持，帮助企业更好地了解市场
、
优化业务流程
、
提升决策效率等
。
[0003]然而，传统的数据处理方法往往只关注数据处理的过程，而忽略了数据之间的上下游关系
。
这种处理方式会导致数据的不一致性和数据质量的下降，给企业的业务决策带来一定的风险
。

技术实现思路

[0004]有鉴于此，本申请提供一种中台数据处理方法
、
装置
、
电子设备及存储介质，用以解决企业数据的不一致性和数据质量较差的技术问题
。
[0005]本申请的第一方面提供一种中台数据处理方法，所述方法包括：基于企业业务流程创建上下游业务流程模型及根据业务需求定义数据结构模型；获取企业业务系统中各个业务环节中的原始业务数据；对所述原始业务数据进行清洗处理，得到清洗业务数据；基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据；根据所述业务需求对应的实际应用场景确定目标存储架构，采用所述目标存储架构存储所述目标业务数据
。
[0006]在一个可选的实施方式中，所述基于企业业务流程创建上下游业务流程模型包括：获取并分析所述企业业务系统的系统架构，得到所述企业业务系统中各个业务环节之间的上下游关系；基于所述上下游关系创建所述上下游业务流程模型
。
[0007]在一个可选的实施方式中，所述根据业务需求定义数据结构模型包括：根据业务需求定义数据类型
、
数据关系
、
数据模式和数据维度
。
[0008]在一个可选的实施方式中，所述对所述原始业务数据进行清洗处理，得到清洗业务数据包括：对所述原始业务数据进行数据清洗
、
数据转换
、
数据标准化以及去除冗余项，得到清洗业务数据
。
[0009]在一个可选的实施方式中，所述基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据包括：基于所述上下游业务流程模型及所述数据结构模型生成关联规则；基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据
。
[0010]在一个可选的实施方式中，所述基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据包括：使用预设的聚类算法对清洗业务数据进行聚类分析，得到多个聚类数据；基于所述关联规则判断每个所述聚类数据中的数据是否具有一致性；若所述聚类数据中的数据不具有一致性，则对所述聚类数据进行修正，得到所述目标业务数据
。
[0011]在一个可选的实施方式中，所述方法还包括：使用数据挖掘技术，基于所述目标业务数据的趋势
、
模式
、
关联性和异常情况，获取业务决策数据；对所述业务决策数据进行可视化界面展示
。
[0012]本申请的第二方面提供一种中台数据处理装置，所述装置包括：模型构建模块，用于基于企业业务流程创建上下游业务流程模型及根据业务需求定义数据结构模型；数据获取模块，用于获取企业业务系统中各个业务环节中的原始业务数据；数据清洗模块，用于对所述原始业务数据进行清洗处理，得到清洗业务数据；数据修正模块，用于基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据；数据存储模块，用于根据所述业务需求对应的实际应用场景确定目标存储架构，采用所述目标存储架构存储所述目标业务数据
。
[0013]本申请的第三方面提供一种电子设备，包括存储器
、
处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的中台数据处理方法的步骤
。
[0014]本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的中台数据处理方法的步骤
。
[0015]本申请实施例提供的中台数据处理方法
、
装置
、
电子设备及存储介质，通过分析企业业务数据之间的上下游关系，创建企业上下游业务流程模型，并根据业务需求定义数据结构模型，基于上下游业务流程模型对企业业务数据进行清洗
、
分析和修正生成目标业务数据，选择合适的数据存储架构，按照所述数据结构模型进行存储，以支持实际应用场景中的业务需求和决策过程
。
本申请通过对数据进行上下游关系的分析，建立起数据之间的联系，从而更好地保证存储数据的一致性和数据质量
。
附图说明
[0016]图1是本申请实施例示出的中台数据处理方法的流程图；图2是本申请实施例示出的中台数据处理装置的功能模块图；
图3是本申请实施例示出的电子设备的结构图
。
具体实施方式
[0017]为使本申请的目的
、
技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述
。
[0018]本专利技术实施例提供的中台数据处理方法由电子设备执行，相应地，中台数据处理装置运行于电子设备中
。
[0019]图1是本专利技术实施例一提供的中台数据处理方法的流程图
。
所述中台数据处理方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略
。
[0020]S11
，基于企业业务流程创建上下游业务流程模型及根据业务需求定义数据结构模型
。
[0021]企业业务流程是指为了完成特定业务目标而设计和执行的一系列活动和步骤，这些业务流程通常是相互关联和交互作用的，构成了一个完整的企业运营体系
。
上游业务流程是位于当前业务流程之前的流程，而下游业务流程是位于当前业务流程之后的流程
。
通过基于企业业务流程创建上下游业务流程模型，可以整体把握业务流程关系，确保业务流程的顺畅进行和数据的正确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种中台数据处理方法，其特征在于，所述方法包括：基于企业业务流程创建上下游业务流程模型及根据业务需求定义数据结构模型；获取企业业务系统中各个业务环节中的原始业务数据；对所述原始业务数据进行清洗处理，得到清洗业务数据；基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据；根据所述业务需求对应的实际应用场景确定目标存储架构，采用所述目标存储架构存储所述目标业务数据
。2.
根据权利要求1所述的中台数据处理方法，其特征在于，所述基于企业业务流程创建上下游业务流程模型包括：获取并分析所述企业业务系统的系统架构，得到所述企业业务系统中各个业务环节之间的上下游关系；基于所述上下游关系创建所述上下游业务流程模型
。3.
根据权利要求1所述的中台数据处理方法，其特征在于，所述根据业务需求定义数据结构模型包括：根据业务需求定义数据类型
、
数据关系
、
数据模式和数据维度
。4.
根据权利要求1所述的中台数据处理方法，其特征在于，所述对所述原始业务数据进行清洗处理，得到清洗业务数据包括：对所述原始业务数据进行数据清洗
、
数据转换
、
数据标准化以及去除冗余项，得到清洗业务数据
。5.
根据权利要求1所述的中台数据处理方法，其特征在于，所述基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据包括：基于所述上下游业务流程模型及所述数据结构模型生成关联规则；基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据
。6.
根据权利要求5所述的中台数据处理方...

【专利技术属性】
技术研发人员：孙成智，金富平，谢步志，
申请(专利权)人：深圳市巨龙创视科技有限公司，
类型：发明
国别省市：