一种数据处理方法、装置及电子设备和存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置及设备和介质，该方法包括：获取待存储的原始数据表，为原始数据表中所有的原始数据均添加用于唯一标识原始数据的第一类标识字段，得到标记后数据表写入数据仓库中进行存储；当从标记后数据表中抽取原始数据生成目标数据表时，为目标数据表中所有的目标数据均添加来源信息标识字段，来源信息标识字段为原始数据的第一类标识字段；为目标数据表中所有的目标数据均添加用于唯一标识目标数据的第二类标识字段，生成目标数据表。本申请在需要抽取原始数据生成目标数据表时，将原始数据对应的第一类标识字段作为目标数据的来源信息标识字段，可实现具体数据的血缘跟踪，极大地提升了数据的血缘追溯定位效率。溯定位效率。溯定位效率。

【技术实现步骤摘要】
一种数据处理方法、装置及电子设备和存储介质


[0001]本申请涉及数据处理分析
，更具体地说，涉及一种数据处理方法、装置及一种电子设备和一种计算机可读存储介质。

技术介绍

[0002]数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建，可以为需要业务智能的企业提供指导业务流程改进、监视时间、成本、质量以及控制。数据以表的形式存放在数据仓库中，数据通过层层加工转换进不同的表里，数据的加工主要以SQL语句的方式进行处理。
[0003]当前数据仓库表的建设中，需要通过血缘关系来追踪数据来源。常规方法是通过扫描静态的加工SQL语句进行解析，获取数据从源表到目标表的脉络，可以实现表级血缘。或者可以通过插入一条唯一标识行信息的字段，实现对数据血缘的溯源追踪精确到数据行的级别。但是在多表合并的过程中，一行或者一列的数据可能会来自多个表，若按照当前方案，会存在本行内某些字段的数据来源记录不准确，或某一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待存储的原始数据表，为所述原始数据表中所有的原始数据均添加第一类标识字段，得到标记后数据表并写入数据仓库中进行存储；其中，所述第一类标识用于唯一的标识各个所述原始数据；当从所述标记后数据表中抽取所述原始数据生成目标数据表时，为所述目标数据表中所有的目标数据均添加来源信息标识字段，所述来源信息标识字段为所述原始数据对应的所述第一类标识字段；为所述目标数据表中所有的目标数据均添加第二类标识字段，生成所述目标数据表；其中，所述第二类标识字段用于唯一的标识各个所述目标数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述为所述原始数据表中所有的原始数据均添加第一类标识字段，得到标记后数据表，包括：确定所述原始数据表中每个原始数据对应的第一类标识字段，所述第一类标识字段包括所述原始数据对应的表名、列名及唯一散列值；将所述第一类标识字段作为新的字段添加至所述原始数据表中原始数据列的邻列位置，得到所述标记后数据表。3.根据权利要求1所述的数据处理方法，其特征在于，所述为所述目标数据表中所有的目标数据均添加第二类标识字段，生成所述目标数据表，包括：确定所述目标数据表中每个目标数据对应的第二类标识字段，所述第二类标识字段包括所述目标数据对应的表名、列名及唯一散列值；将所述第二类标识字段作为新的字段添加至目标数据列或所述来源信息标识字段的邻列位置，生成最终的所述目标数据表。4.根据权利要求1所述的数据处理方法，其特征在于，所述当从所述标记后数据表中抽取所述原始数据生成目标数据表时，为所述目标数据表中所有的目标数据均添加来源信息标识字段，包括：当对所述标记数据表进行查询操作时，将所述标记后数据表中符合查询条件的所述原始数据和各个所述原始数据对应的第一类标识字段投影插入到所述目标数据表中，其中，所述第一类标识字段插入所述来源信息标识字段对应的列中。5...

【专利技术属性】
技术研发人员：单军，柴佳林，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：