数据的处理方法和处理系统技术方案

本发明专利技术公开了一种数据的处理方法和处理系统，该数据的处理方法包括：获取业务数据源表；根据所述业务数据源表生成操作数据存储表，其中，所述操作数据存储表包括用于提供所述操作数据存储表的数据来源的第一来源信息；根据所述操作数据存储表生成数据仓库表，其中，所述数据仓库表包括用于提供所述数据仓库表的数据来源的第二来源信息。本发明专利技术具有如下优点：可以进行业务数据源表、操作数据存储表和数据仓库表之间的数据溯源，且可以从多个业务系统中获取数据时，完成数据核对工作，节省人工进行数据核对的工作量，提升效率。

【技术实现步骤摘要】
数据的处理方法和处理系统
本专利技术涉及数据处理
，具体涉及一种数据的处理方法和处理系统。
技术介绍
数据仓库与商业智能BI技术可以通过维度上卷下钻，溯源到fact_开头的表(即数据仓库层的表)，但通过其它方式核对数据时，如果一些数据核对不上，无法得到该数据的具体来源。
技术实现思路
本专利技术旨在至少解决上述技术问题之一。为此，本专利技术的第一个目的在于提出一种数据的处理方法，可以进行业务数据源表、操作数据存储表和数据仓库表之间的数据溯源。为了实现上述目的，本专利技术的实施例公开了一种数据的处理方法，包括以下步骤：获取业务数据源表；根据所述业务数据源表生成操作数据存储表，其中，所述操作数据存储表包括用于提供所述操作数据存储表的数据来源的第一来源信息；根据所述操作数据存储表生成数据仓库表，其中，所述数据仓库表包括用于提供所述数据仓库表的数据来源的第二来源信息。根据本专利技术实施例的数据的处理方法，通过在业务数据源表生成操作数据存储表和在操作数据存储表生成数据仓库表时分别加入第一来源信息和第二来源信息，以便对业务数据源表、操作数据存储表和数据仓库表之间的数据溯源。在一些实施例中，还包括：在所述数据仓库表中选定需溯源数据信息；根据所述第二来源信息追溯所述需溯源数据信息在所述操作数据存储表的数据来源；根据所述第一来源信息和所述需溯源数据信息在所述操作数据存储表的数据来源追溯所述需溯源数据信息在所述业务数据源表的数据来源。在一些实施例中，所述根据所述业务数据源表生成操作数据存储表的步骤包括：从所述业务数据源表中提取第一数据信息和对应于所述第一数据信息的所述第一来源信息；将所述第一数据信息和所述第一来源信息添加到所述操作数据存储表中。在一些实施例中，所述根据所述操作数据存储表生成数据仓库表的步骤包括：从所述操作数据存储表中提取第二数据信息和对应于所述第二数据信息的所述第二来源信息；将所述第二数据信息和所述第二来源信息添加到所述操作数据存储表中。在一些实施例中，所述第一来源信息包括所述业务数据源表的表名称、主键名称和主键值，所述第二来源信息包括所述操作数据存储表的表名称、主键名称和主键值。在一些实施例中，还包括：提供所述操作数据存储表中不同格式的数据生成所述数据仓库表统一格式的数据的格式转换规则；则所述根据所述操作数据存储表生成数据仓库表的步骤包括：将所述操作数据存储表中不同格式的数据按照所述格式转换规则在所述数据仓库表中生成统一格式的数据。在一些实施例中，还包括：在根据所述操作数据存储表所述生成数据仓库表时，在所述数据仓库表中添加用于提供所述操作数据存储表的数据入库时间的时间戳。为此，本专利技术的第二个目的在于提出一种数据的处理系统，可以进行业务数据源表、操作数据存储表和数据仓库表之间的数据溯源。为了实现上述目的，本专利技术的实施例公开了一种数据的处理系统，包括：获取模块，用于获取业务数据源表；操作数据存储表生成模块，用于根据所述业务数据源表生成操作数据存储表，其中，所述操作数据存储表包括用于提供所述操作数据存储表的数据来源的第一来源信息；数据仓库表生成模块，用于根据所述操作数据存储表生成数据仓库表，其中，所述数据仓库表包括用于提供所述数据仓库表的数据来源的第二来源信息。根据本专利技术实施例的数据的处理系统，通过在业务数据源表生成操作数据存储表和在操作数据存储表生成数据仓库表时分别加入第一来源信息和第二来源信息，以便对业务数据源表、操作数据存储表和数据仓库表之间的数据溯源。在一些实施例中，还包括：选定模块，用于在所述数据仓库表中选定需溯源数据信息；数据溯源模块，用于根据所述第二来源信息追溯所述需溯源数据信息在所述操作数据存储表的数据来源，进而根据所述第一来源信息和所述需溯源数据信息在所述操作数据存储表的数据来源追溯所述需溯源数据信息在所述业务数据源表的数据来源。在一些实施例中，所述操作数据存储表生成模块用于从所述业务数据源表中提取第一数据信息和对应于所述第一数据信息的所述第一来源信息，并将所述第一数据信息和所述第一来源信息添加到所述操作数据存储表中。在一些实施例中，所述数据仓库表生成模块用于从所述操作数据存储表中提取第二数据信息和对应于所述第二数据信息的所述第二来源信息，并将所述第二数据信息和所述第二来源信息添加到所述操作数据存储表中。在一些实施例中，还包括：提供模块，用于提供所述操作数据存储表中不同格式的数据生成所述数据仓库表统一格式的数据的格式转换规则；其中，所述数据仓库表生成模块用于将所述操作数据存储表中不同格式的数据按照所述格式转换规则在所述数据仓库表中生成统一格式的数据。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术一个实施例的数据的处理方法的流程图；图2是本专利技术一个实施例的数据的处理系统的结构框图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。以下结合附图描述本专利技术。图1是本专利技术一个实施例的数据的处理方法的流程图。如图1所示，本专利技术实施例的数据的处理方法，包括以下步骤：S1：获取业务数据源表。在一些示例中，业务数据源表包括处理财务数据的表格，例如excel表、txt表以及其它格式的表。S2：根据业务数据源表生成操作数据存储(OperationalDataStore，ODS)表。其中，操作数据存储表包括用于提供操作数据存储表的数据来源的第一来源信息。在本专利技术的一个实施例中，步骤S2包括：S201：从业务数据源表中提取第一数据信息和对应于第一数据信息的第一来源信息。在一些示例中，第一数据为业务数据源表中某年度的预算明细数据，该年度的预算明细数据存在于某个execl表中的某一列(例如第10列)，则第一来源信息用于表示该年度的预算明细数据来源于上述execl表中的相应列(例如第10列)。S202：将第一数据信息和第一来源信息添加到操作数据存储表中。具体地，将第一数据信息和第一来源信息添加到操作数据存储表中为本领域技术人员的所公知的。步骤S2的相对于现有技术的区别在于：在操作数据存储表存储用于提供操作数据存储表的数据来源的第一来源信息，即操作数据存储表的数据来源于哪个业务数据源表，从业务数据源表中获取了哪些数据，以便根据需要针对指定数据实现从操作数据存储表到业务数据源表之间的数据溯源。在本专利技术的一个实施例中，第一来源信息业务数据源表的表名称、主键名称和主键值，通过业务数据源表的表名称、主键名称和主键值可以准确地提供数据来源。S3：根据操作数据存储表生成数据仓库表。其中，数据仓库表包括用于提供数据仓库表的数据来源的第二来源信息。在本专利技术的一个实施例中，步骤S3包括：S301：从操作数据存储表中提取第二数据信息和对应于第二数据信息的第二来源信息。S302：将第二数据信息和第二来本文档来自技高网...

【技术保护点】
1.一种数据的处理方法，其特征在于，包括以下步骤：获取业务数据源表；根据所述业务数据源表生成操作数据存储表，其中，所述操作数据存储表包括用于提供所述操作数据存储表的数据来源的第一来源信息；根据所述操作数据存储表生成数据仓库表，其中，所述数据仓库表包括用于提供所述数据仓库表的数据来源的第二来源信息。

【技术特征摘要】
1.一种数据的处理方法，其特征在于，包括以下步骤：获取业务数据源表；根据所述业务数据源表生成操作数据存储表，其中，所述操作数据存储表包括用于提供所述操作数据存储表的数据来源的第一来源信息；根据所述操作数据存储表生成数据仓库表，其中，所述数据仓库表包括用于提供所述数据仓库表的数据来源的第二来源信息。2.根据权利要求1所述的数据的处理方法，其特征在于，还包括：在所述数据仓库表中选定需溯源数据信息；根据所述第二来源信息追溯所述需溯源数据信息在所述操作数据存储表的数据来源；根据所述第一来源信息和所述需溯源数据信息在所述操作数据存储表的数据来源追溯所述需溯源数据信息在所述业务数据源表的数据来源。3.根据权利要求1所述的数据的处理方法，其特征在于，所述根据所述业务数据源表生成操作数据存储表的步骤包括：从所述业务数据源表中提取第一数据信息和对应于所述第一数据信息的所述第一来源信息；将所述第一数据信息和所述第一来源信息添加到所述操作数据存储表中。4.根据权利要求1所述的数据的处理方法，其特征在于，所述根据所述操作数据存储表生成数据仓库表的步骤包括：从所述操作数据存储表中提取第二数据信息和对应于所述第二数据信息的所述第二来源信息；将所述第二数据信息和所述第二来源信息添加到所述操作数据存储表中。5.根据权利要求1-4任一项所述的数据的处理方法，其特征在于，所述第一来源信息包括所述业务数据源表的表名称、主键名称和主键值，所述第二来源信息包括所述操作数据存储表的表名称、主键名称和主键值。6.根据权利要求1所述的数据的处理方法，其特征在于，还包括：提供所述操作数据存储表中不同格式的数据生成所述数据仓库表统一格式的数据的格式转换规则；则所述根据所述操作数据存储表生成数据仓库表的步骤包括：将所述操作数据存储表中不同格式的数据按照所述格式转换规则在所述数据仓库表中生成统一格式的数据。7.根据权利要求...

【专利技术属性】
技术研发人员：阮承萍，
申请(专利权)人：新智数字科技有限公司，
类型：发明
国别省市：河北,13