一种数据处理方法和处理装置制造方法及图纸

本发明专利技术提供了一种数据处理方法和处理装置，包括：预先确定至少一个数据库；针对所述至少一个数据库中的每一个所述数据库，从所述数据库中获取至少两个业务数据；确定每一个所述业务数据分别对应的元数据；从确定的每一个元数据中查找与预设的数据集市相对应的至少一个指定元数据；确定每一个指定元数据对应的所述业务数据为与所述数据集市相对应的指定业务数据。本方案能够提高数据的处理效率。

【技术实现步骤摘要】
一种数据处理方法和处理装置
本专利技术涉及网络通信
，特别涉及一种数据处理方法和处理装置。
技术介绍
随着互联网的飞速发展，日渐膨胀的网络数据使互联网用户逐渐迷失在了信息你的海洋之中，如何处理海量的数据已经成为各个企业关注的重点。目前，企业从海量的数据中查找有效的信息，主要通过人工设定脚本的方式实现。但是，当企业有新的业务需求时，工作人员则需要更改相应的脚本，而更改脚本会耗费工作人员较多的时间，因此会降低数据的处理效率。
技术实现思路
本专利技术实施例提供了一种数据处理方法和处理装置，能够提高数据的处理效率。第一方面，本专利技术实施例提供了一种数据处理方法，包括：预先确定至少一个数据库；针对所述至少一个数据库中的每一个所述数据库，从所述数据库中获取至少两个业务数据；确定每一个所述业务数据分别对应的元数据；从确定的每一个元数据中查找与预设的数据集市相对应的至少一个指定元数据；确定每一个指定元数据对应的所述业务数据为与所述数据集市相对应的指定业务数据。优选地，所述从所述数据库中获取至少两个业务数据，包括：根据预设的数据获取范围和每次的获取数量，从所述数据库中获取相应的至少两个业务数据；在所述从所述数据库中获取至少两个业务数据之后，在所述确定每一个所述业务数据分别对应的元数据之前，进一步包括：针对每一个所述数据库，记录每一次从所述数据库中获取所述业务数据的批次号、获取时间和生产流水号。优选地，在所述从所述数据库中获取至少两个业务数据之后，在所述确定每一个所述业务数据分别对应的元数据之前，进一步包括：去除各个所述业务数据中的冗余数据；统一每一个去除冗余数据后的所述业务数据的数据规格。优选地，在所述确定每一个清洗后的所述业务数据对应的元数据之后，在所述从清洗后的所述业务数据中查找出与预设的业务类型相对应的指定业务数据之前，进一步包括：去除各个所述元数据中冗余元数据；根据预设的元数据类型，从去除冗余元数据后的所述元数据中提取至少一个缺失元数据；所述从确定的每一个元数据中查找与预设的数据集市相对应的至少一个指定元数据，包括：从每一个去除冗余元数据后的所述元数据和每一个所述缺失元数据中，查找与预设的数据集市相对应的至少一个指定元数据。优选地，在所述确定每一个指定元数据对应的所述业务数据为与所述数据集市相对应的指定业务数据之前，进一步包括：确定预设的数据集市中的每一个主题；所述从确定的每一个元数据中查找与预设的数据集市相对应的至少一个指定元数据，包括：针对每一个所述主题，从每一个元数据中查找与所述主题相对应的指定元数据。第二方面，本专利技术实施例提供了一种数据处理装置，包括：处理单元，用于预先确定至少一个数据库；确定每一个业务数据分别对应的元数据，以及确定每一个指定元数据对应的所述业务数据为与数据集市相对应的指定业务数据。获取单元，用于针对所述处理单元确定的所述至少一个数据库中的每一个所述数据库，从所述数据库中获取至少两个业务数据；查找单元，用于从所述处理单元确定的每一个元数据中查找与预设的数据集市相对应的至少一个指定元数据。优选地，进一步包括：记录单元；所述获取单元，用于根据预设的数据获取范围和每次的获取数量，从所述数据库中获取相应的至少两个业务数据；所述记录单元，用于针对每一个所述数据库，记录所述获取单元每一次从所述数据库中获取所述业务数据的批次号、获取时间和生产流水号。优选地，所述处理单元，进一步用于去除各个所述业务数据中的冗余数据；统一每一个去除冗余数据后的所述业务数据的数据规格。优选地，所述处理单元，进一步用于去除各个所述元数据中冗余元数据；根据预设的元数据类型，从去除冗余元数据后的所述元数据中提取至少一个缺失元数据；所述查找单元，进一步用于从每一个去除冗余元数据后的所述元数据和每一个所述缺失元数据中，查找与预设的数据集市相对应的至少一个指定元数据。优选地，所述处理单元，进一步用于确定预设的数据集市中的每一个主题；所述查找单元，进一步用于针对每一个所述主题，从每一个元数据中查找与所述主题相对应的指定元数据。在本专利技术实施例中，在从数据库中获取到业务数据后，需要先确定每一个用来说明业务数据的内容、质量和状况等特征的元数据，再确定预设的数据集市相对应的指定元数据，而在有新的业务需求时，只需根据数据集市对应的的指定元数据，即可确定新业务需求所需的指定业务数据，因此，可以避免工作人员在有新的业务需求时更改预设的脚本，从而可以降低业务人员处理数据的时间，从而能够提高数据处理的效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种数据处理方法的流程图；图2是本专利技术一实施例提供的另一种数据处理方法的流程图；图3是本专利技术一实施例提供的一种数据处理装置的结构示意图；图4是本专利技术一实施例提供的另一种数据处理装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例提供了一种数据处理方法，其特征在于，包括：步骤101：预先确定至少一个数据库；步骤102：针对所述至少一个数据库中的每一个所述数据库，从所述数据库中获取至少两个业务数据；步骤103：确定每一个所述业务数据分别对应的元数据；步骤104：从确定的每一个元数据中查找与预设的数据集市相对应的至少一个指定元数据；步骤105：确定每一个指定元数据对应的所述业务数据为与所述数据集市相对应的指定业务数据。在本专利技术实施例中，在从数据库中获取到业务数据后，需要先确定每一个用来说明业务数据的内容、质量和状况等特征的元数据，再确定预设的数据集市相对应的指定元数据，而在有新的业务需求时，只需根据数据集市对应的的指定元数据，即可确定新业务需求所需的指定业务数据，因此，可以避免工作人员在有新的业务需求时更改预设的脚本，从而可以降低业务人员处理数据的时间，从而能够提高数据处理的效率。在本专利技术一实施例中，所述从所述数据库中获取至少两个业务数据，包括：根据预设的数据获取范围和每次的获取数量，从所述数据库中获取相应的至少两个业务数据；在所述从所述数据库中获取至少两个业务数据之后，在所述确定每一个所述业务数据分别对应的元数据之前，进一步包括：针对每一个所述数据库，记录每一次从所述数据库中获取所述业务数据的批次号、获取时间和生产流水号。在本专利技术实施例中，在从各个数据库中将获取的业务数据聚集到给子对应的前置库中后，需要针对每一个数据库记录业务数据获取的批次号、获取时间和生产流水号，来实现对获取的业务数据和业务数据处理过程进行标识，以使业务数据出现异常时，可以对业务数据的来源、业务数据的处理过程进行追溯。在本专利技术一实施例中，在所述从所述数据库中获取至少两个业务数据之后，在所述确定每一本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：预先确定至少一个数据库；针对所述至少一个数据库中的每一个所述数据库，从所述数据库中获取至少两个业务数据；确定每一个所述业务数据分别对应的元数据；从确定的每一个元数据中查找与预设的数据集市相对应的至少一个指定元数据；确定每一个指定元数据对应的所述业务数据为与所述数据集市相对应的指定业务数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：预先确定至少一个数据库；针对所述至少一个数据库中的每一个所述数据库，从所述数据库中获取至少两个业务数据；确定每一个所述业务数据分别对应的元数据；从确定的每一个元数据中查找与预设的数据集市相对应的至少一个指定元数据；确定每一个指定元数据对应的所述业务数据为与所述数据集市相对应的指定业务数据。2.根据权利要求1所述的处理方法，其特征在于，所述从所述数据库中获取至少两个业务数据，包括：根据预设的数据获取范围和每次的获取数量，从所述数据库中获取相应的至少两个业务数据；在所述从所述数据库中获取至少两个业务数据之后，在所述确定每一个所述业务数据分别对应的元数据之前，进一步包括：针对每一个所述数据库，记录每一次从所述数据库中获取所述业务数据的批次号、获取时间和生产流水号。3.根据权利要求1所述的处理方法，其特征在于，在所述从所述数据库中获取至少两个业务数据之后，在所述确定每一个所述业务数据分别对应的元数据之前，进一步包括：去除各个所述业务数据中的冗余数据；统一每一个去除冗余数据后的所述业务数据的数据规格。4.根据权利要求1所述的处理方法，其特征在于，在所述确定每一个清洗后的所述业务数据对应的元数据之后，在所述从清洗后的所述业务数据中查找出与预设的业务类型相对应的指定业务数据之前，进一步包括：去除各个所述元数据中冗余元数据；根据预设的元数据类型，从去除冗余元数据后的所述元数据中提取至少一个缺失元数据；所述从确定的每一个元数据中查找与预设的数据集市相对应的至少一个指定元数据，包括：从每一个去除冗余元数据后的所述元数据和每一个所述缺失元数据中，查找与预设的数据集市相对应的至少一个指定元数据。5.根据权利要求1至4中任一所述的处理方法，其特征在于，在所述确定每一个指定元数据对应的所述业务数据为与所述数据集市相对应的指定业务数据...

【专利技术属性】
技术研发人员：李灿，王乐，石园，曲翠钰，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：山东,37