数据处理方法及装置、电子设备、存储介质制造方法及图纸

本公开是关于一种数据处理方法及装置、电子设备、存储介质，涉及大数据技术领域，该方法包括：获取数据获取请求中的元数据；将所述数据获取请求中的每一元数据分别与每一预设数据表的元数据进行匹配，以得到与所述数据获取请求相匹配的候选数据表；其中，所述候选数据表的至少一个元数据与所述数据获取请求中的至少一个元数据匹配；对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表，并从所述目标数据表中获取匹配的元数据的值；根据所述目标数据表中的匹配的元数据的值，确定所述数据获取请求中的元数据的值。本公开可以快速精准地获取与数据获取请求对应的元数据的值，实现快速智能取数。

Data Processing Method and Device, Electronic Equipment and Storage Media

The present disclosure relates to a data processing method and device, an electronic device, a storage medium, and relates to the technical field of large data. The method includes acquiring metadata in a data acquisition request, matching each metadata in the data acquisition request with metadata of each preset data table separately to obtain a candidate data table matching the data acquisition request. In the data acquisition request, at least one metadata of the candidate data table matches at least one metadata of the data acquisition request; the candidate data table with the same matching metadata is filtered to determine a predetermined number of target data tables, and the value of the matching metadata is obtained from the target data table; and the matching metadata in the target data table is determined according to the value of the matching metadata in the target data table. Determines the value of metadata in the data acquisition request. The present disclosure can quickly and accurately acquire the value of metadata corresponding to the data acquisition request, and realize fast and intelligent data acquisition.

【技术实现步骤摘要】
数据处理方法及装置、电子设备、存储介质
本公开涉及大数据
，具体而言，涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。
技术介绍
随着大数据的发展，数据量越来越多，因此需要快速准确地从数据源中获取需要的数据，以根据得到的数据进行业务处理。相关技术中，可通过统一接口以及正则表达式对不同的数据源进行取数。当一个指标在多个数据表中存在时，这种方式不能实现快速取数，效率较低且只通过统一的接口得到的取数结果并不准确，无法满足大规模数据中快速准确地得到需要的数据的需求。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种数据处理方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的不能快速精准取数的问题。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的一个方面，提供一种数据处理方法，包括：获取数据获取请求中的元数据；将所述数据获取请求中的每一元数据分别与每一预设数据表的元数据进行匹配，以得到与所述数据获取请求相匹配的候选数据表；其中，所述候选数据表的至少一个元数据与所述数据获取请求中的至少一个元数据匹配；对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表，并从所述目标数据表中获取匹配的元数据的值；根据所述目标数据表中的匹配的元数据的值，确定所述数据获取请求中的元数据的值。在本公开的一种示例性实施例中，根据所述目标数据表中的匹配的元数据的值，确定所述数据获取请求中的元数据的值包括：获取所有所述目标数据表；根据所述目标数据表的匹配的元数据之间的关联关系，确定述数据获取请求中的元数据的值。在本公开的一种示例性实施例中，所述数据获取请求中的元数据包括数据范围、指标、维度以及筛选条件。在本公开的一种示例性实施例中，所述预设数据表的元数据包括数据范围、指标、维度、数据生产时间、数据质量以及引擎类型中的一个或多个。在本公开的一种示例性实施例中，将所述数据获取请求中的每一元数据分别与每一预设数据表的元数据进行匹配，以得到与所述数据获取请求相匹配的候选数据表包括：依次按照指标、维度、数据范围、数据生产时间以及引擎类型的排列顺序，对所述数据获取请求中的元数据与各所述预设数据表的元数据进行匹配，以将匹配成功的预设数据表作为所述候选数据表。在本公开的一种示例性实施例中，对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表包括：根据所述预设数据表的元数据中的维度由小到大的顺序，从所述多个候选数据表中选择目标数据表；根据引擎的速度由快到慢的顺序，从所述多个候选数据表中选择目标数据表；根据数据质量由高到低的顺序，从所述多个候选数据表中选择目标数据表；根据数据生产时间由小到大的顺序，从所述多个候选数据表中选择目标数据表；根据手动排序选择目标数据表。在本公开的一种示例性实施例中，对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表包括：根据所述预设数据表的元数据中的维度由小到大的顺序，从所述多个候选数据表中选择目标数据表；若无法根据所述维度确定所述目标数据表，则根据引擎的速度由快到慢的顺序，从所述多个候选数据表中选择目标数据表；若无法根据所述引擎的速度确定所述目标数据表，则根据数据质量由高到低的顺序，从所述多个候选数据表中选择目标数据表；若无法根据所述数据质量确定所述目标数据表，则根据数据生产时间由小到大的顺序，从所述多个候选数据表中选择目标数据表；若无法根据所述数据生产时间确定所述目标数据表，则根据手动排序选择目标数据表。根据本公开的一个方面，提供一种数据处理装置，包括：元数据获取模块，用于获取数据获取请求中的元数据；候选数据表确定模块，用于将所述数据获取请求中的每一元数据分别与每一预设数据表的元数据进行匹配，以得到与所述数据获取请求相匹配的候选数据表；其中，所述候选数据表的至少一个元数据与所述数据获取请求中的至少一个元数据匹配；目标数据表确定模块，用于对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表，并从所述目标数据表中获取匹配的元数据的值；数据获取模块，用于根据所述目标数据表中的匹配的元数据的值，确定所述数据获取请求中的元数据的值。根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据处理方法。根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据处理方法。本公开示例性实施例中提供的一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质中，一方面，通过对数据获取请求中包含的元数据以及预设数据表的元数据进行匹配得到多个候选数据表，并通过对具有相同的匹配的元数据的候选数据表进行筛选，得到预设数量的目标数据表，从而能够准确得到与数据获取请求对应的目标数据表，根据目标数据表的中匹配的元数据实现精准取数，提高数据获取的准确率；另一方面，通过对数据获取请求中包含的元数据以及预设数据表的元数据进行匹配，以得到候选数据表，从而减少了获取数据时需要选择的数据表的数量，提高了获取数据的效率，具有高效性，能够实现快速取数。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示意性示出本公开示例性实施例中一种数据处理方法示意图。图2示意性示出本公开示例性实施例中数据处理系统的架构图。图3示意性示出本公开示例性实施例中生成数据获取任务的页面示意图。图4示意性示出本公开示例性实施例中选择目标数据表的流程图。图5示意性示出本公开示例性实施例中智能取数算法示意图。图6示意性示出本公开示例性实施例中一种数据处理装置的框图。图7示意性示出本公开示例性实施例中一种电子设备的框图。图8示意性示出本公开示例性实施例中一种程序产品。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：获取数据获取请求中的元数据；将所述数据获取请求中的每一元数据分别与每一预设数据表的元数据进行匹配，以得到与所述数据获取请求相匹配的候选数据表；其中，所述候选数据表的至少一个元数据与所述数据获取请求中的至少一个元数据匹配；对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表，并从所述目标数据表中获取匹配的元数据的值；根据所述目标数据表中的匹配的元数据的值，确定所述数据获取请求中的元数据的值。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据获取请求中的元数据；将所述数据获取请求中的每一元数据分别与每一预设数据表的元数据进行匹配，以得到与所述数据获取请求相匹配的候选数据表；其中，所述候选数据表的至少一个元数据与所述数据获取请求中的至少一个元数据匹配；对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表，并从所述目标数据表中获取匹配的元数据的值；根据所述目标数据表中的匹配的元数据的值，确定所述数据获取请求中的元数据的值。2.根据权利要求1所述的数据处理方法，其特征在于，根据所述目标数据表中的匹配的元数据的值，确定所述数据获取请求中的元数据的值包括：获取所有所述目标数据表；根据所述目标数据表的匹配的元数据之间的关联关系，确定述数据获取请求中的元数据的值。3.根据权利要求1所述的数据处理方法，其特征在于，所述数据获取请求中的元数据包括数据范围、指标、维度以及筛选条件。4.根据权利要求1所述的数据处理方法，其特征在于，所述预设数据表的元数据包括数据范围、指标、维度、数据生产时间、数据质量以及引擎类型中的一个或多个。5.根据权利要求4所述的数据处理方法，其特征在于，将所述数据获取请求中的每一元数据分别与每一预设数据表的元数据进行匹配，以得到与所述数据获取请求相匹配的候选数据表包括：依次按照指标、维度、数据范围、数据生产时间以及引擎类型的排列顺序，对所述数据获取请求中的元数据与各所述预设数据表的元数据进行匹配，以将匹配成功的预设数据表作为所述候选数据表。6.根据权利要求4所述的数据处理方法，其特征在于，对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表包括：根据所述预设数据表的元数据中的维度由小到大的顺序，从所述多个候选数据表中选择目标数据表；根据引擎的速度由快到慢的顺序，从所述多个候选数据表中选择目标数据表；根据数据质量由高到低的顺序，从所述...

【专利技术属性】
技术研发人员：徐波，胡成锴，孟帅帅，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京,11