【技术实现步骤摘要】
数据处理方法、装置、电子设备和存储介质
[0001]本公开涉及计算机
，尤其涉及大数据
，具体涉及一种数据处理方法、装置、电子设备和存储介质。
技术介绍
[0002]元数据是描述数据的数据。在传统的数据处理系统中，例如Hive、Spark、Presto、Impala等数据处理系统，一般会采用元数据来描述数据，并通过元数据来管理数据。这些不同类型的数据处理系统之间所采用的元数据模式是互不相同的。因而，他们的元数据是相互独立的。
技术实现思路
[0003]本公开提供了一种数据处理方法、装置、电子设备和存储介质。
[0004]根据本公开的一方面，提供了一种数据处理方法，包括：
[0005]基于至少一个元数据类型，为数据库中的每个数据生成对应的至少一个元数据；
[0006]在确定数据处理系统调用数据的情况下，基于所述数据处理系统所适用的元数据类型以及所述数据处理系统提供的元数据，在所述数据库中确定所述数据处理系统调用的数据。
[0007]根据本公开的另一方面，提供了一种数据处理装置，包括：
[0008]元数据生成模块，用于基于至少一个元数据类型，为数据库中的每个数据生成对应的至少一个元数据；
[0009]数据调用模块，用于在确定数据处理系统调用数据的情况下，基于所述数据处理系统所适用的元数据类型以及所述数据处理系统提供的元数据，在所述数据库中确定所述数据处理系统调用的数据。
[0010]根据本公开的另一方面，提供了一种电子设备，包括：>[0011]至少一个处理器；以及
[0012]与该至少一个处理器通信连接的存储器；其中，
[0013]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
[0014]根据本公开的另一个方面，提供了一种数据处理系统，包括本公开任一实施例的电子设备。
[0015]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
[0016]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
[0017]根据本公开的技术，为数据库中的每个数据提供至少一个元数据类型对应的元数据。在确定数据处理系统调用数据的情况下，基于数据处理系统所适用的元数据类型以及
数据处理系统提供的元数据，在所述数据库中确定数据处理系统调用的数据。从而，数据处理系统能准确地调用数据，提高调用数据的效率。
[0018]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0020]图1是本公开第一实施例的数据处理方法的流程图；；
[0021]图2是本公开第二实施例的数据处理系统的结构框图；
[0022]图3是本公开第三实施例的元数据更新的时序图；
[0023]图4是本公开第四实施例的数据处理装置的结构框图；
[0024]图5是本公开第五实施例的数据处理装置的结构框图；
[0025]图6是实现本公开实施例的数据处理方法的电子设备的框图。
具体实施方式
[0026]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0027]在一些通用的大数据处理系统中，例如Hive、Spark、Presto、Impala等数据处理系统，通常只采用一种元数据模式或者元数据类型来描述数据的组织方式和数据的特征。因而，在这些系统之间，元数据和数据都是相互独立，难以相互调用。
[0028]对于同一个系统中的不同类型的数据，例如结构化数据、半结构化数据或者非结构化数据等，有些系统仅采用一种元数据类型来描述众多不同类型的数据，难以全面地描述这些数据。而且，由于不同类型的数据需要的元数据是不相同的，仅采用一种元数据模式来描述数据，不能准确地描述数据的全部信息。另一方面，数据处理系统对不同类型的数据的使用方式也是不相同的。而不同的使用方式需要的元数据描述信息也是不相同的。因此，从同一种抽象描述形式的元数据中，难以获取到调用数据时所需要的全部信息。因此，仅采用一种抽象形式的元数据类型来描述数据，会导致元数据描述数据的内容不准确、不全面，影响到数据处理系统对数据的调用。
[0029]对于来自外部系统例如外部的数据处理系统的数据，不同系统中的数据的组织形式通常是不同的，系统间不能直接共享数据。因而，有一些数据处理系统，由于其不能直接使用外部系统的数据，而选择先将数据导入其中，并对其进行一些预定的处理之后，数据处理系统才能使用这些数据。但是，这会影响数据处理系统调用数据的效率。还有，一些数据处理系统采用连接器的方式与外部系统连接，通过连接器获取外部系统的数据和元数据。但是，这种方案存在如下缺点：其一，不能灵活地获取需要数据的数据或信息，效率低；其二，对元数据信息的获取受到外部系统的限制，难以获取当前所需要的全部元数据信息。
[0030]为此，本公开实施例提供一种数据处理方案，数据处理系统能够准确地调用数据，并提高调用数据的效率。
[0031]图1示出了本公开第一实施例的数据处理方法的流程示意图。如图1所示，该方法可以应用于数据处理系统，也可以应用于数据处理系统中的一个模块或单元等，还可以应用于多个数据处理系统所共享的一个系统或电子设备中。该方法包括如下步骤：
[0032]S110，基于至少一个元数据类型，为数据库中的每个数据生成对应的至少一个元数据；
[0033]S120，在确定数据处理系统调用数据的情况下，基于数据处理系统所适用的元数据类型以及数据处理系统提供的元数据，在数据库中确定数据处理系统调用的数据。
[0034]示例性地，元数据是数据的抽象描述，这种抽象描述的方式可以有多种，即可以有多个元数据类型。上述至少一个元数据类型可以基于至少一个数据处理系统中的每个数据处理系统所适用的元数据类型来确定。每个元数据类型可以至少适用于一个数据处理系统。每个数据处理系统所适用的元数据类型至少包括一个。
[0035]示例性地，数据库可以包括多个数据，每个数据可以对应多个元数据。这多个元数据共同描述同一个数据，区别仅在于描述方式不相同的。
[0036]例如，数据A对应的元数据包括{a1,a2,a3,a4}，其中，元数据a1是数据处理系统b1可识别的，元数据a2是数据处理系统b2可识别本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，包括：基于至少一个元数据类型，为数据库中的每个数据生成对应的至少一个元数据；在确定数据处理系统调用数据的情况下，基于所述数据处理系统所适用的元数据类型以及所述数据处理系统提供的元数据，在所述数据库中确定所述数据处理系统调用的数据。2.根据权利要求1所述的方法，其中，包括：在监听到所述数据库中的第i个数据的第一元数据已更新的情况下，基于所述第一元数据的更新内容，更新所述第i个数据的第二元数据，其中，i为正整数。3.根据权利要求2所述的方法，其中，所述基于所述第一元数据的更新内容，更新所述第i个数据的第二元数据，包括：在所述第一元数据的更新内容包括第一更新内容的情况下，基于所述第一更新内容，更新所述第i个数据的第二元数据；其中，所述第一更新内容与所述第i个数据的更新内容相关。4.根据权利要求1所述的方法，其中，还包括：响应于元数据生成服务的注册请求，基于所述注册请求中的第一元数据类型，确定对应的元数据生成逻辑；基于所述元数据生成逻辑，注册所述第一元数据类型对应的元数据生成服务；其中，所述第一元数据类型对应的元数据生成服务用于为所述数据库中的数据生成所述第一元数据类型对应的元数据。5.根据权利要求1
‑
4任一项所述的方法，其中，所述基于至少一个元数据类型，为数据库中的每个数据生成对应的至少一个元数据，包括：基于至少一个元数据类型，确定所述至少一个元数据类型中的每个元数据类型对应的元数据生成服务；基于所述每个元数据类型对应的元数据生成服务，为数据库中的每个数据生成对应的元数据。6.根据权利要求1
‑
5任一项所述的方法，其中，所述基于至少一个元数据类型，为数据库中的每个数据生成对应的至少一个元数据，包括：响应于元数据生成请求，基于所述元数据生成请求中的数据标识，在所述数据库中确定对应的目标数据；基于所述元数据生成请求中的元数据类型，为所述目标数据生成对应的元数据。7.一种数据处理装置，包括：元数据生成模块，用于基于至少一个元数据类型，为数据库中的每个数据生成对应的至少一个元数据；数据调用模块，用于在确定数据处理系统调用数据的情况下，基于所述数据处理系统所适用的元数据类型以及所述数据处理系统提供的元数据，在所述数据库中确定所述数据处理系统调用的数据。8.根据权利要求7所述的装置，其中，包括：元数...
【专利技术属性】
技术研发人员：张文歆，张新瑜，王有卓，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。