一种数据处理方法及前端、计算机可读存储介质技术

一种数据处理方法及装置、计算机可读存储介质，所述方法包括前端接收到用户的数据处理请求，前端中存储有元数据及其对应的版本号；如果数据处理请求为读操作请求，前端确定元数据的版本号是否符合数据处理请求；如果符合，前端根据前端中存储的元数据为用户返回数据；如果不符合，前端从元数据存储服务器获得最新的元数据，并根据最新的元数据为用户返回数据；如果数据处理请求为写操作请求，前端根据数据处理请求对前端中存储的元数据和元数据存储服务器的元数据进行写更新。本申请使得多个前端可以并发处理用户的读写请求，提升了分布式系统的扩展性。布式系统的扩展性。布式系统的扩展性。

【技术实现步骤摘要】
一种数据处理方法及前端、计算机可读存储介质


[0001]本申请涉及但不限于数据处理
，尤其涉及一种数据处理方法及前端、计算机可读存储介质。

技术介绍

[0002]分布式联机分析处理(On-Line Analytical Processing，OLAP)系统通过前端(Front-end，FE)组件，处理用户端发送的请求。为了提高每秒查询率(Queries-per-second，QPS)，增强用户体验，往往需要多个前端同时提供服务来保证高可用。前端在提供服务的时候需要查询或更改元数据(Metadata)，例如，在做数据定义语言(Data Definition Language，DDL)操作时，需要写元数据；在做数据操纵语言(Data Manipulation Language，DML)操作时，需要读元数据。为了保证数据的一致性，需要一套数据处理机制来同步各个前端之间的元数据。

技术实现思路

[0003]本申请提供了一种数据处理方法及前端、计算机可读存储介质，能够使得多个前端可以并发处理用户的读写请求。
[0004]本申请实施例提供了一种数据处理方法，包括：前端接收到用户的数据处理请求，所述前端中存储有元数据及其对应的版本号；如果所述数据处理请求为读操作请求，所述前端确定所述元数据的版本号是否符合所述数据处理请求；如果符合，则所述前端根据所述前端中存储的元数据为所述用户返回数据；如果不符合，则所述前端从元数据存储服务器获得最新的元数据，并根据所述最新的元数据为所述用户返回数据；如果所述数据处理请求为写操作请求，则所述前端根据所述数据处理请求对所述前端中存储的元数据和所述元数据存储服务器的元数据进行写更新。
[0005]在一些可能的实现方式中，所述前端从元数据存储服务器获得最新的元数据，包括：所述前端读取所述元数据存储服务器的日志序列；根据所述日志序列确认日志增量；根据所述日志增量获得最新的元数据。
[0006]在一些可能的实现方式中，所述根据所述数据处理请求对所述前端中存储的元数据和所述元数据存储服务器的元数据进行写更新，包括：根据所述数据处理请求生成改动的数据项；生成可执行的日志发送给所述元数据存储服务器，以使所述元数据存储服务器根据所述可执行的日志对所述元数据存储服务器的元数据进行写更新；根据所述改动的数据项更新所述前端中存储的元数据以及日志序列。
[0007]在一些可能的实现方式中，所述方法还包括：所述前端接收所述元数据存储服务器的更新响应；如果所述更新响应为更新成功，本次更新操作完成；如果所述更新响应为版本号错误，所述前端根据所述更新响应重新更新所述前端中元数据的版本号，并将更新后的版本号发送至所述元数据存储服务器。
[0008]在一些可能的实现方式中，所述方法还包括：所述前端每隔预设周期从所述元数
据存储服务器获取当前最新版本号；比较所述前端存储的元数据的版本号与当前最新版本号，如果所述前端存储的元数据的版本号低于当前最新版本号，所述前端从所述元数据存储服务器获取增量更新日志，根据所述增量更新日志更新所述前端存储的元数据和版本号。
[0009]在一些可能的实现方式中，所述前端接收所述元数据存储服务器的元数据更新通知；根据所述元数据更新通知从所述元数据存储服务器获取增量更新日志，根据所述增量更新日志更新所述前端存储的元数据和版本号。
[0010]本申请实施例还提供了一种前端，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如以上任意一项所述的数据处理方法的步骤。
[0011]本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上任意一项所述的数据处理方法的步骤。
[0012]本申请实施例还提供了一种前端，包括数据存储模块、请求接收模块和请求处理模块，其中：所述数据存储模块，用于存储元数据及其对应的版本号；所述请求接收模块，用于接收用户的数据处理请求；所述请求处理模块，用于当所述数据处理请求为读操作请求时，确定所述元数据的版本号是否符合所述数据处理请求；如果符合，根据所述前端中存储的元数据为所述用户返回数据；如果不符合，从元数据存储服务器获得最新的元数据，并根据所述最新的元数据为所述用户返回数据；当所述数据处理请求为写操作请求时，根据所述数据处理请求对所述前端中存储的元数据和所述元数据存储服务器的元数据进行写更新。
[0013]在一些可能的实现方式中，所述请求处理模块根据所述数据处理请求对所述前端中存储的元数据和所述元数据存储服务器的元数据进行写更新，包括：根据所述数据处理请求生成改动的数据项；生成可执行的日志发送给所述元数据存储服务器，以使所述元数据存储服务器根据所述可执行的日志对所述元数据存储服务器的元数据进行写更新；根据所述改动的数据项更新所述前端中存储的元数据以及日志序列。
[0014]本申请实施例提供的数据处理方法及前端、计算机可读存储介质，通过为元数据设置版本号并根据版本号处理用户的数据处理请求，使得多个前端可以并发处理用户的读写操作请求，提升了分布式系统的扩展性。
[0015]本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
[0016]附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
[0017]图1为相关技术中的一种元数据管理系统的结构示意图；
[0018]图2为相关技术中的另一种元数据管理系统的结构示意图；
[0019]图3为本申请实施例的一种数据处理方法的流程示意图；
[0020]图4为本申请实施例的一种数据处理系统的结构示意图；
[0021]图5为本申请实施例的一种读操作请求的处理过程示意图；
[0022]图6为本申请实施例的一种前端的结构示意图；
[0023]图7为本申请实施例的一种元数据管理系统的应用场景示意图。
具体实施方式
[0024]本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
[0025]本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的专利技术方案。任何实施例的任何特征或元件也可以与来自其它专利技术方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：前端接收到用户的数据处理请求，所述前端中存储有元数据及其对应的版本号；如果所述数据处理请求为读操作请求，所述前端确定所述元数据的版本号是否符合所述数据处理请求；如果符合，则所述前端根据所述前端中存储的元数据为所述用户返回数据；如果不符合，则所述前端从元数据存储服务器获得最新的元数据，并根据所述最新的元数据为所述用户返回数据；如果所述数据处理请求为写操作请求，则所述前端根据所述数据处理请求对所述前端中存储的元数据和所述元数据存储服务器的元数据进行写更新。2.根据权利要求1所述的方法，其特征在于，所述前端从元数据存储服务器获得最新的元数据，包括：所述前端读取所述元数据存储服务器的日志序列；所述前端根据所述日志序列确认日志增量；所述前端根据所述日志增量获得最新的元数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述数据处理请求对所述前端中存储的元数据和所述元数据存储服务器的元数据进行写更新，包括：根据所述数据处理请求生成改动的数据项；生成可执行的日志发送给所述元数据存储服务器，以使所述元数据存储服务器根据所述可执行的日志对所述元数据存储服务器的元数据进行写更新；根据所述改动的数据项更新所述前端中存储的元数据以及日志序列。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：所述前端接收所述元数据存储服务器的更新响应；如果所述更新响应为更新成功，本次更新操作完成；如果所述更新响应为版本号错误，所述前端根据所述更新响应重新更新所述前端中元数据的版本号，并将更新后的版本号发送至所述元数据存储服务器。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述前端每隔预设周期从所述元数据存储服务器获取当前最新版本号；比较所述前端存储的元数据的版本号与当前最新版本号，如果所述前端存储的元数据的版本号低于当前最新版本号，所...

【专利技术属性】
技术研发人员：张露，夏晨，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：