一种元数据操作处理方法和装置制造方法及图纸

本发明专利技术公开了一种元数据操作处理方法和装置，涉及数据处理技术领域

【技术实现步骤摘要】
一种元数据操作处理方法和装置


[0001]本专利技术涉及数据处理
，尤其涉及一种元数据操作处理方法和装置
。

技术介绍

[0002]随着企业向数智化转型，在线分析处理系统
(Online Analytical Processing
，简称
OLAP)
的需求呈现爆炸式增长，涌现出许多
OLAP
组件来满足此类需求，如
Kylin(
一个自主知识产权操作系统
)、Druid(
一个高效的数据查询系统
)
和
ClickHouse(
一个开源列式数据库，主要用于数据分析领域
)
等
。
[0003]在
OLAP
中元数据管理是一个重要的部分，元数据指集群的分片和副本信息，用户创建的库
、
表
、
账号等信息，数据文件的信息等，元数据管理即为管理这些元数据的创建
、
变更
、
删除和访问
。
但是目前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种元数据操作处理方法，其特征在于，包括：接收客户端对元数据接口的调用请求，解析所述调用请求得到对元数据的操作参数，基于所述操作参数和元数据生成操作日志；在保存所述操作日志后，将所述操作日志发给从服务器进行保存，以接收每个从服务器返回的保存结果，计算保存结果为成功的服务器占比；响应于所述占比大于或等于预设占比，将所述操作日志提交到状态机，以使得状态机根据所述操作参数操作元数据，并返回操作结果给客户端；其中，状态机用于在处理对元数据的读取请求时，从状态机读取元数据并返回
。2.
根据权利要求1所述的方法，其特征在于，操作参数包括操作类型和操作内容，操作内容包括元数据的键名和键值，所述状态机根据所述操作参数操作元数据，包括：状态机对元数据的键值做哈希处理，得到哈希值，查询哈希表中是否存在所述哈希值；其中，状态机包括元数据键值的哈希表；在操作类型为创建时，若查询结果为存在，则返回创建失败结果给客户端，否则根据所述键名和所述键值创建元数据；或在操作类型为删除时，若查询结果为不存在，则返回删除失败结果给客户端，否则删除与所述键名对应的元数据；或在操作类型为修改时，若查询结果为不存在，则返回修改失败结果给客户端，否则确定与所述键名对应的目标键值，以将所述目标键值替换为所述键值
。3.
根据权利要求2所述的方法，其特征在于，所述状态机根据所述操作参数操作元数据，还包括：更新元数据的状态，在操作类型为新增或修改时，状态包括元数据的最新版本号；其中，确定元数据的最新历史版本号，将所述最新历史版本号和第一预设数值之和，作为元数据的最新版本号
。4.
根据权利要求1‑3中任一项所述的方法，其特征在于，操作日志还包括日志编号；其中，将当前最大日志编号和第二预设数值之和，作为本次日志编号；所述将所述操作日志发给从服务器进行保存，还包括：从服务器在保存所述操作日志时，计算所述日志编号与所述第二预设数值的差值，并确定当前已保存的其他操作日志的最大日志编号；响应于最大日志编号小于所述差值，将位于最大日志编号和所述日志编号之间的操作日志确定为缺失日志；向主服务器发送获取所述缺失日志的请求，以接收主服务器返回的所述缺失日志，按照日志编号从小到大的顺序保存所述缺失日志和所述操作日志
。5.
根据权利要求4所述的方法，其特征在于，主服务器和从服务器将操作日志保存至磁盘，所述方法还包括：响应于对目标服务器的重启操作，从所述目标服务器的磁...

【专利技术属性】
技术研发人员：李海波，吴建超，张晓，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：