基于分布式数据库制造技术

本公开的实施例公开了一种基于分布式数据库

【技术实现步骤摘要】
基于分布式数据库Apache Hudi表格式数据操作指令的执行方法


[0001]本公开的实施例涉及计算机
，具体涉及一种基于分布式数据库
APACHE HUDI
表格式数据操作指令的执行方法
、
装置
、
电子设备和计算机可读介质
。

技术介绍

[0002]信息推送，又称为“网络广播”，是通过一定的技术标准或协议，在互联网上通过推送用户需要的信息来减少信息过载的一项技术
。
信息推送技术通过主动基于分布式数据库
APACHE HUDI
表格式数据操作指令的执行给用户，可以减少用户在网络上搜索所花的时间
。
[0003]相关的信息推送方式通常是在网页上直接加载各种基于分布式数据库
APACHE HUDI
表格式数据操作指令的执行，这些基于分布式数据库
APACHE HUDI
表格式数据操作指令的执行与所在网页的内容有明显的差异
。

技术实现思路

[0004]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述
。
本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围
。
[0005]本公开的一些实施例提出了一种基于分布式数据库
APACHE HUDI
表格式数据操作指令的执行方法
、
装置
、
电子设备和计算机可读介质，来解决以上
技术介绍
部分提到的技术问题
。
[0006]第一方面，本公开的一些实施例提供了一种基于分布式数据库
APACHE HUDI
表格式数据操作指令的执行方法，该方法包括：获取针对
Apache Hudi
表格式的目标数据的操作指令，其中，上述操作指令包括更改指令和
/
或读取指令；响应于确定上述操作指令为读取指令，按照读取步骤执行读取执行计划：根据上述读取指令确定目标数据；根据上述读取指令从分布式数据库中确定可见数据文件以及从上述可见数据文件中确定上述读取指令对应的查询范围；对上述查询范围内的可见数据文件进行裁剪，得到待读取数据文件；根据上述读取指令从上述待读取数据文件中读取目标数据；将上述目标数据作为上述读取执行计划的执行回执；响应于确定上述操作指令为更改指令，按照更改步骤执行更改执行计划：根据上述更改指令确定更改数据；根据上述更改指令和上述更改数据对上述分布式数据库中的目标数据文件进行更改；根据上述更改数据和上述更改指令，在上述目标数据文件的提交记录文件中加入上述目标数据文件的统计信息和上述目标数据文件的文件信息；将上述提交记录文件作为上述更改执行计划的执行回执；返回上述读取执行计划的执行回执和
/
或上述更改执行计划的执行回执
。
[0007]第二方面，本公开的一些实施例提供了一种基于分布式数据库
APACHE HUDI
表格式数据操作指令的执行装置，装置包括：获取单元，被配置成获取针对
Apache Hudi
表格式的目标数据的操作指令，其中，上述操作指令包括更改指令和
/
或读取指令；读取单元，被配
置成响应于确定上述操作指令为读取指令，按照读取步骤执行读取执行计划：根据上述读取指令确定目标数据；根据上述读取指令从分布式数据库中确定可见数据文件以及从上述可见数据文件中确定上述读取指令对应的查询范围；对上述查询范围内的可见数据文件进行裁剪，得到待读取数据文件；根据上述读取指令从上述待读取数据文件中读取目标数据；将上述目标数据作为上述读取执行计划的执行回执；更改单元，被配置成响应于确定上述操作指令为更改指令，按照更改步骤执行更改执行计划：根据上述更改指令确定更改数据；根据上述更改指令和上述更改数据对上述分布式数据库中的目标数据文件进行更改；根据上述更改数据和上述更改指令，在上述目标数据文件的提交记录文件中加入上述目标数据文件的统计信息和上述目标数据文件的文件信息；将上述提交记录文件作为上述更改执行计划的执行回执；返回单元，被配置成返回上述读取执行计划的执行回执和
/
或上述更改执行计划的执行回执
。
[0008]第三方面，本申请实施例提供了一种电子设备，该网络设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法
。
[0009]第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法
。
[0010]本公开的上述各个实施例中的一个实施例具有如下有益效果：通过使用
c/c++
的方式实现
hudi
表格式的读写，提升表格式的读写性能和更改性能，能够支持没有主键列的用户表，支持长事务，可以控制所有场景下的内存用量，读写的资源占用不超过用户指定的限制，从而达到更优并发读写上限
。
附图说明
[0011]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征
、
优点及方面将变得更加明显
。
贯穿附图中，相同或相似的附图标记表示相同或相似的元素
。
应当理解附图是示意性的，元件和元素不一定按照比例绘制
。
[0012]图1是根据本公开的一些实施例的基于分布式数据库
APACHE HUDI
表格式数据操作指令的执行方法的一个应用场景的示意图；图2是根据本公开的基于分布式数据库
APACHE HUDI
表格式数据操作指令的执行方法的一些实施例的流程图；图3是根据本公开的基于分布式数据库
APACHE HUDI
表格式数据操作指令的执行装置的一些实施例的结构示意图；图4是适于用来实现本公开的一些实施例的电子设备的结构示意图
。
具体实施方式
[0013]下面将参照附图更详细地描述本公开的实施例
。
虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例
。
相反，提供这些实施例是为了更加透彻和完整地理解本公开
。
应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围
。
[0014]另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分
。
在
不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合
。
[0015]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置
、...

【技术保护点】

【技术特征摘要】
1.
一种基于分布式数据库
Apache Hudi
表格式数据操作指令的执行方法，包括：获取针对
Apache Hudi
表格式的目标数据的操作指令，其中，所述操作指令包括更改指令和
/
或读取指令；响应于确定所述操作指令为读取指令，按照读取步骤执行读取执行计划：根据所述读取指令确定目标数据；根据所述读取指令从分布式数据库中确定可见数据文件以及从所述可见数据文件中确定所述读取指令对应的查询范围；对所述查询范围内的可见数据文件进行裁剪，得到待读取数据文件；根据所述读取指令从所述待读取数据文件中读取目标数据；将所述目标数据作为所述读取执行计划的执行回执；响应于确定所述操作指令为更改指令，按照更改步骤执行更改执行计划：根据所述更改指令确定更改数据；根据所述更改指令和所述更改数据对所述分布式数据库中的目标数据文件进行更改；根据所述更改数据和所述更改指令，在所述目标数据文件的提交记录文件中加入所述目标数据文件的统计信息和所述目标数据文件的文件信息；将所述提交记录文件作为所述更改执行计划的执行回执；返回所述读取执行计划的执行回执和
/
或所述更改执行计划的执行回执
。2.
根据权利要求1所述的方法，其特征在于，所述更改步骤还包括：响应于确定所述更改数据为无主键表，将所述更改数据的节点编号和节点插入行数以及所述读取指令的时间戳拼接为
16
字节的字符串；将所述字符串转码为
22
字节，并将转码后的字符串作为所述更改数据的主键
。3.
根据权利要求1所述的方法，其特征在于，所述对所述查询范围内的可见数据文件进行裁剪，得到待读取数据文件，包括：响应于确定所述可见数据文件的增量修改比例达到阈值，将所述可见数据文件中的基础数据文件和增量数据文件进行合并，得到待读取数据文件；响应于确定所述可见数据文件的重合度达到阈值，根据所述查询指令对所述可见数据文件进行裁剪，得到待读取数据文件
。4.
根据权利要求1所述的方法，其特征在于，所述根据所述读取指令从分布式数据库中确定可见数据文件以及从所述可见数据文件中确定所述读取指令对应的查询范围，包括：确定所述读取指令针对的目标数据文件；根据所述目标数据文件的提交记录文件确定所述目标数据文件的可见范围，并将所述可见范围作为所述读取指令对应的查询范围
。5.
根据权利要求4所述的方法，其特征在于，所述方法还包括：响应于确定所述目标数据文件对应的提交记录文件数量超过阈...

【专利技术属性】
技术研发人员：邝金清，陶征霖，常雷，姚佳丽，霍瑞龙，刘大伟，宋宜旭，
申请(专利权)人：北京偶数科技有限公司，
类型：发明
国别省市：