分布式数据库的编码方法、装置、电子设备、系统及介质制造方法及图纸

技术编号:36567874 阅读:26 留言:0更新日期:2023-02-04 17:24
本发明专利技术公开了一种分布式数据库的编码方法、装置、电子设备、系统及介质,方法包括:确定数据获取请求的待获取数据的数据信息和第一编码格式;根据所述数据信息确定与所述待获取数据对应的至少一个中间数据的第二编码格式;向存储节点发送中间数据获取指令,并接收所述存储节点基于所述中间数据获取指令返回的中间数据,所述中间数据获取指令用于指示所述存储节点返回具有第二编码格式的所述中间数据;采用所述第一编码格式对所述中间数据进行编码,得到所述待获取数据,并发送所述待获取数据至所述客户端。该方法采用所述第一编码格式对所述中间数据进行编码,得到待获取数据,能够在无需修改系统协议的基础上,满足客户端不同场景的数据请求。同场景的数据请求。同场景的数据请求。

【技术实现步骤摘要】
分布式数据库的编码方法、装置、电子设备、系统及介质


[0001]本专利技术涉及数据库
,尤其涉及一种分布式数据库的编码方法、装置、电子设备、系统及介质。

技术介绍

[0002]当前分布式数据库依据侧重点的不同,往往采用单一编码,如在线事务处理(OLTP)数据库通常采用行式编码,在线分析处理(OLAP)数据库通常采用列式编码。然而单一编码并不能高效地应对事务处理与分析查询混合的场景。
[0003]现有的技术方案将数据存储为行式编码和列式编码两种格式,导致整个系统的存储使用量翻倍,且需要复杂的并发控制及复制协议以支持数据多副本的一致性。

技术实现思路

[0004]本专利技术提供了一种分布式数据库的编码方法、装置、电子设备、系统及介质,以在无需修改系统协议基础上,满足客户端不同场景的数据请求。
[0005]根据本专利技术的一方面,提供了一种分布式数据库的编码方法,应用于所述分布式数据库的计算节点,所述方法包括:
[0006]当接收到客户端发送的数据获取请求时,确定所述数据获取请求的待获取数据的数据信息和第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据库的编码方法,其特征在于,应用于所述分布式数据库的计算节点,所述方法包括:当接收到客户端发送的数据获取请求时,确定所述数据获取请求的待获取数据的数据信息和第一编码格式;根据所述数据信息确定与所述待获取数据对应的至少一个中间数据的第二编码格式;向存储节点发送中间数据获取指令,并接收所述存储节点基于所述中间数据获取指令返回的中间数据,所述中间数据获取指令用于指示所述存储节点返回具有第二编码格式的所述中间数据;采用所述第一编码格式对所述中间数据进行编码,得到所述待获取数据,并发送所述待获取数据至所述客户端。2.根据权利要求1所述的方法,其特征在于,针对每一个中间数据,所述中间数据中包含至少一个中间数据块,所述至少一个中间数据块采用与所述第二编码格式中的相同或不同子编码格式进行编码。3.根据权利要求1所述的方法,其特征在于,所述根据所述数据信息确定与所述待获取数据对应的至少一个中间数据的第二编码格式,包括:针对每一个中间数据,估算所述中间数据的数据大小;如果所述数据大小大于或等于第一数据大小阈值,则确定所述中间数据的第二编码格式为列式编码格式;如果所述数据大小小于预设数据大小阈值,则确定所述中间数据的第二编码格式为行式编码格式。4.根据权利要求1所述的方法,其特征在于,在所述采用所述第一编码格式对所述中间数据进行编码,得到所述待获取数据之前,还包括:将目标中间数据的编码格式转换为所述第一编码格式,所述目标中间数据为所采用的编码格式不为所述第一编码格式的中间数据。5.一种分布式数据库的编码方法,其特征在于,应用于所述分布式数据库的存储节点,所述方法包括:接收计算节点发送的中间数据获取指令,所述中间数据获取指令用于指示返回具有第二编码格式的中间数据;基于所述第二编码格式和所述存储节点的存储类型获取所述中间数据,并将所述中间数据发送至所述计算节点,所述存储类型为行式存储或者列式存储。6.根据权利要求5所述的方法,其特征在于,所述基于所述第二编码格式和所述存储节点的存储类型获取所述中间数据,包括:如果所述第二编码格式和所述存储节点的存储类型相对应,则获取所述存储节点中存储的目标数据,作为所述中间数据;如果所述第二编码格式和所述存储节点的存储类型不对应,则获取所述存储节点中存储的目标数据,将所述中间数据的编码格式转换为所述第二编码格式,并将转换后的目标数据作为所述中间数据;其中,所述目标数据与所述中间数据获取指令对应。7.根据权利要求5所述的方法,其特征在于,所述将所述中间数据发送至所述计算节
点,包括:如果所述中间数据的数据大小大于第二数据大小阈值,则按照所述中间数据的数据大小,将所述中间数据切分为至少两个中间数据块,并将所述至少两个中间数据块发送至所述计算节点;如果所述中间...

【专利技术属性】
技术研发人员:姜哲
申请(专利权)人:星环信息科技上海股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1