数据合并方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种数据合并方法、装置、电子设备及存储介质。该方法包括：获取数据文件包含的多个数据块，并分别获取多个数据块中的每个数据块的访问频率；基于每个数据块的访问频率从该多个数据块中确定多个目标数据块，将该多个目标数据块进行合并。本申请通过每个数据块的访问频率选取符合条件的数据块进行合并，从而降低系统的资源消耗，提升系统性能。

Data consolidation method, device, electronic equipment and storage medium

【技术实现步骤摘要】
数据合并方法、装置、电子设备及存储介质
本申请涉及数据库
，更具体地，涉及一种数据合并方法、装置、电子设备及存储介质。
技术介绍
近年来,写密集型应用程序越来越普遍。写密集型应用程序的特点是中央处理器消耗很少，任务的大部分时间在等待写操作完成，故写密集型应用程序的工作负载主要是写操作开销，如何有效地处理这种工作负载是数据库系统领域深入研究方向之一。为了处理这种工作负载，日志即数据的架构应运而生。然而，通过日志即数据的架构虽能够减少写操作开销，但随着而来的一个问题是读操作变得困难。
技术实现思路
本申请实施例提出了一种数据合并方法、装置、电子设备及存储介质，以解决合并操作资源消耗大的问题。第一方面，本申请实施例提供了一种数据合并方法，该方法包括：获取数据文件包含的多个数据块，并分别获取多个数据块中的每个数据块的访问频率；基于每个数据块的访问频率从多个数据块中确定多个目标数据块；将多个目标数据块进行合并。第二方面，本申请实施例提供了一种数据合并装置，该装置包括：频率获取模块，用于获取数据文件包含的多个数据块本文档来自技高网...

【技术保护点】
1.一种数据合并方法，其特征在于，所述方法包括：/n获取数据文件包含的多个数据块，并分别获取所述多个数据块中的每个数据块的访问频率；/n基于所述每个数据块的访问频率从所述多个数据块中确定多个目标数据块；/n将所述多个目标数据块进行合并。/n

【技术特征摘要】
1.一种数据合并方法，其特征在于，所述方法包括：
获取数据文件包含的多个数据块，并分别获取所述多个数据块中的每个数据块的访问频率；
基于所述每个数据块的访问频率从所述多个数据块中确定多个目标数据块；
将所述多个目标数据块进行合并。


2.根据权利要求1所述的方法，其特征在于，所述基于所述每个数据块的访问频率从所述多个数据块中确定多个目标数据块，包括：
分别判断所述每个数据块的访问频率是否大于预设访问频率，获得判断结果；
基于所述判断结果从所述多个数据块中确定所述多个目标数据块，其中，所述多个目标数据块的访问频率大于所述预设访问频率。


3.根据权利要求2所述的方法，其特征在于，所述基于所述判断结果从所述多个数据块中确定所述多个目标数据块，包括：
基于所述判断结果从所述多个数据块中获取多个第一数据块，其中，所述多个第一数据块的访问频率大于所述预设访问频率；
计算所述多个第一数据块中的每两个第一数据块的访问频率的差值，获得第一计算结果；
基于所述第一计算结果从所述多个第一数据块中确定所述多个目标数据块，其中，所述多个目标数据块中的每两个目标数据块的访问频率的差值小于预设差值。


4.根据权利要求1所述的方法，其特征在于，所述基于所述每个数据块的访问频率从所述多个数据块中确定多个目标数据块，包括：
分别判断所述每个数据块的访问频率是否大于预设访问频率，获得判断结果；
基于所述判断结果从所述多个数据块中获取多个第二数据块，其中，所述多个第二数据块中的部分第二数据块的访问频率大于所述预设访问频率；
计算所述多个第二数据块中的每两个第二数据块的访问频率的差值，获得第二计算结果；
基于所述第二计算结果从所述多个第二数据块中确定所述多个目标数据块，其中，所述多个目标数据块中的每两个目标数据块的访问频率的差值小于预设差值，且所述多个目标数据块中包括访问频率大于预设访问频率的第二数据块。


5.根据权利要求2-4任一项所述...

【专利技术属性】
技术研发人员：朱阅岸，林正显，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：广东;44