数据存储方法、数据读取方法以及数据存储系统技术方案

本说明书实施例提供数据存储方法、数据读取方法以及数据存储系统，其中数据存储方法应用于数据存储系统中的计算节点，数据存储系统包括至少一个计算节点和共享存储器，至少一个计算节点上部署有本地存储器，共享存储器与至少一个计算节点通过网络连接；方法包括：获取目标存储数据；将目标存储数据存储至本地存储器和共享存储器；在本地存储器的已占用存储空间达到预设存储条件的情况下，释放本地存储器的已占用存储空间。通过将目标存储数据存储至本地存储器和共享存储器，无需在进行数据存储前，提前部署大量的计算节点来存储数据，降低成本；对本地存储器的已占用存储空间进行释放，使得本地存储器的存储空间不被占满。使得本地存储器的存储空间不被占满。使得本地存储器的存储空间不被占满。

【技术实现步骤摘要】
数据存储方法、数据读取方法以及数据存储系统


[0001]本说明书实施例涉及计算机
，特别涉及一种数据存储方法。

技术介绍

[0002]随着科学技术的发展，越来越多的技术平台和应用层出不穷。在这些技术平台和应用运行的过程中，会产生海量的日志数据，这些日志数据可以帮助用户进行问题排查、数据分析等。日志数据的存储取决于任务需求，为了对日志数据进行存储，需要提前部署大量的计算节点来存储日志数据，导致成本较高；在计算节点存在数据迁移的需求，且新的数据需要进行存储时，有可能会存在计算节点的存储空间被占满的情况，从而导致新的数据不能及时进行存储，例如，对于将热数据和冷数据分别存储至不同的计算节点的情况，当存储于热节点的热数据的数据状态发生变化成为冷数据，需要将变化的冷数据迁移至用于存储冷数据的冷节点，在数据迁移完成之前，需要进行存储至热节点的新数据则不能及时进行存储。
[0003]因此，亟需一种方法解决上述出现的技术问题。

技术实现思路

[0004]有鉴于此，本说明书实施例提供了一种数据存储方法、一种日志数据存储方法、一种数据读取方法、一种日志数据读取方法以及一种数据存储系统。本说明书一个或者多个实施例同时涉及一种数据存储装置、一种数据读取装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0005]根据本说明书实施例的第一方面，提供了一种数据存储方法，应用于数据存储系统中的计算节点，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；所述方法包括：
[0006]获取目标存储数据；
[0007]将所述目标存储数据存储至所述本地存储器和所述共享存储器；
[0008]在所述本地存储器的已占用存储空间达到预设存储条件的情况下，释放所述本地存储器的已占用存储空间。
[0009]根据本说明书实施例的第二方面，提供了一种数据存储装置，应用于数据存储系统中的计算节点，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；所述装置包括：
[0010]获取模块，被配置为获取目标存储数据；
[0011]存储模块，被配置为将所述目标存储数据存储至所述本地存储器和所述共享存储器；
[0012]释放模块，被配置为在所述本地存储器的已占用存储空间达到预设存储条件的情
况下，释放所述本地存储器的已占用存储空间。
[0013]根据本说明书实施例的第三方面，提供了一种日志数据存储方法，应用于数据存储系统，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；所述方法包括：
[0014]所述计算节点获取用户客户端发送的目标日志数据，将所述目标日志数据存储至所述本地存储器和所述共享存储器；
[0015]所述共享存储器接收并存储所述目标日志数据；
[0016]所述计算节点在所述本地存储器的已占用存储空间达到预设存储条件的情况下，释放所述本地存储器的已占用存储空间，并向所述用户客户端发送存储完成提示信息。
[0017]根据本说明书实施例的第四方面，提供了一种日志数据存储装置，应用于数据存储系统，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；所述装置包括：
[0018]日志数据获取模块，被配置为所述计算节点获取用户客户端发送的目标日志数据，将所述目标日志数据存储至所述本地存储器和所述共享存储器；
[0019]日志数据存储模块，被配置为所述共享存储器接收并存储所述目标日志数据；
[0020]存储空间释放模块，被配置为所述计算节点在所述本地存储器的已占用存储空间达到预设存储条件的情况下，释放所述本地存储器的已占用存储空间，并向所述用户客户端发送存储完成提示信息。
[0021]根据本说明书实施例的第五方面，提供了一种数据读取方法，应用于数据存储系统中的计算节点，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；所述方法包括：
[0022]响应于数据读取请求，在本地存储器中读取目标数据；
[0023]在所述本地存储器中未读取到所述目标数据的情况下，在所述共享存储器中读取所述目标数据。
[0024]根据本说明书实施例的第六方面，提供了一种数据读取装置，应用于数据存储系统中的计算节点，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；所述装置包括
[0025]本地读取模块，被配置为响应于数据读取请求，在本地存储器中读取目标数据；
[0026]共享读取模块，被配置为在所述本地存储器中未读取到所述目标数据的情况下，在所述共享存储器中读取所述目标数据。
[0027]根据本说明书实施例的第七方面，提供了一种日志数据读取方法，应用于数据存储系统，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；所述方法包括：
[0028]所述计算节点响应于用户客户端发送的数据读取请求，在本地存储器中读取目标
日志数据，在所述本地存储器中未读取到所述目标日志数据的情况下，在所述共享存储器中读取所述目标日志数据；
[0029]所述共享存储器将所述目标日志数据发送至所述计算节点；
[0030]所述计算节点将所述目标日志数据反馈至所述用户客户端。
[0031]根据本说明书实施例的第八方面，提供了一种日志数据读取装置，应用于数据存储系统，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；所述装置包括：
[0032]日志数据读取模块，被配置为所述计算节点响应于用户客户端发送的数据读取请求，在本地存储器中读取目标日志数据，在所述本地存储器中未读取到所述目标日志数据的情况下，在所述共享存储器中读取所述目标日志数据；
[0033]日志数据发送模块，被配置为所述共享存储器将所述目标日志数据发送至所述计算节点；
[0034]日志数据反馈模块，被配置为所述计算节点将所述目标日志数据反馈至所述用户客户端。
[0035]根据本说明书实施例的第九方面，提供了一种数据存储系统，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；
[0036]所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，应用于数据存储系统中的计算节点，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；所述方法包括：获取目标存储数据；将所述目标存储数据存储至所述本地存储器和所述共享存储器；在所述本地存储器的已占用存储空间达到预设存储条件的情况下，释放所述本地存储器的已占用存储空间。2.如权利要求1所述的方法，所述本地存储器包括至少一个存储块；将所述目标存储数据存储至所述本地存储器，包括：基于各存储块的大小，对所述目标存储数据进行分割，得到多个子数据；将各子数据分别存储至对应的存储块。3.如权利要求1所述的方法，所述方法还包括：基于预设分割数据大小，对所述目标存储数据进行分割，获得至少一个分割存储数据；基于滑动窗口的宽度，将所述滑动窗口覆盖的分割存储数据存储至所述计算节点的副本节点；响应于所述副本节点的已接收指令，返回执行基于滑动窗口的宽度，将所述滑动窗口覆盖的分割存储数据存储至所述计算节点的副本节点的步骤，直至所述目标存储数据存储完成。4.如权利要求1所述的方法，在所述本地存储器的已占用存储空间达到预设存储条件的情况下，释放所述本地存储器的已占用存储空间，包括：基于预设时间间隔，确定所述本地存储器的存储空间占用率；在所述存储空间占用率达到第一预设存储阈值的情况下，获取所述共享存储器中已存储数据列表；基于所述已存储数据列表，删除所述已占用存储空间中的存储数据。5.如权利要求4所述的方法，所述方法还包括：在删除所述已占用存储空间中存储数据的过程中，检测所述本地存储器的剩余存储空间占用率；在所述剩余存储空间占用率小于或等于第二预设存储阈值的情况下，停止删除所述已占用存储空间中的存储数据。6.如权利要求1所述的方法，在将所述目标存储数据存储至所述共享存储器之前，所述方法还包括：在所述本地存储器的已占用存储空间达到所述本地存储器的存储空间阈值的情况下，将所述目标存储数据存储至所述共享存储器；在所述本地存储器的已占用存储空间未达到所述本地存储器的存储空间阈值的情况下，将所述目标存储数据存储至所述计算节点的副本节点。7.一种数据读取方法，应用于数据存储系统中的计算节点，所述数据存储系统包括至少一个计算节点和共享存储器，所述至少一个计算节点上部署有本地存储器，所述共享存储器与所述至少一个计算节点通过网络连接；所述方法包括：响应于数据读取请求，在本地存储器中读取目标数据；
在所述本地存储器中未读取到所述目标数据的情况下，在所述共享存储器中读取所述目标数据。8.如权利要求7所述的方法，所述本地存储器包括至少一个存储块；在...

【专利技术属性】
技术研发人员：郭嘉梁，罗荣华，吴昊天，赵帅兵，邓万禧，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：