【技术实现步骤摘要】
数据存储方法、装置、设备及存储介质
本申请涉及数据存储
,具体而言,涉及一种数据存储方法、装置、设备及存储介质。
技术介绍
随着互联网的发展及数字化转型的深入,海量数据对存储方式提出了新的要求。为了满足海量数据的存储需求,市场上出现了分布式存储技术。分布式存储是一种数据存储技术,通过网络使用每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在网络中的各个角落。现有技术中,分布式存储采用分布式文件系统(HDFS)最多,适用于大文件、大数据处理,处理数据达到GB、TB、甚至PB级别的数据;适合流式文件访问,一次写入,多次读取。但是对于小文件数据的分存储,这种存储方式就会使得每个数据块都产生磁盘碎片,造成磁盘的浪费。
技术实现思路
本申请的目的在于,针对上述现有技术中的不足,提供一种数据存储方法、装置、设备及存储介质,以解决现有技术中小文件数据的存储过程中,由于每个数据块都产生磁盘碎片,所以造成磁盘浪费的问题。为实现上述目的,本申请实施例采用
【技术保护点】
1.一种数据存储方法,应用于小文件的数据存储,其特征在于,所述方法包括:/n根据数据标识获取对应的数据作为写请求;其中,所述标识用于唯一指示对应的数据;/n将获取的写请求加入节点队列尾部;/n按照预设时间间隔,读取所述节点队列中的队列头部的写请求作为目标写请求;/n将所述目标写请求加入至目标节点。/n
【技术特征摘要】
1.一种数据存储方法,应用于小文件的数据存储,其特征在于,所述方法包括:
根据数据标识获取对应的数据作为写请求;其中,所述标识用于唯一指示对应的数据;
将获取的写请求加入节点队列尾部;
按照预设时间间隔,读取所述节点队列中的队列头部的写请求作为目标写请求;
将所述目标写请求加入至目标节点。
2.如权利要求1所述的方法,其特征在于,所述按照预设时间间隔,读取所述节点队列中的队列头部的写请求作为目标写请求之后,所述方法还包括:
计算所述节点存储区域的剩余空间和当前其他节点的平均存储区域的剩余空间;
若所述节点存储区域的剩余空间大于所述其他节点的平均存储区域剩余空间;则将所述节点存储区域对应的节点作为目标节点。
3.如权利要求1所述的方法,其特征在于,所述将获取的写请求加入节点队列尾部之前,所述方法还包括:
服务器通过预设协议建立与客户端之间的连接,并通过所述连接进行数据的读写;
所述服务器返回给所述客户端每个数据对应的标识,所述标识存储于客户端数据库中,用于客户端读取数据时,指示对应的数据。
4.如权利要求3所述的方法,其特征在于,所述根据数据标识获取对应的数据作为写请求之后,所述方法还包括:
判断所述节点队列是否已满;
若所述节点队列未满,则将获取的所述写请求加入节点队列尾部。
5.如权利要求2所述的方法,其特征在于,若所述节点存储区域的剩余空间小于所述其他节点的平均存储区域剩余空间;则获取所述其他节点中,存储区域的剩余空间最大的节点作为目标节...
【专利技术属性】
技术研发人员:周洋,
申请(专利权)人:中国建设银行股份有限公司,建信金融科技有限责任公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。