本申请实施例公开了一种数据存储的方法、相关装置及设备，用于避免数据存储的资源浪费。本申请实施例方法包括：获取待传输数据，根据目标数据类型，对待传输数据进行分片处理，得到K个分片数据以及每个分片数据所对应的实际存储量，根据每个分片数据所对应的实际存储量，为每个分片数据分配预设存储量，若历史存储记录中存在每个分片数据的数据标签，则确定每个分片数据的存储地址，历史存储记录包括在历史时间内数据标签与存储地址之间的映射关系，根据每个分片数据的存储地址，向服务器发送资源创建请求，以使服务器为每个分片数据创建与预设存储量匹配的存储资源，向服务器发送K个分片数据，以使服务器存储K个分片数据。以使服务器存储K个分片数据。以使服务器存储K个分片数据。
【技术实现步骤摘要】
一种数据存储的方法、相关装置及设备
[0001]本申请实施例涉及数据处理
，尤其涉及一种数据存储的方法、相关装置及设备。
技术介绍
[0002]随着计算机和互联网技术的快速发展，互联网发展越来越快，每天产生的数据量越来越大，为了避免网络崩溃，人们可以通过分布式存储集群技术对数据进行处理。分布式存储集群是将多个存储服务器构建网络拓扑，形成存储服务器集群，在存储服务器集群中通过相关算法提供数据的读取、写入以及落盘功能，分布式存储集群是利用多台存储服务器分担存储负荷。
[0003]现有的基于分布式存储集群技术对数据进行处理，是通过预先固定分配可存储的磁盘空间，然后通过网络使用存储服务器集群中每台机器上的分配好的磁盘空间，将接收到的数据，按照固定分配可存储的磁盘空间进行存储，但是，由于接收到的数据的大小是不可控的，就容易出现磁盘空间分配不合理的情况，从而导致磁盘空间的资源浪费或数据无法顺利存储。
技术实现思路
[0004]本申请实施例提供了一种数据存储的方法、相关装置及设备，用于通过对待传输数据进行分片处理，将数据量大的待传输数据划分为K个数据量小的分片数据进行分散传输，以减少数据存储负荷，并能够通过为每个分片数据分配预设存储量，以使服务器为每个分片数据创建与预设存储量匹配的存储资源，来存储K个分片数据，避免资源浪费。
[0005]本申请实施例一方面提供了一种数据存储的方法，包括：
[0006]获取待传输数据，其中，待传输数据携带有目标数据类型，目标数据类型为时间类型或文件类型；
[0007]根据目标数据类型，对待传输数据进行分片处理，得到K个分片数据以及每个分片数据所对应的实际存储量，其中，每个分片数据对应于一个数据标签，K为大于1的整数；
[0008]根据每个分片数据所对应的实际存储量，为每个分片数据分配预设存储量，其中，预设存储量大于或等于对应的实际存储量；
[0009]若历史存储记录中存在每个分片数据的数据标签，则确定每个分片数据的存储地址，其中，历史存储记录包括在历史时间内数据标签与存储地址之间的映射关系；
[0010]根据每个分片数据的存储地址，向服务器发送资源创建请求，以使服务器为每个分片数据创建与预设存储量匹配的存储资源，其中，资源创建请求携带分片数据的预设存储量；
[0011]向服务器发送K个分片数据，以使服务器存储K个分片数据。
[0012]本申请另一方面提供了一种数据存储的装置，包括：
[0013]获取单元，用于获取待传输数据，其中，待传输数据携带有目标数据类型，目标数
据类型为时间类型或文件类型；
[0014]处理单元，用于根据目标数据类型，对待传输数据进行分片处理，得到K个分片数据以及每个分片数据所对应的实际存储量，其中，每个分片数据对应于一个数据标签，K为大于1的整数；
[0015]处理单元，还用于根据每个分片数据所对应的实际存储量，为每个分片数据分配预设存储量，其中，预设存储量大于或等于对应的实际存储量；
[0016]确定单元，用于若历史存储记录中存在每个分片数据的数据标签，则确定每个分片数据的存储地址，其中，历史存储记录包括在历史时间内数据标签与存储地址之间的映射关系；
[0017]处理单元，还用于根据每个分片数据的存储地址，向服务器发送资源创建请求，以使服务器为每个分片数据创建与预设存储量匹配的存储资源，其中，资源创建请求携带分片数据的预设存储量；
[0018]处理单元，还用于向服务器发送K个分片数据，以使服务器存储K个分片数据。
[0019]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，
[0020]处理单元，还用于若历史存储记录中不存在分片数据的数据标签，则向服务器发送地址分配请求，以使服务器根据地址分配请求为分片数据分配对应的存储地址；
[0021]接收单元，用于接收服务器发送的地址分配响应，其中，地址分配响应携带为分片数据分配的存储地址。
[0022]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，处理单元具体可以用于：
[0023]根据每个分片数据的数据标签，确定每个分片数据的传输标识，其中，传输标识用于指示分片数据的传输次序；
[0024]对每个分片数据的传输标识进行排列，得到数据传输序列，其中，数据传输序列包括K个降序排列或升序排列的传输标识；
[0025]按照数据传输序列依次向服务器发送K个分片数据。
[0026]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，
[0027]接收单元，还用于接收服务器依次发送的K段存储进度，其中，一个分片数据对应一段存储进度；
[0028]处理单元，还用于按照数据传输序列依次向客户端发送K段存储进度，以使客户端显示K段存储进度。
[0029]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，获取单元具体可以用于：
[0030]接收客户端发送的数据上传请求，其中，数据上传请求携带目标数据类型；
[0031]响应数据上传请求，获取待处理数据；
[0032]根据目标数据类型，对待处理数据进行数据转换，得到待传输数据。
[0033]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，获取单元具体可以用于：
[0034]若目标数据类型为时间类型，则将待处理数据转换为时间
‑
数据值格式的待传输数据；
[0035]若目标数据类型为文件类型，则将待处理数据转换为文件名称
‑
文件对象格式的待传输数据。
[0036]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，
[0037]接收单元，还用于接收客户端发送的第一读取请求，其中，第一读取请求携带数据读取范围；
[0038]确定单元，还用于响应第一读取请求，根据数据读取范围确定T个数据标签，其中，T为大于或等于1，且小于或等于K的整数；
[0039]确定单元，还用于根据历史存储记录，确定T个数据标签中每个数据标签所对应的存储地址；
[0040]处理单元，还用于根据每个数据标签所对应的存储地址，向服务器发送第二读取请求，以使服务器响应第二读取请求，获取T个分片数据；
[0041]接收单元，还用于接收服务器发送的T个分片数据。
[0042]本申请另一方面提供了一种计算机设备，包括：存储器、收发器、处理器以及总线系统；
[0043]其中，存储器用于存储程序；
[0044]处理器用于执行存储器中的程序时实现如上述各方面的方法；
[0045]总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。
[0046]本申请的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
[0047]本申请的另一个方面，提供了一种本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据存储的方法，其特征在于，包括：获取待传输数据，其中，所述待传输数据携带有目标数据类型，所述目标数据类型为时间类型或文件类型；根据所述目标数据类型，对所述待传输数据进行分片处理，得到K个分片数据以及每个分片数据所对应的实际存储量，其中，每个分片数据对应于一个数据标签，所述K为大于1的整数；根据所述每个分片数据所对应的实际存储量，为所述每个分片数据分配预设存储量，其中，所述预设存储量大于或等于对应的所述实际存储量；若历史存储记录中存在所述每个分片数据的数据标签，则确定所述每个分片数据的存储地址，其中，所述历史存储记录包括在历史时间内数据标签与存储地址之间的映射关系；根据所述每个分片数据的存储地址，向服务器发送资源创建请求，以使所述服务器为所述每个分片数据创建与预设存储量匹配的存储资源，其中，所述资源创建请求携带分片数据的预设存储量；向所述服务器发送所述K个分片数据，以使所述服务器存储所述K个分片数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述历史存储记录中不存在分片数据的数据标签，则向所述服务器发送地址分配请求，以使所述服务器根据所述地址分配请求为所述分片数据分配对应的存储地址；接收所述服务器发送的地址分配响应，其中，所述地址分配响应携带为所述分片数据分配的存储地址。3.根据权利要求1所述的方法，其特征在于，所述向所述服务器发送所述K个分片数据，包括：根据所述每个分片数据的数据标签，确定所述每个分片数据的传输标识，其中，所述传输标识用于指示分片数据的传输次序；对所述每个分片数据的传输标识进行排列，得到数据传输序列，其中，所述数据传输序列包括K个降序排列或升序排列的传输标识；按照所述数据传输序列依次向所述服务器发送所述K个分片数据。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：接收所述服务器依次发送的K段存储进度，其中，一个分片数据对应一段存储进度；按照所述数据传输序列依次向客户端发送所述K段存储进度，以使所述客户端显示所述K段存储进度。5.根据权利要求1所述的方法，其特征在于，所述获取待传输数据，包括：接收客户端发送的数据上传请求，其中，所述数据上传请求携带所述目标数据类型；响应所述数据上传请求，获取待处理数据；根据所述目标数据类型，对所述待处理数据进行数据转换，得到所述待传输数据。6.根据权利要求5所述的方法，其特征在于，所述根据所述目标数据类型，对所述待处理数据进行数据转换，得到所述待传输数据，包括：...
【专利技术属性】
技术研发人员：曾加，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。