数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供了一种数据处理方法、装置、电子设备及存储介质，所述方法包括：客户端对待存储至分布式存储系统的原始数据进行纠删码编码，得到对应的数据块，向分布式存储系统的元数据服务器发送数据上传请求，以得到用于存储数据块的目标存储节点的存储位置信息，基于存储位置信息将数据块存储至目标存储节点。本方案在客户端中对待存储至分布式存储系统的数据进行纠删码处理，得到数据块，直接将数据块存储至分布式存储系统中，相比于现有的分布式存储系统先进行三副本存储，再进行纠删码处理，本方案数据存储所占用的空间更少，且无需维护两份索引，存储成本更低。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
本专利技术涉及数据存储领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
随着分布式存储系统规模的不断扩大，系统可靠性的问题逐渐受到人们的重视，为了防止磁盘数据丢失，提升系统可靠性，分布式存储系统多采用数据冗余技术进行数据存储。现有分布式存储系统的存储方式为：先将数据以多副本的方式写入分布式存储系统的多个存储节点中，待存储一定时间后，再通过纠删码(erasurecoding，下简称EC)技术将副本分成多份数据分布在多个存储节点中。由此可见，利用上述存储方式进行数据存储需要占用较多的存储空间，空间利用率低。
技术实现思路
为了解决现有分布式存储系统的存储方式空间利用率低的技术问题，本专利技术提供了一种数据处理方法、装置、电子设备及存储介质。第一方面，本专利技术实施例提供了一种数据处理方法，应用于客户端，所述方法包括：对待存储的原始数据进行纠删码编码，得到对应的数据块；向分布式存储系统的元数据服务器发送数据上传请求；接收所述元数据服务器基于所述数据上传请求发送的目标存储节点的存储位置信息；基于接收到的所述存储位置信息将所述数据块存储至所述目标存储节点。作为一种可能的实现方式，所述方法还包括：接收所述目标存储节点发送的第一指示消息，所述第一指示消息用于指示所述数据块是否成功写入所述目标存储节点；若每一所述第一指示消息均指示所述数据块成功写入所述目标存储节点，则确定所述原始数据成功存储至所述分布式存储系统；若任意所述第一指示消息指示所述数据块未成功写入所述目标存储节点，则确定所述原始数据未成功存储至所述分布式存储系统。作为一种可能的实现方式，所述若任意所述第一指示消息指示所述数据块未成功写入所述目标存储节点，则确定所述原始数据未成功存储至所述分布式存储系统，包括：若任意所述第一指示消息指示所述数据块未成功写入所述目标存储节点，则确定所述任意第一指示消息的数量；若所述数量不满足设定条件，则确定所述原始数据未成功存储至所述分布式存储系统。作为一种可能的实现方式，所述方法还包括：若所述数量满足设定条件，则确定所述原始数据成功存储至所述分布式存储系统，以及控制所述元数据服务器根据成功写入所述目标存储节点的数据块对未成功写入所述目标存储节点的数据块进行恢复。第二方面，本专利技术实施例还提供了另一种数据处理方法，应用于客户端，所述方法包括：当接收到数据读取请求时，确定待读取的目标数据在分布式存储系统中对应的存储位置信息；向与所述存储位置信息对应的存储节点发送数据下载请求，以使所述存储节点向所述客户端发送存储的数据块；基于接收到的所述数据块得到所述目标数据。作为一种可能的实现方式，所述确定待读取的目标数据在分布式存储系统中对应的存储位置信息，包括：获取所述数据读取请求中携带的目标数据的标识信息；查找本地缓存中是否有与所述标识信息相匹配的存储位置信息；若是，则从本地缓存中获取与所述标识信息相匹配的存储位置信息；若否，则向所述元数据服务器发送存储位置信息获取请求，以使所述元数据服务器确定与所述标识信息相匹配的存储节点，并向所述客户端发送与标识信息相匹配的所述存储节点的存储位置信息，以及将接收到的所述存储位置信息与所述标识信息对应存储至本地缓存中。作为一种可能的实现方式，所述数据块包括原始数据块和校验块；所述与所述存储位置信息对应的存储节点包括用于存储所述原始数据块的第一存储节点和用于存储所述校验块的第二存储节点；所述向与所述存储位置信息对应的存储节点发送数据下载请求，以使所述存储节点向所述客户端发送存储的数据块，包括：向所述第一存储节点发送原始数据下载请求，以使所述第一存储节点向所述客户端发送存储的原始数据块；若未接收到任意第一存储节点发送的原始数据块，则向所述第二存储节点发送校验数据下载请求，以使所述第二存储节点向所述客户端发送存储的校验块。作为一种可能的实现方式，基于接收到的所述数据块得到所述目标数据，包括：若接收到每一第一存储节点发送的原始数据块，则将所述原始数据块作为所述目标数据；若接收到每一第二存储节点发送的校验块，则对所述校验块进行纠删码解码，得到对应的原始数据块，将得到的原始数据块作为所述目标数据。作为一种可能的实现方式，所述向所述存储节点发送数据下载请求，以使所述存储节点向所述客户端发送存储的数据块，包括：向所有所述存储节点发送数据下载请求，以使所述存储节点向所述客户端发送存储的数据块；基于接收到的所述数据块得到所述目标数据，包括：若未接收到任意所述存储节点发送的数据块，则确定所述任意存储节点的数量；若所述数量满足预设条件，则根据接收到的数据块确定所述目标数据。第三方面，本专利技术实施例还提供了一种数据处理装置，应用于客户端，所述装置包括：编码模块，用于对待存储的原始数据进行纠删码编码，得到对应的数据块；存储位置信息获取模块，用于向分布式存储系统的元数据服务器发送数据上传请求；接收模块，用于接收所述元数据服务器基于所述数据上传请求发送的目标存储节点的存储位置信息；存储模块，用于基于接收到的所述存储位置信息将所述数据块存储至所述目标存储节点。第四方面，本专利技术实施例还提供了一种数据处理装置，应用于客户端，所述装置包括：位置信息确定模块，用于当接收到数据读取请求时，确定待读取的目标数据在所述分布式存储系统中对应的存储位置信息；请求发送模块，用于向与所述存储位置信息对应的存储节点发送数据下载请求，以使所述存储节点向所述客户端发送存储的数据块；数据块接收模块，用于基于接收到的所述数据块得到所述目标数据。第五方面，本专利技术实施例还提供了一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的数据处理程序，以实现第一方面所述的数据处理方法。第六方面，本专利技术实施例还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面所述的数据处理方法。本专利技术实施例提供的上述技术方案与现有技术相比具有如下优点：本专利技术实施例提供的一种数据处理方法，客户端对待存储至分布式存储系统的原始数据进行纠删码编码，得到对应的数据块，向分布式存储系统的元数据服务器发送数据上传请求，以得到用于存储数据块的目标存储节点的存储位置信息，基于存储位置信息将数据块存储至目标存储节点。本方案在客户端中对待存储至分布式存储系统的数据进行纠删码处理，得到数据块，直接将数据块存储至分布式存储系统中，相比于现有的分布式存储系统先进行多副本存储，再进行纠删码处理，本方案数据存储所占用的空间更少，提高了存储系统的空间利用率降低了存储成本。附图说明此处的附图被并入说明书中并本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于客户端，所述方法包括：/n对待存储的原始数据进行纠删码编码，得到对应的数据块；/n向分布式存储系统的元数据服务器发送数据上传请求；/n接收所述元数据服务器基于所述数据上传请求发送的目标存储节点的存储位置信息；/n基于接收到的所述存储位置信息将所述数据块存储至所述目标存储节点。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于客户端，所述方法包括：
对待存储的原始数据进行纠删码编码，得到对应的数据块；
向分布式存储系统的元数据服务器发送数据上传请求；
接收所述元数据服务器基于所述数据上传请求发送的目标存储节点的存储位置信息；
基于接收到的所述存储位置信息将所述数据块存储至所述目标存储节点。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述目标存储节点发送的第一指示消息，所述第一指示消息用于指示所述数据块是否成功写入所述目标存储节点；
若每一所述第一指示消息均指示所述数据块成功写入所述目标存储节点，则确定所述原始数据成功存储至所述分布式存储系统；
若任意所述第一指示消息指示所述数据块未成功写入所述目标存储节点，则确定所述原始数据未成功存储至所述分布式存储系统。


3.根据权利要求2所述的方法，其特征在于，所述若任意所述第一指示消息指示所述数据块未成功写入所述目标存储节点，则确定所述原始数据未成功存储至所述分布式存储系统，包括：
若任意所述第一指示消息指示所述数据块未成功写入所述目标存储节点，则确定所述任意第一指示消息的数量；
若所述数量不满足设定条件，则确定所述原始数据未成功存储至所述分布式存储系统。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述数量满足设定条件，则确定所述原始数据成功存储至所述分布式存储系统，以及控制所述元数据服务器根据成功写入所述目标存储节点的数据块对未成功写入所述目标存储节点的数据块进行恢复。


5.一种数据处理方法，其特征在于，应用于客户端，所述方法包括：
当接收到数据读取请求时，确定待读取的目标数据在分布式存储系统中对应的存储位置信息；
向与所述存储位置信息对应的存储节点发送数据下载请求，以使所述存储节点向所述客户端发送存储的数据块；
基于接收到的所述数据块得到所述目标数据。


6.根据权利要求5所述的方法，其特征在于，所述确定待读取的目标数据在分布式存储系统中对应的存储位置信息，包括：
获取所述数据读取请求中携带的目标数据的标识信息；
查找本地缓存中是否有与所述标识信息相匹配的存储位置信息；
若是，则从本地缓存中获取与所述标识信息相匹配的存储位置信息；
若否，则向所述元数据服务器发送存储位置信息获取请求，以使所述元数据服务器确定与所述标识信息相匹配的存储节点，并向所述客户端发送与所述标识信息相匹配的存储节点的存储位置信息，以及将接收到的所述存储位置信息与所述标识信息对应存储至本地缓存中。


7.根据权利要求5所述的方法，其特征在于，所述数据块包括原始数据块和校验块；
所述...

【专利技术属性】
技术研发人员：甘红星，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11