数据存储的校验方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据存储的校验方法、装置、电子设备及存储介质，应用于数据处理技术领域，所述方法包括：响应于获取到客户端发送的数据追加写入请求，获取与所述数据追加写入请求对应的第n块数据，所述n大于1；获取与所述第n块数据对应的第n

【技术实现步骤摘要】
数据存储的校验方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，特别是涉及一种数据存储的校验方法、一种数据存储的校验装置、一种电子设备以及一种计算机可读存储介质。

技术介绍

[0002]分布式文件系统，其可以提供文件系统、块存储以及对象存储等功能。其中，在对象存储中，其提供了追加上传功能，通过将一个大块数据分为N个小块数据，每次上传1个小块数据，通过N次上传操作，完成这个大块数据的上传业务，在数据量很大但网络质量较差的情况下，该功能特性能够保证上传业务的正常，例如可以用于视频业务等流式上传场景。然而，在上述数据上传的过程中，无法对数据进行全量检测，尤其是存在数据追加上传的情况，无法保证数据上传的完整性和可靠性。

技术实现思路

[0003]本专利技术实施例是提供一种数据存储的校验方法、装置、电子设备以及存储介质，以解决或部分解决分布式文件系统在对数据进行上传的过程中存在无法保证数据上传的完整性和可靠性的问题。
[0004]本专利技术实施例公开了一种数据存储的校验方法，包括：
[0005]响应于获取到客户端发送的数据追加写入请求，获取与所述数据追加写入请求对应的第n块数据，所述n大于1；
[0006]获取与所述第n块数据对应的第n
‑
1块数据对应的第一存储对象；
[0007]根据所述第一存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标数据标识以及第二存储对象；
[0008]若对所述第二存储对象持久化存储成功，则将所述目标数据标识返回所述客户端以表征所述第n块数据存储校验成功。
[0009]可选地，所述第一存储对象为经过序列化后的存储对象，所述根据所述第一存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标数据标识以及第二存储对象，包括：
[0010]对所述第一存储对象进行反序列化处理，获得与所述第n
‑
1块数据对应的反序列化的第一目标存储对象；
[0011]采用所述第一目标存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标数据标识以及第二存储对象。
[0012]可选地，所述若对所述第二存储对象持久化存储成功，则将所述目标数据标识返回所述客户端以表征所述第n块数据校验成功，包括：
[0013]对所述第二存储对象进行序列化，获得与所述第n块数据对应的序列化后的第二目标存储对象；
[0014]对所述第二目标存储对象进行持久化，若对所述第二目标存储对象持久化存储成
功，则将所述目标存储标识返回所述客户端以表征所述第n块数据存储校验成功。
[0015]可选地，所述第一存储对象为经过序列化后的第一MD5存储对象，所述根据所述第一存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标数据标识以及第二存储对象，包括：
[0016]对所述第一MD5存储对象进行反序列化处理，获得与所述第n
‑
1块数据对应的反序列化的第一目标MD5存储对象；
[0017]采用所述第一目标MD5存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标MD5值以及第二MD5存储对象。
[0018]可选地，所述若对所述第二存储对象持久化存储成功，则将所述目标数据标识返回所述客户端以表征所述第n块数据存储校验成功，包括：
[0019]对所述第二MD5存储对象进行序列化，获得与所述第n块数据对应的第二目标MD5存储对象；
[0020]若对所述第二目标MD5存储对象持久化存储成功，则将所述目标MD5值返回所述客户端以表征所述第n块数据存储校验成功。
[0021]可选地，应用于分布式文件系统，所述分布式文件系统至少包括MD5增量计算器以及序列化处理计算器，所述第一存储对象为经过序列化后的第一MD5存储对象，所述对所述第一MD5存储对象进行反序列化处理，获得与所述第n
‑
1块数据对应的反序列化的第一目标MD5存储对象，包括：
[0022]所述MD5增量计算器将所述第一MD5存储对象传输至所述序列化处理计算器；
[0023]所述序列化处理计算器对所述第一MD5存储对象进行反序列化处理，获得与所述第n
‑
1块数据对应的反序列化的第一目标MD5存储对象；
[0024]所述MD5增量计算器采用所述第一目标MD5存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标MD5值以及第二MD5存储对象。
[0025]可选地，所述分布式文件系统还包括持久化存储器，所述若对所述第二存储对象持久化存储成功，则将所述目标数据标识返回所述客户端以表征所述第n块数据存储校验成功，包括：
[0026]所述序列化处理计算器获取所述MD5增量计算器发送的所述第二MD5存储对象，并对所述第二MD5存储对象进行序列化，获得与所述第n块数据对应的第二目标MD5存储对象；
[0027]所述持久化存储器获取所述MD5增量计算器发送的所述第二目标MD5存储对象，并对所述第二目标MD5存储对象进行持久化存储，若对所述第二目标MD5存储对象持久化存储成功，则生成针对所述第二目标MD5存储对象的持久化成功信息；
[0028]所述MD5增量计算器响应于获取到所述持久化成功信息，将所述目标MD5值返回所述客户端以表征所述第n块数据存储校验成功。
[0029]本专利技术实施例还公开了一种数据存储的校验装置，包括：
[0030]数据获取模块，用于响应于获取到客户端发送的数据追加写入请求，获取与所述数据追加写入请求对应的第n块数据，所述n大于1；
[0031]存储对象获取模块，用于获取与所述第n块数据对应的第n
‑
1块数据对应的第一存储对象；
[0032]存储对象生成模块，用于根据所述第一存储对象对所述第n块数据进行加载，获得
与所述第n块数据对应的目标数据标识以及第二存储对象；
[0033]标识返回模块，用于若对所述第二存储对象持久化存储成功，则将所述目标数据标识返回所述客户端以表征所述第n块数据存储校验成功。
[0034]可选地，所述第一存储对象为经过序列化后的存储对象，所述存储对象生成模块具体用于：
[0035]对所述第一存储对象进行反序列化处理，获得与所述第n
‑
1块数据对应的反序列化的第一目标存储对象；
[0036]采用所述第一目标存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标数据标识以及第二存储对象。
[0037]可选地，所述标识返回模块具体用于：
[0038]对所述第二存储对象进行序列化，获得与所述第n块数据对应的序列化后的第二目标存储对象；
[0039]对所述第二目标存储对象进行持久化，若对所述第二目标存储对象持久化存储成功，则将所述目标存储标识返回所述客户端以表征所述第n块数据存储校验成功。
[0040]可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储的校验方法，其特征在于，包括：响应于获取到客户端发送的数据追加写入请求，获取与所述数据追加写入请求对应的第n块数据，所述n大于1；获取与所述第n块数据对应的第n
‑
1块数据对应的第一存储对象；根据所述第一存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标数据标识以及第二存储对象；若对所述第二存储对象持久化存储成功，则将所述目标数据标识返回所述客户端以表征所述第n块数据存储校验成功。2.根据权利要求1所述的方法，其特征在于，所述第一存储对象为经过序列化后的存储对象，所述根据所述第一存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标数据标识以及第二存储对象，包括：对所述第一存储对象进行反序列化处理，获得与所述第n
‑
1块数据对应的反序列化的第一目标存储对象；采用所述第一目标存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标数据标识以及第二存储对象。3.根据权利要求1或2所述的方法，其特征在于，所述若对所述第二存储对象持久化存储成功，则将所述目标数据标识返回所述客户端以表征所述第n块数据校验成功，包括：对所述第二存储对象进行序列化，获得与所述第n块数据对应的序列化后的第二目标存储对象；对所述第二目标存储对象进行持久化，若对所述第二目标存储对象持久化存储成功，则将所述目标存储标识返回所述客户端以表征所述第n块数据存储校验成功。4.根据权利要求2所述的方法，其特征在于，所述第一存储对象为经过序列化后的第一MD5存储对象，所述根据所述第一存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标数据标识以及第二存储对象，包括：对所述第一MD5存储对象进行反序列化处理，获得与所述第n
‑
1块数据对应的反序列化的第一目标MD5存储对象；采用所述第一目标MD5存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标MD5值以及第二MD5存储对象。5.根据权利要求4所述的方法，其特征在于，所述若对所述第二存储对象持久化存储成功，则将所述目标数据标识返回所述客户端以表征所述第n块数据存储校验成功，包括：对所述第二MD5存储对象进行序列化，获得与所述第n块数据对应的第二目标MD5存储对象；若对所述第二目标MD5存储对象持久化存储成功，则将所述目标MD5值返回所述客户端以表征所述第n块数据存储校验成功。6.根据权利要求1所述的方法，其特征在于，应用于分布式文件系统，所述分布式文件系统至少包括MD5增量计算器以及序列化处理计算器，所述第一存储对象为经过序列化后的第一MD5存储对象，所述对所述第一MD5存储对象进行反序列化处理，获得与所述第n
‑
1块数据对应的反序列化的第一目标MD5存储对象，包括：所述MD5增量计算器将所述第一MD5存储对象传输至所述序列化处理计算器；
所述序列化处理计算器对所述第一MD5存储对象进行反序列化处理，获得与所述第n
‑
1块数据对应的反序列化的第一目标MD5存储对象；所述MD5增量计算器采用所述第一目标MD5存储对象对所述第n块数据进行加载，获得与所述第n块数据对应的目标MD5值以及第二MD5存储对象。7.根据权利要求6所述的方法，其特征在于，所述分布式文件系统还包括持久化存储器，所述若对所述第二存储对象持久化存储成功，则将所述目标数据标识返回所述客户端以表征所述第n块数据存储校验成功，包括：所述序列化处理计算器获取所述MD5增量计算器发送的所述第二MD5存储对象，并对所述第二MD5存储对象进行序列化，获得与所述第n块数据对应的第二目标MD5存储对象；所述持久化存储器获取所述MD5增量计算器发送的所述第二目标MD5存储对象，并对所述第二目标MD5存储对象进行持久化存储，若对所述第二目标MD5存储对象持久化存储成功，则生成针对所述第二目标MD5存储对象的持久化成功信息；所述MD5增量计算器响应于获取到所述持久化成功信息，将所述目标MD5值返回所述客户端以表征所述第n块数据存储...

【专利技术属性】
技术研发人员：颜文强，黄鹄，林洁琬，吴文峰，黄润怀，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：