本发明专利技术涉及数据处理领域，揭露了一种分布式数据调取方法，包括：获取与用户输入的调取指令相关的元素块的位置信息集；根据所述位置信息集，调取所有所述元素块，根据各个所述元素块的响应时间，依次将所述元素块存入至预构建的列表中，直到存入至所述列表的元素块的数量等于预设数值；利用预构建的纠删码，对存入至预构建的列表中的所述元素块进行矩阵处理，得到原始数据，并将所述原始数据返回至用户。本发明专利技术还提出一种分布式数据调取装置、电子设备及计算机可读存储介质。本发明专利技术还涉及区块链技术，所述元素块可以存储在区块链节点中。本发明专利技术目的在于解决调取分布式存储数据时，因为个别数据块调用过慢导致整体调取速度减慢的问题。问题。问题。
【技术实现步骤摘要】
分布式数据调取方法、装置、电子设备及存储介质
[0001]本专利技术涉及数据处理领域，尤其涉及一种分布式数据调取方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]随着计算机的发展，具有更高空间使用率的分布式存储方式成为当今存储产品的技术主流。所述布式存储方式分为多副本与纠删码两种形式，其中纠删码将初始数据切割成X份数据块，又构造出Y份校验块。提取数据时，将X份数据块调用出来使用，当某个数据块丢失时，提取出对应的校验块，即可完成数据的还原。
[0003]但是用纠删码调用时，当其中某个数据块存储在一个慢盘中，则计算机一直调取这个慢盘中的数据块而不调取校验块，使得调取速度会随着某个数据块调取速度的下降而下降。
技术实现思路
[0004]本专利技术提供一种分布式数据调取方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决调取分布式存储数据时，因为个别数据块调用过慢导致整体调取速度减慢的问题。
[0005]为实现上述目的，本专利技术提供的一种分布式数据调取方法，包括：
[0006]根据用户输入的数据调取指令，获取与所述调取指令相关的元素块的位置信息集；
[0007]根据所述位置信息集，同时调取所有所述元素块，根据各个所述元素块的响应时间，依次将所述元素块存入至预构建的列表中，直到存入至所述列表的元素块的数量等于预设数值；
[0008]利用预构建的纠删码，对存入至预构建的列表中的所述元素块进行矩阵处理，得到原始数据，并将所述原始数据返回至用户。可选的，所述根据用户输入的数据调取指令，获取与所述调取指令相关的元素块的位置信息集之前，包括：
[0009]获取原始数据，生成X份数据块，通过预构建的纠删码，生成Y份校验块；
[0010]利用数据分布算法，将所述X份数据块与所述Y份校验块存储至各个预构建的组块节点中，并返回所述X份数据块与所述Y份校验块的位置信息集。
[0011]由所述X份数据块及所述Y份校验块构成所述元素块。
[0012]可选的，所述获取原始数据，生成X份数据块，通过预构建的纠删码，生成Y份校验块，包括：
[0013]利用编码器将所述原始数据进行编码，得到编译数据；
[0014]分割所述编译数据，得到X份数据块，利用所述纠删码对所述X份数据块与预设编码矩阵进行矩阵乘积运算，得到Y份校验块。
[0015]可选的，所述分割所述编译数据，得到X份数据块，包括：
[0016]在所述编译数据中插入预设数量的空白的数据节点，复制所述数据节点前端的预设字节的数据，并将所述预设字节的数据存储至所述空白的数据节点中；
[0017]以所述数据节点前端为分割线，分割得到X份的所述数据块。
[0018]可选的，所述获取原始数据，生成X份数据块，通过预构建的纠删码，生成Y份校验块之前，包括：
[0019]构建元数据服务器节点及组块节点，并将所述元数据服务器节点及所述组块节点进行连接；
[0020]连接所述元数据服务器节点与所述预构建的数据库管理系统。
[0021]可选的，所述将所述X份数据块与所述Y份校验块存储至各个预构建的组块节点中，包括：
[0022]利用预设数据分布算法及所述元素块的特征，计算哈希值，并将所述哈希值与所述数据库管理系统建立映射关系；
[0023]利用所述映射关系，将不同所述哈希值对应的所述元素块存储至各个所述组块节点中。
[0024]可选的，其特征在于，所述利用预构建的纠删码，对存入至预构建的列表中的所述元素块进行矩阵处理，得到原始数据，并将所述原始数据返回至用户，包括：
[0025]利用所述纠删码对所述数据块与校验块进行矩阵乘积，除去所述编码矩阵，得到初始数据矩阵；
[0026]解码所述初始数据矩阵，得到初始数据，通过预构建的数据库管理系统，将初始数据输送给用户。
[0027]为了解决上述问题，本专利技术还提供一种分布式数据调取装置，所述装置包括：
[0028]检索模块，用于根据用户输入的数据调取指令，获取与所述调取指令相关的元素块的位置信息集；
[0029]调取模块，用于根据所述位置信息集，同时调取所有所述元素块，根据各个所述元素块的响应时间，依次将所述元素块存入至预构建的列表中，直到存入至所述列表的元素块的数量等于预设数值；
[0030]数据处理模块，用于利用预构建的纠删码，对存入至预构建的列表中的所述元素块进行矩阵处理，得到原始数据，并将所述原始数据返回至用户。
[0031]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：至少一个处理器；以及，
[0032]与所述至少一个处理器通信连接的存储器；其中，
[0033]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的分布式数据调取方法。
[0034]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，包括存储数据区和存储程序区，其中，所述存储数据区存储创建的数据，所述存储程序区存储有计算机程序；其中，所述计算机程序被处理器执行时实现上述所述的分布式数据调取方法。
[0035]本专利技术实施例根据用户输入的数据调取指令，获取所有与所述调取指令相关的元素块的位置信息集，根据所述位置信息集，同时调取所有所述元素块，并根据各个所述元素块的响应时间，依次将所述元素块存入至预构建的列表中，直到存入至所述列表的元素块
的数量等于预设数值，而不必等待慢盘中的数据调取，此外，本专利技术实施例利用预构建的纠删码，对存入至预构建的列表中的所述元素块进行矩阵处理，得到原始数据，可以实现从数据块形式向原始数据形式的转变。因此，本专利技术实施例所述分布式数据调取方法、装置、电子设备及计算机可读存储介质解决了分布式存储提取过程会因为某个数据块存储响应慢而影响整个过程的问题。
附图说明
[0036]图1为本专利技术一实施例提供的分布式数据调取方法的流程示意图；
[0037]图2为图1提供的分布式数据调取方法中其中一个步骤的详细实施流程示意图；
[0038]图3为本专利技术一实施例提供的纠删码生成校验块的原理示意图；
[0039]图4为本专利技术一实施例提供的分布式数据调取装置的模块示意图；
[0040]图5为本专利技术一实施例提供的实现分布式数据调取方法的电子设备的内部结构示意图；
[0041]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0042]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0043]本专利技术提供一种分布式数据调取方法。本申请实施例提供的分布式数据调取方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述分布式数据调取方法可以由安装在终端设备或服务端设备的软件或硬本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式数据的调取方法，其特征在于，包括：根据用户输入的数据调取指令，获取与所述调取指令相关的元素块的位置信息集；根据所述位置信息集，调取所述元素块，根据各个所述元素块的响应时间，依次将所述元素块存入至预构建的列表中，直到存入至所述列表的元素块的数量等于预设数值时为止；利用预构建的纠删码，对存入至预构建的列表中的所述元素块进行矩阵处理，得到原始数据，并将所述原始数据返回至用户。2.如权利要求1所述的分布式数据的调取方法，其特征在于，所述根据用户输入的数据调取指令，获取与所述调取指令相关的元素块的位置信息集之前，包括：获取原始数据，生成X份数据块，通过预构建的纠删码，生成Y份校验块；将所述X份数据块与所述Y份校验块存储至各个预构建的组块节点中，并返回所述X份数据块与所述Y份校验块的位置信息集；由所述X份数据块及所述Y份校验块构成所述元素块。3.如权利要求2所述的分布式数据的调取方法，其特征在于，所述获取原始数据，生成X份数据块，通过预构建的纠删码，生成Y份校验块，包括：利用编码器将所述原始数据进行编码，得到编译数据；分割所述编译数据，得到X份数据块，利用所述纠删码对所述X份数据块与预设编码矩阵进行矩阵乘积运算，得到Y份校验块。4.如权利要求3所述的分布式数据的调取方法，其特征在于，所述分割所述编译数据，得到X份数据块，包括：在所述编译数据中插入预设数量的空白的数据节点，复制所述数据节点前端的预设字节的数据，并将所述预设字节的数据存储至所述空白的数据节点中；以所述数据节点前端为分割线，分割得到X份的所述数据块。5.如权利要求3所述的分布式数据的调取方法，其特征在于，所述获取原始数据，生成X份数据块，通过预构建的纠删码，生成Y份校验块之前，包括：构建元数据服务器节点及组块节点，并将所述元数据服务器节点及所述组块节点进行连接；连接所述元数据服务器节点与所述预构建的数据库管理系统。6.如权利要求2所述的...
【专利技术属性】
技术研发人员：李强，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。