【技术实现步骤摘要】
一种基于区块链的大数据的处理系统及处理方法
[0001]本专利技术涉及区块链
，尤其涉及一种基于区块链的大数据的处理系统及处理方法。
技术介绍
[0002]区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式；大数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数据质量贯穿于整个大数据流程，每一个数据处理环节都会对大数据质量产生影响。
[0003]现有的大数据的处理系统和处理方法存在的缺陷是：不能根据数据的格式完整性和数值完整性进行分析和拆分并分开存储的问题，以及不能根据拆分数据的内存以及区块链上的可存储内存进行动态分配避免区块链上存储空间分配不均的问题。
技术实现思路
[0004]本专利技术的目的在于提供一种基于区块链的大数据的处理系统及处理方法，本专利技术所要解决的技术问题为：
[0005]如何解决现有方案中不能根据数据的格式完整性和数值完整性进行分析和拆分并分开存储的问题，以及不能根据拆分数据的...
【技术保护点】
【技术特征摘要】
1.一种基于区块链的大数据的处理系统，其特征在于，包括数据采集模块、数据处理模块、提取组合模块和存储分配模块；所述数据采集模块用于采集待处理数据和区块链的内存数据，该内存数据包含各个子节点的已存储内存和未存储内存，并将待处理数据发送至数据处理模块；所述数据处理模块用于接收待处理数据并进行处理，得到已处理加工数据，并将已处理加工数据发送至提取组合模块，具体的步骤包括：步骤一：获取待处理数据并进行格式匹配，得到格式匹配数据集，格式匹配数据集包含格式正常数据和格式异常数据；包括：提取待处理数据中的各个数据项和数据标志，根据预设的坐标系获取各个数据项的坐标位置；设定不同的数据项均对应一个不同的数项预设值，将各个数据项与所有的数据项进行匹配获取对应的数项预设值并标记为SXi,i＝1,2,..n；设定不同的数据标志对应一个不同的数标预设值，将待处理数据中的数据标志与所有的数据标志进行匹配获取对应的数标预设值并标记为SBi,i＝1,2,..n；利用公式获取数据项的匹配值，该公式为：其中，H
pp
表示为数据项的匹配值，μ表示为预设的数据标志修正因子，β表示为预设的数据项修正因子；将匹配值根据预设的标准匹配阈值进行匹配，若匹配值等于标准匹配阈值，则判定各个数据项完整并生成格式正常信号，将各个数据项以及对应的坐标位置组合，得到格式正常数据；若匹配值不等于标准匹配阈值，则判定各个数据项不完整并生成格式不正常信号，将各个数据项以及对应的坐标位置组合，得到格式异常数据；步骤二：将格式正常数据进行完整验证，得到完整验证数据集，完整验证数据集包含第一非完整数据、完整数据和第二非完整数据；步骤三：将第一非完整数据、第二非完整数据和格式异常数据组合并标记，得到已验证数据，将完整数据和已验证数据组合，得到已处理加工数据；所述提取组合模块用于接收已处理加工数据并进行提取组合，得到提取加工信息，并将提取加工信息发送至存储分配模块；所述存储分配模块用于根据内存数据将提取加工信息分配存储至区块链的各个节点上。2.根据权利要求1所述的一种基于区块链的大数据的处理系统，其特征在于，将格式正常数据进行完整验证，得到完整验证数据集，具体的步骤包括：S21：获取格式正常数据中各个数据项以及对应的坐标位置并将其标记为待验证坐标；S22：将待验证坐标与预设的数据验证坐标进行匹配并提取存储的数据值，若数据值不存在，则将标记为空白值，将数据值根据数据验证坐标进行排序；S23：获取空白值对应的坐标位置并标记为空白坐标，根据空白坐标与预设的空白条件进行匹配，若该空白条件包含可存储空白数据，则将空白值标记为有效值，并将有效值的坐
标位置标记为有效坐标；若该空白条件不包含可存储空白数据，则将空白值标记为无效值，并将无效值的坐标位置标记为无效坐标；S24：利用公式获取数据项的无效系数，该公式为：其中，H
wx
表示为数据项的无效系数，η表示为预设的无效修正因子，SZ1表示为有效的数据项总个数，SZ2表示为无效的数据项总个数；S25：...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。