一种大数据校验方法技术

本发明专利技术实施例提供了一种大数据的校验方法及装置，所述方法包括：对目标大据进行预处理，得到至少一个块文件，并对所述至少一个块文件进行验证，得到每一个块文件的校验信息；根据每一个块文件以及所述校验信息，将所述至少一个块文件上传到文件管理系统中，并记录每一个块文件的存储信息；读取所述文件管理系统中的每一个块文件的效验信息、每个块文件和每个块文件的校验信息、每一个块文件的存储信息保存到结构化数据文件中，形成验证文件，并上传到至目标服务器。应用本发明专利技术实施例，有效解决了物联网大数据处理中的大文件验证速度瓶颈问题。

【技术实现步骤摘要】
一种大数据校验方法
本专利技术涉及数据处理领域，特别是涉及一种大数据校验方法。
技术介绍
在物联网高速发展的时代，随着视频监控等设备的普及和互联网接入，大数据性特征愈加明显。目前业界对于各类型数据的分布式存储研究较多。但在数据验证领域研究的较少，鲜有新的突破。业内基本上都采取利用传统的MD5，CRC32，SHA1等算法对文件直接校验的方式。这些算法的思想如下：（1）MD5：对MD5算法简要的叙述可以为：MD5以512位分组来处理输入的信息，且每一分组又被划分为16个32位子分组，经过了一系列的处理后，算法的输出由四个32位分组组成，将这四个32位分组级联后将生成一个128位散列值。（2）CRC：CRC校验码的基本思想是利用线性编码理论，在发送端根据要传送的k位二进制码序列，以一定的规则产生一个校验用的监督码（即CRC码）r位，并附在信息后边，构成一个新的二进制码序列数共(k+r)位，最后发送出去。在接收端，则根据信息码和CRC码之间所遵循的规则进行检验，以确定传送中是否出错。（3）SHA：SHA又叫安全散列算法。SHA家族算法有SHA-1、SHA-224、SHA-256、SHA-38本文档来自技高网...

【技术保护点】
一种大数据的校验方法，其特征在于，所述方法包括：对目标大据进行预处理，得到至少一个块文件，并对所述至少一个块文件进行验证，得到每一个块文件的校验信息；根据每一个块文件以及所述校验信息，将所述至少一个块文件上传到文件管理系统中，并记录每一个块文件的存储信息；读取所述文件管理系统中的每一个块文件的效验信息、每个块文件和每个块文件的校验信息、每一个块文件的存储信息保存到结构化数据文件中，形成验证文件，并上传到至目标服务器。

【技术特征摘要】
1.一种大数据的校验方法，其特征在于，所述方法包括：对目标大据进行预处理，得到至少一个块文件，并对所述至少一个块文件进行验证，得到每一个块文件的校验信息；根据每一个块文件以及所述校验信息，将所述至少一个块文件上传到文件管理系统中，并记录每一个块文件的存储信息；读取所述文件管理系统中的每一个块文件的效验信息、每个块文件和每个块文件的校验信息、每一个块文件的存储信息保存到结构化数据文件中，形成验证文件，并上传到至目标服务器。2.根据权利要求1所述的大数据的校验方法，其特征在于，所述对目标大据进行预处理，包括：对目标大数据的处理包括：包括计算文件的大小，计算待分割的文件块数，每个块文件的数据偏移量，块文件接合处关节节点的节点数和节点偏移量，将大文件分割成多个块文件，每个块文件编有相应的序号；从而形成分割信息。3.根据权利要求2所述的大数据的校验方法，其特征在于，所述对目标大据进行预处理，得到至少...

【专利技术属性】
技术研发人员：徐秋养，
申请(专利权)人：佛山市深研信息技术有限公司，
类型：发明
国别省市：广东,44