【技术实现步骤摘要】
本专利技术涉及数据传输，尤其是涉及用于普查大数据的数据校验方法。
技术介绍
1、随着科技的发展，大数据已经成为当今社会的重要资源。通过大数据的分析和处理，可以深入了解市场需求、消费者行为、行业趋势等信息，为决策提供有力支持。然后，大数据的获取、处理和应用也面临着诸多挑战，其中，数据校验是一个关键问题。
2、传统的数据校验方式，通常是由人工收集各类调查问卷或者采用电话、邮件等方式收集调查数据，然后再录入汇总至服务器进行统一分析，即服务器采集完所有的数据后，才对所有数据进行统一的校验，包括数据来源的验证以及数据规范性、可用性等的验证；人工录入汇总至服务器的过程中，不仅效率低下，且可能导致出现很多错误，同时在大数据背景下，由于数据来源广泛，数据量庞大，数据校验的难度也随之增加，服务器可能需要对很多无效的、不可靠甚至经过篡改的数据进行校验，对服务器的性能带来巨大的挑战，传统的数据校验方式无法满足大数据场景下的需求。
技术实现思路
1、为解决上述问题，本专利技术提出了用于普查大数据的数据校验方法及系统。
2、本专利技术的主要内容包括：
3、用于普查大数据的数据校验方法，包括云端服务器、远端检验装置以及本地校验装置，所述本地校验装置与若干采集终端连接；
4、所述本地校验装置接收允许接入其的采集终端传输的待传输的数据包，所述待传输的数据包包括验证字符串以及表单数据；所述本地校验装置按照设定的校验规则对所述表单数据进行校验；
5、所述本地
6、所述远端校验装置对所述传输报文进行身份验证，验证通过则将所述传输报文发送至所述云端服务器；
7、所述云端服务器接收通过身份验证的传输报文，对其进行防篡改验证，若通过防篡改验证，则将存储所述传输报文的表单数据；
8、其中，所述验证字符串包括所述云端服务器预先分发的token、时间戳以及第一随机字符串；所述报文身份字符串包括报文唯一识别码以及第二随机字符串。
9、优选的，所述本地校验装置按照设定的校验规则对所述表单数据进行校验，包括：
10、所述本地校验装置根据接收到的待传输的数据包的表单类型，获取对应的校验规则；
11、根据相应的校验规则对表单数据进行校验；
12、所述本地校验装置根据校验结果，对待传输的数据包进行相应的处置。
13、优选的，所述本地校验装置根据校验结果，对待传输的数据包进行相应的处置，包括：
14、将通过验证的待传输的数据包封装为传输报文，传输至所述远端校验装置；
15、将未通过验证的待传输的数据包，所述本地校验装置根据校验结果，为相应的待传输的数据包标记相应的缺陷类型，相应的采集终端根据所述缺陷类型对待传输的数据包进行修正。
16、优选的，所述本地校验装置将通过校验的所述待传输的数据包封装为传输报文，包括：
17、所述本地校验装置将本地身份编码与相应采集终端的虚拟端口号按照设定的生成规则生成所述报文唯一字符串；
18、所述本地校验装置使用随机生成器生成所述第二随机字符串；
19、将所述报文唯一字符串和所述第二随机字符串拼接得到所述报文身份字符串。
20、优选的，所述本地校验装置在将通过校验的待传输的数据包封装为传输报文前，还包括对所述验证字符串的加密处理。
21、优选的，对所述验证字符串的加密处理包括：
22、所述本地校验装置按照设定的拼接规则，将云端服务器预先分发的token、时间戳以及第一随机字符串进行拼接；所述第一随机字符串为通过哈希盐原理得到的设定长度的随机字符串。
23、优选的，所述远端校验装置对所述传输报文进行身份验证，包括：
24、所述远端校验装置根据传输报文的源地址，获取预先存储在其上的本地校验装置的身份识别编码；所述源地址包括传输所述传输报文的本地远端校验装置的源目的地址以及相应采集终端的虚拟端口号；
25、所述远端校验装置根据相应的身份识别编码和相应的虚拟端口号，按照设定的生成规则生成当前报文唯一字符串；
26、所述远端校验装置对传输报文进行解析，得到相应的报文唯一字符串和第二随机字符串；
27、所述远端校验装置将当前报文唯一字符串与解析得到的相应的报文唯一字符串进行比较，若相同，则将存储在其上的当前随机字符串与解析得到的相应的第二随机字符串进行比较，若不同，则将相应的传输报文传输至所述云端服务器；若相同，则丢弃所述传输报文；
28、所述远端校验装置将当前报文唯一字符串与解析得到的相应的报文唯一字符串进行比较，若不同，则丢弃所述传输报文。
29、优选的，所述云端服务器接收通过身份验证的传输报文，对其进行防篡改验证，包括：
30、所述云端服务器根据预先设定的拼接规则，对所述传输报文进行解析，得到所述验证字符串；
31、验证所述token以及时间戳和第一随机字符串，若满足设定的条件，则存储所述传输报文；若不满足，则丢弃所述传输报文。
32、本专利技术还提出了用于普查大数据的数据校验系统，执行上述的用于普查大数据的数据校验方法，所述系统包括云端服务器、远端检测装置、本地校验装置以及若干采集终端；
33、若干所述采集终端用于录入调研数据，生成待传输的数据包；
34、所述本地校验装置内存储有若干校验规则、生成规则；所述本地校验装置与若干采集终端连接，接收所述采集终端传输的待传输的数据包，按照校验规则对待传输的数据包的表单数据的进行校验，将通过校验的待传输的数据包封装为传输报文；
35、所述远端校验装置与所述本地校验装置连接，接收所述本地校验装置传输的传输报文，对所述报文进行身份验证；所述远端校验装置内存储有当前随机字符串；
36、所述云端服务器与所述远端校验装置连接，所述云端服务器存储有拼接规则。
37、优选的，所述本地校验装置和所述远端校验装置采用物理隔离。
38、本专利技术的有益效果在于：本专利技术提出的用于普查大数据的数据校验方法及系统，通过采集终端进行调查数据的收集，由可信任的本地校验装置对数据的规范性进行校验，减少了无效数据的网络传输；而可信任的远端校验装置对接收到的数据的发送者的身份进行验证，进一步保证了接收到的数据的可靠性；最后服务器再对数据是否被篡改进行校验，保证了普查数据的正确性和可信任性。
39、实施方式
40、以下对本专利技术所保护的技术方案做具体说明。
41、本专利技术公开了用于普查大数据的数据校验方法及系统，所述系统包括云端服务器、远端检验装置以及本地校验装置、采集终端；其中，采集终端用于收集统计数据，传输至所述本地校验装置，所述本地校验本文档来自技高网...
【技术保护点】
1.用于普查大数据的数据校验方法，其特征在于，包括云端服务器、远端检验装置以及本地校验装置，所述本地校验装置与若干采集终端连接；
2.根据权利要求1所述的用于普查大数据的数据校验方法，其特征在于，所述本地校验装置按照设定的校验规则对所述表单数据进行校验，包括：
3.根据权利要求2所述的用于普查大数据的数据校验方法，其特征在于，所述本地校验装置根据校验结果，对待传输的数据包进行相应的处置，包括：
4.根据权利要求1所述的用于普查大数据的数据校验方法，其特征在于，所述本地校验装置将通过校验的所述待传输的数据包封装为传输报文，包括：
5.根据权利要求4所述的用于普查大数据的数据校验方法，其特征在于，所述本地校验装置在将通过校验的待传输的数据包封装为传输报文前，还包括对所述验证字符串的加密处理。
6.根据权利要求5所述的用于普查大数据的数据校验方法，其特征在于，对所述验证字符串的加密处理包括：
7.根据权利要求1所述的用于普查大数据的数据校验方法，其特征在于，所述远端校验装置对所述传输报文进行身份验证，包括：
...【技术特征摘要】
1.用于普查大数据的数据校验方法，其特征在于，包括云端服务器、远端检验装置以及本地校验装置，所述本地校验装置与若干采集终端连接；
2.根据权利要求1所述的用于普查大数据的数据校验方法，其特征在于，所述本地校验装置按照设定的校验规则对所述表单数据进行校验，包括：
3.根据权利要求2所述的用于普查大数据的数据校验方法，其特征在于，所述本地校验装置根据校验结果，对待传输的数据包进行相应的处置，包括：
4.根据权利要求1所述的用于普查大数据的数据校验方法，其特征在于，所述本地校验装置将通过校验的所述待传输的数据包封装为传输报文，包括：
5.根据权利要求4所述的用于普查大数据的数据校验方法，其特征在于，所述本地校验装置在将通过校验的待传输的数据包封装为传输报文前，还包括对所述验证...
【专利技术属性】
技术研发人员：吕亮志，
申请(专利权)人：江苏南复数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。