The invention discloses a IOT rapid calibration of large data method, which comprises the following steps: S1: set elementary checking, medium calibration methods and various higher verification methods, the classification of a variety of higher parity, the classification results obtained; S2: identification of data, according to the recognition results in the data excluding useless data, for check the useless data and then use elementary check mode; S3: identification of eliminate useless data, according to the recognition results will eliminate useless data into key data and general data, then use the medium check for normal data check; S4: to identify key data. The invention can be classified according to the importance of data, but also to the different importance of the validation data to verify the different ways to avoid the waste of resources, improve the speed and improve the quality of calibration, calibration, the method is simple, easy to use.
【技术实现步骤摘要】
物联网大数据快速校验方法
本专利技术涉及数据校验
,尤其涉及一种物联网大数据快速校验方法。
技术介绍
在物联网高速发展的时代,随着视频监控等设备的普及和互联网接入,大数据性特征愈加明显,而大数据校验方法是用于对大数据进行校验的方法。申请号为201310066481.1的专利文件公开了物联网大数据快速校验方法,用于提供一种利用多线程处理技术对大数据文件进行并行分块验证,并将验证信息保存至结构化数据文件中,连同块文件一同上传到服务器端保存;下载时启用多线程并发下载块文件,并多线程并发验证块文件的正确性;新的文件验证模式会将文件验证速度大大提高,有效提高物联网大文件验证速度;层次清晰,通用性较好,适用范围广,文件验证快速可靠,有效解决了物联网大数据处理中的大文件验证速度瓶颈问题,提升分布式文件系统的整体性能的物联网大数据快速校验方法,但是,其不能够将数据根据重要性进行分类,也不能够对不同重要性的数据以不同的校验方式进行校验,导致浪费资源,也容易降低校验质量。
技术实现思路
基于
技术介绍
存在的技术问题,本专利技术提出了物联网大数据快速校验方法。本专利技术提出的物联网大数据快速校验方法,包括以下步骤:S1:设定初等校验方式、中等校验方式和多种高等校验方式,对多种高等校验方式进行分类,得出分类结果;S2:对数据进行识别,根据识别结果剔除数据中的无用数据,然后用初等校验方式对无用数据进行校验;S3:对剔除无用数据后的数据进行识别,根据识别结果将剔除无用数据后的数据分成关键数据和普通数据,然后用中等校验方式对普通数据进行校验;S4:对关键数据进行识别,根据识别结果和分类 ...
【技术保护点】
物联网大数据快速校验方法,其特征在于,包括以下步骤:S1:设定初等校验方式、中等校验方式和多种高等校验方式,对多种高等校验方式进行分类,得出分类结果;S2:对数据进行识别,根据识别结果剔除数据中的无用数据,然后用初等校验方式对无用数据进行校验;S3:对剔除无用数据后的数据进行识别,根据识别结果将剔除无用数据后的数据分成关键数据和普通数据,然后用中等校验方式对普通数据进行校验;S4:对关键数据进行识别,根据识别结果和分类结果对关键数据进行分类,然后用多种高等校验方式分别对分类后的关键数据进行校验。
【技术特征摘要】
1.物联网大数据快速校验方法,其特征在于,包括以下步骤:S1:设定初等校验方式、中等校验方式和多种高等校验方式,对多种高等校验方式进行分类,得出分类结果;S2:对数据进行识别,根据识别结果剔除数据中的无用数据,然后用初等校验方式对无用数据进行校验;S3:对剔除无用数据后的数据进行识别,根据识别结果将剔除无用数据后的数据分成关键数据和普通数据,然后用中等校验方式对普通数据进行校验;S4:对关键数据进行识别,根据识别结果和分类结果对关键数据进行分类,然后用多种高等校验方式分别对分类后的关键数据进行校验。2.根据权利要求1所述的物联网大数据快速校验方法,其特征在于,所述S1中,初等校验方式、中等校验方式和高等校验方式的校验时间依次递增,且初等校验方式、中等校验方式和高等校验方式的校验精细度依次递增。3....
【专利技术属性】
技术研发人员:屈喜龙,樊晓平,刘胜宗,孙光,黄丽蓉,周航军,
申请(专利权)人:湖南财政经济学院,
类型:发明
国别省市:湖南,43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。