一种数据表海量数据校验方法及终端设备技术

本发明专利技术提供了一种数据表海量数据校验方法及终端设备，适用于数据处理技术领域，该方法包括：获取包含海量数据的数据表中待校验字段数据分别对应的数据更新频率h和数据重要等级d；根据预设的更新频率阈值H以及重要等级阈值D，从数据表中拆分出仅包含h≤H且d＞D的待校验字段数据的第一类数据表、仅包含h>H且d

【技术实现步骤摘要】
一种数据表海量数据校验方法及终端设备
本专利技术属于数据处理
，尤其涉及数据表海量数据校验方法及终端设备。
技术介绍
随着用户数据量的日益递增，数据管理系统中数据表的体积也日益增大，在对其中包含大数据量的数据表进行数据校验时，现有技术都是按照其中数据表的原始字段数据顺序逐条对数据进行校验，由于数据表数据量很大，从而使得现有技术的校验方法往往需要耗费大量的时间，同时由于数据表中可能包含一些需要数据更新频率高的字段数据，如用户的最后一次登录时间，而此时校验过程较为漫长，在这个校验过程中这些数据更新频率高的字段数据往往都发生了变化，从而使得对这些字段数据的校验结果并不准确。因此，现有技术对大数据量的数据表数据校验的效率低下，且校验结果不准确。
技术实现思路
有鉴于此，本专利技术实施例提供了一种数据表海量数据校验方法及终端设备，以解决现有技术中对大数据量的数据表数据校验的效率低下，且校验结果不准确的问题。本专利技术实施例的第一方面提供了一种数据表海量数据校验方法，包括：获取数据表中待校验字段数据分别对应的数据更新频率h和数据重要等级d；根据预设的更新频率阈值H以及重要等级阈值D，从所述数据本文档来自技高网...

【技术保护点】
1.一种数据表海量数据校验方法，其特征在于，包括：获取数据表中待校验字段数据分别对应的数据更新频率h和数据重要等级d；根据预设的更新频率阈值H以及重要等级阈值D，从所述数据表中拆分出仅包含h≤H且d＞D的所述待校验字段数据的第一类数据表、仅包含h>H且d

【技术特征摘要】
1.一种数据表海量数据校验方法，其特征在于，包括：获取数据表中待校验字段数据分别对应的数据更新频率h和数据重要等级d；根据预设的更新频率阈值H以及重要等级阈值D，从所述数据表中拆分出仅包含h≤H且d＞D的所述待校验字段数据的第一类数据表、仅包含h>H且d<D的所述待校验字段数据的第二类数据表，以及同时包含h≤H且d<D和h>H且d＞D的所述待校验字段数据的第三类数据表；按照第一类数据表、第三类数据表以及第二类数据表的顺序，依次对所述待校验字段数据进行校验。2.如权利要求1所述的数据表海量数据校验方法，其特征在于，对所述第一类数据表中的所述待校验字段数据进行校验的过程，包括：根据所述数据重要等级从高到低的顺序，依次对所述第一类数据表中的所述待校验字段数据进行排序并进行校验。3.如权利要求1所述的数据表海量数据校验方法，其特征在于，对所述第二类数据表中的所述待校验字段数据进行校验的过程，包括：将所述第二类数据表拆分为N个包含数据更新频率不同的所述待校验字段数据的数据表，并按照所述数据更新频率从低到高的顺序，依次对拆分得到的数据表进行所述待校验字段数据的校验，其中，N为正整数。4.如权利要求1所述的数据表海量数据校验方法，其特征在于，对所述第三类数据表中的所述待校验字段数据进行校验的过程，包括：将所述第三类数据表拆分为仅包含h≤H且d<D的所述待校验字段数据的第四类数据表，以及仅包含h>H且d＞D的所述待校验字段数据的第五类数据表，并判断所述第四类数据表和所述第五类数据表的文件大小差值是否大于预设的体积差值阈值；若所述文件大小差值大于所述体积差值阈值，按照文件大小从小到大的顺序，依次对所述第四类数据表和所述第五类数据表进行所述待校验字段数据的校验；若所述文件大小差值小于或等于所述体积差值阈值，基于包含的所述待校验字段数据的所述数据更新频率和所述数据重要等级，对所述第四类数据表和所述第五类数据表进行优先度排序并进行校验。5.如权利要求4所述的数据表海量数据校验方法，其特征在于，对所述第四类数据表和所述第五类数据表中的所述待校验字段数据的校验过程，包括：对当前数据表中所述待校验字段数据的所述数据更新频率和所述数据重要等级进行评分，基于预设的权重系数对得到的两个评分值进行权重计算，并根据得到的权重值从高至低的顺序对当前数据表中所述待校...

【专利技术属性】
技术研发人员：巩凯丽，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东,44