一种有效控制校验数据量的算法制造技术

本发明专利技术涉及数据校验，具体涉及一种有效控制校验数据量的算法，接收数据校验请求，获取数据校验请求中待校验数据的数据源信息以及校验模式；基于数据源信息获取待校验数据，并进行数据采集；结合校验模式采用减少数据对比次数的数据校验算法，对采集数据与待校验数据进行数据校验；本发明专利技术提供的技术方案能够有效克服现有技术所存在的因多次重复数据对比而导致数据校验效率较低的缺陷。导致数据校验效率较低的缺陷。导致数据校验效率较低的缺陷。

【技术实现步骤摘要】
一种有效控制校验数据量的算法


[0001]本专利技术涉及数据校验，具体涉及一种有效控制校验数据量的算法。

技术介绍

[0002]随着科技的进步及大数据时代的不断发展，诸多行业都出现了数据校验的需求。传统人工校验方式因费时费力而逐渐被淘汰，当前出现了很多数据校验的方法，比较常见的是通过两个集合之间的数据对比进行数据校验。然而，这种数据校验方式，在针对每个采集数据进行校验时都会进行很多次重复的数据对比，严重降低了数据校验效率。

技术实现思路

[0003](一)解决的技术问题
[0004]针对现有技术所存在的上述缺点，本专利技术提供了一种有效控制校验数据量的算法，能够有效克服现有技术所存在的因多次重复数据对比而导致数据校验效率较低的缺陷。
[0005](二)技术方案
[0006]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0007]一种有效控制校验数据量的算法，包括以下步骤：
[0008]S1、接收数据校验请求，获取数据校验请求中待校验数据的数据源信息以及校验模式；
[0009]S2、基于数据源信息获取待校验数据，并进行数据采集；
[0010]S3、结合校验模式采用减少数据对比次数的数据校验算法，对采集数据与待校验数据进行数据校验。
[0011]优选地，所述减少数据对比次数的数据校验算法，包括：
[0012]S31、将待校验数据存放至集合A，将已校验数据存放至集合B，将采集数据存放至集合C；
[0013]S32、将集合C中的采集数据与集合B中的已校验数据进行数据对比；
[0014]S33、若该采集数据不存在于集合B中，则将该采集数据与集合A中的待校验数据进行数据对比；
[0015]S34、若该采集数据存在于集合A中，则该采集数据为有效数据，同时将该采集数据添加至集合B中，并将集合A中对应的待校验数据删除。
[0016]优选地，S32中将集合C中的采集数据与集合B中的已校验数据进行数据对比，包括：
[0017]若该采集数据存在于集合B中，则该采集数据为无效数据，并直接剔除该无效数据。
[0018]优选地，S33中若该采集数据不存在于集合B中，则将该采集数据与集合A中的待校验数据进行数据对比，包括：
[0019]若该采集数据不存在于集合A中，则该采集数据为无效数据，并直接剔除该无效数据。
[0020]优选地，S34中若该采集数据存在于集合A中，则该采集数据为有效数据，同时将该采集数据添加至集合B中，并将集合A中对应的待校验数据删除，包括：
[0021]采集数据为有效数据时，则集合A的数据长度减1，集合B的数据长度加1。
[0022]优选地，S3中结合校验模式采用减少数据对比次数的数据校验算法，对采集数据与待校验数据进行数据校验，包括：
[0023]校验模式为实时校验模式时，将基于数据源信息获取待校验数据作为历史消息队列，将采集数据作为实时消息队列；
[0024]将历史消息队列、实时消息队列存储至缓存平台，基于减少数据对比次数的数据校验算法对历史消息队列、实时消息队列进行数据校验。
[0025]优选地，所述对历史消息队列、实时消息队列进行数据校验，包括：
[0026]通过字符串对比方式对历史消息队列、实时消息队列进行数据校验，查找出实时消息队列中的异常字段。
[0027]优选地，S3中结合校验模式采用减少数据对比次数的数据校验算法，对采集数据与待校验数据进行数据校验，包括：
[0028]校验模式为离线校验模式时，将基于数据源信息获取待校验数据作为历史消息队列，将采集数据以数据表的形式存储至数据库；
[0029]调取数据库中的数据表，基于减少数据对比次数的数据校验算法对历史消息队列、数据表进行数据校验。
[0030]优选地，所述对历史消息队列、数据表进行数据校验，包括：
[0031]采用字符串切割方法对历史消息队列、数据表进行数据校验，查找出数据表中的异常字段。
[0032]优选地，S2中基于数据源信息获取待校验数据，包括：
[0033]根据待校验数据的生成地址从数据服务器获取待校验数据，或者根据待校验数据对应的业务数据端口获取待校验数据；
[0034]其中，S1中数据校验请求包括待校验数据的生成地址、待校验数据对应的业务数据端口中的至少一种。
[0035](三)有益效果
[0036]与现有技术相比，本专利技术所提供的一种有效控制校验数据量的算法，在数据采集校验过程中，通过不断减少待校验数据的数据长度，使得重复的数据对比次数不断减少，因而数据校验效率将逐步提高，同时采用本方法获得的数据校验效率不会因采集数据增多而受到影响；此外，还提供了在实时校验模式及离线校验模式下基于减少数据对比次数的数据校验算法的数据校验方法，充分满足了使用者的使用需求。
附图说明
[0037]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0038]图1为本专利技术的流程示意图；
[0039]图2为本专利技术中减少数据对比次数的数据校验算法的流程示意图。
具体实施方式
[0040]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0041]一种有效控制校验数据量的算法，如图1所示，
①
接收数据校验请求，获取数据校验请求中待校验数据的数据源信息以及校验模式。
[0042]其中，数据校验请求包括待校验数据的生成地址、待校验数据对应的业务数据端口中的至少一种。
[0043]②
基于数据源信息获取待校验数据，并进行数据采集(通过生产线上的读码器对产品包装上的相关信息进行数据采集)。
[0044]其中，基于数据源信息获取待校验数据，包括：
[0045]根据待校验数据的生成地址从数据服务器获取待校验数据，或者根据待校验数据对应的业务数据端口获取待校验数据。
[0046]③
结合校验模式采用减少数据对比次数的数据校验算法，对采集数据与待校验数据进行数据校验。
[0047]1)如图2所示，减少数据对比次数的数据校验算法，包括：
[0048]S31、将待校验数据存放至集合A，将已校验数据存放至集合B，将采集数据存放至集合C；
[0049]S32、将集合C中的采集数据与集合B中的已校验数据进行数据对比；
[0050]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种有效控制校验数据量的算法，其特征在于：包括以下步骤：S1、接收数据校验请求，获取数据校验请求中待校验数据的数据源信息以及校验模式；S2、基于数据源信息获取待校验数据，并进行数据采集；S3、结合校验模式采用减少数据对比次数的数据校验算法，对采集数据与待校验数据进行数据校验。2.根据权利要求1所述的有效控制校验数据量的算法，其特征在于：所述减少数据对比次数的数据校验算法，包括：S31、将待校验数据存放至集合A，将已校验数据存放至集合B，将采集数据存放至集合C；S32、将集合C中的采集数据与集合B中的已校验数据进行数据对比；S33、若该采集数据不存在于集合B中，则将该采集数据与集合A中的待校验数据进行数据对比；S34、若该采集数据存在于集合A中，则该采集数据为有效数据，同时将该采集数据添加至集合B中，并将集合A中对应的待校验数据删除。3.根据权利要求2所述的有效控制校验数据量的算法，其特征在于：S32中将集合C中的采集数据与集合B中的已校验数据进行数据对比，包括：若该采集数据存在于集合B中，则该采集数据为无效数据，并直接剔除该无效数据。4.根据权利要求3所述的有效控制校验数据量的算法，其特征在于：S33中若该采集数据不存在于集合B中，则将该采集数据与集合A中的待校验数据进行数据对比，包括：若该采集数据不存在于集合A中，则该采集数据为无效数据，并直接剔除该无效数据。5.根据权利要求4所述的有效控制校验数据量的算法，其特征在于：S34中若该采集数据存在于集合A中，则该采集数据为有效数据，同时将该采集数据添加至集合B中，并将集合A中对应的待校验数据删除，包括：采集数据为有效数据时，则集合A的数据长度减1，集合B的数据长度加1。6.根据权...

【专利技术属性】
技术研发人员：陈文正，张兵，
申请(专利权)人：合肥友高物联网标识设备有限公司，
类型：发明
国别省市：