一种数据一致性检测方法和装置制造方法及图纸

本申请提供了一种数据一致性检测方法和装置，通过对系统传输的数据的一致性的重要级别进行评估，根据评估结果将部分数据包抽样到样本检测池中进行检验，不影响数据传输过程，且实现了差异性的数据一致性检测，可以有效降低系统的资源消耗。

A method and device for data consistency detection

This application provides a method and device for data consistency detection. By evaluating the important level of the consistency of the data transmitted by the system, some data packets are sampled into the sample detection pool for inspection according to the evaluation results, and the data transmission process is not affected, and the discrepancy of data consistency detection can be realized. Effectively reduce the resource consumption of the system.

【技术实现步骤摘要】
一种数据一致性检测方法和装置
本专利技术涉及数据传输
，特别涉及一种数据一致性检测方法和装置。
技术介绍
传统的数据一致性测试需要针对所有的接收数据进行逐一检测。在大数据时代，数据传输/交换的规模和频率都已经大大增加，使得系统需要耗费大量的资源来实现数据一致性检测，这样的负担已经使得大量系统不堪重负。与此同时，随着底层数据传输技术的不断发展，数据在传输过程中由于物理噪音等原因造成的误码错误已经被大大降低，在这种情况下，对所有的数据逐一检测实际造成了对资源的巨大浪费。
技术实现思路
有鉴于此，本申请提供一种数据一致性检测方法和装置，能有效降低系统的资源消耗。为解决上述技术问题，本申请的技术方案是这样实现的：一种数据一致性检测方法，该方法包括：配置映射表，所述映射表包括：按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；检测周期开始时，根据当前承载业务的类型在映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据在预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3；确定当前检测数据一致性的重要级别值I为S1、S2和S3的和；将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中；将数据包的大小映射为从1到Q的Q个连续映射值，并按照数据包的大小为检验样本池中每个数据包分配映射值；以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证；若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期，确定数据一致；其中，M、N、P、Q、S1、S2、S3为大于0的整数。一种数据一致性检测装置，该装置包括：配置单元、确定单元、和检测单元；所述配置单元，用于配置映射表，所述映射表包括，按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；将数据包的大小映射为从1到Q的Q个连续映射值；所述确定单元，用于检测周期开始时，根据当前承载业务的类型在所述配置单元中的映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据在预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3；并确定当前检测数据一致性的重要级别值I为S1、S2和S3的和；所述检测单元，用于根据确定单元确定的I，将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中；根据所述配置单元配置的映射值，按照数据包的大小为检验样本池中每个数据包分配映射值；以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证；若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期；其中，M、N、P、Q、S1、S2、S3为大于0的整数。由上面的技术方案可知，本申请中通过对系统传输的数据的一致性的重要级别进行评估，根据评估结果将部分数据包抽样到样本检测池中进行检验，不影响数据传输过程，且实现了差异性的数据一致性检测，可以有效降低系统的资源消耗。附图说明图1为本申请实施例中数据一致性检测流程示意图；图2为本申请实施例中应用于上述技术的装置结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本专利技术的技术方案进行详细说明。本申请实施例中提供一种数据一致性检测方案，通过对系统传输的数据的一致性的重要级别进行评估，根据评估结果将部分数据包抽样到样本检测池中进行检验，不影响数据传输过程，且实现了差异性的数据一致性检测，可以有效降低系统的资源消耗。本申请实施例中的数据一致性检测基于数据的重要性、网络繁忙程度，以及传输过程历时故障情况来自适应实现数据完整性检测的过程。具体实现时通过以下三方面来衡量测试数据一致性的重要级别：承载业务、数据吞吐量，以及发生异常和告警的数据量。预先按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；承载的业务越多，分配的业务重要性值越大；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；数据吞吐量越大，分配的数据负载值越大；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；发生异常和告警的数据量越大，分配的安全等级值越大。下面结合附图，详细说明本申请实施例中实现数据一致性检测的过程。为了描述方便，将实现数据一致性检测的设备称为测试设备。参见图1，图1为本申请实施例中数据一致性检测流程示意图。具体步骤为：步骤101，检测周期开始时，测试设备根据当前承载业务的类型在映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据第一预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3。第一预设时间可以为24个小时，也可以为根据实际应用进行配置的具体时间。确定第一预设时间内发生异常和告警的数据量可以通过日志相关信息获取。步骤102，该测试设备确定当前检测数据一致性的重要级别值I为S1、S2和S3的和。以M＝5，N＝10，P＝5为例，则分配1到5的业务重要性值，如普通视频传输为2，语音传输为4，网页传输为5，加密文本传输为8；1到10的数据负载值，如对于带宽为200Mbps的网络，流量为40Mbps以下为1，40Mbps-80Mbps为2，以此类推，160-200Mbps为5，1到5的安全等级值，如第一预设时间内发生5次以内告警为1，5-10次为2，以此类推，发生20次以上为5，假设当前业务承载的类型对应的业务重要性值为2，系统当前的吞吐量的大小对应的数据负载值为6，第一预设时间内日志发生异常和告警的数据量对应的安全等级值为1。则I为2、6、1的和9。步骤103，该测试设备将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中。根据上述假设，该设备将9/20作为抽样比例进行抽样。步骤104，该测试设备将数据包的大小映射为从1到Q的Q个连续映射值，并按照数据包的大小为检验样本池中每个数据包分配映射值。为数据包大的数据包分配值大的映射值。假设Q＝5，则为检验样本池中的每个数据包分配1到5的值中的一个值。步骤105，该测试设备以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证。以上述具体举例，则以9/4位数据期望，生成随机数序列。步骤106，若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期。结束当前检测周期，即当前周期内不再进行数据一致性检测。若第二预设本文档来自技高网...

【技术保护点】
1.一种数据一致性检测方法，其特征在于，该方法包括：配置映射表，所述映射表包括：按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；检测周期开始时，根据当前承载业务的类型在映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据在预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3；确定当前检测数据一致性的重要级别值I为S1、S2和S3的和；将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中；将数据包的大小映射为从1到Q的Q个连续映射值，并按照数据包的大小为检验样本池中每个数据包分配映射值；以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证；若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期，确定数据一致；其中，M、N、P、Q、S1、S2、S3为大于0的整数。...

【技术特征摘要】
1.一种数据一致性检测方法，其特征在于，该方法包括：配置映射表，所述映射表包括：按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；检测周期开始时，根据当前承载业务的类型在映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据在预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3；确定当前检测数据一致性的重要级别值I为S1、S2和S3的和；将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中；将数据包的大小映射为从1到Q的Q个连续映射值，并按照数据包的大小为检验样本池中每个数据包分配映射值；以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证；若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期，确定数据一致；其中，M、N、P、Q、S1、S2、S3为大于0的整数。2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：若第二预设时间内验证失败的数据包的个数不小于预设阈值，则将重要级别值加1作为当前重要级别值，进行数据包抽取和验证，直到预设时间内验证失败的数据包的个数小于预设阈值，或当前检测周期结束。3.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：若将重要级别值加1后值大于M+N+P，则使M+N+P作为重要级别值，进行数据包抽取和验证。4.一种数据一致性检测装置，其特征在于，该装置包括：配置单元、确定单元、和检...

【专利技术属性】
技术研发人员：韩涵，
申请(专利权)人：工业和信息化部电信研究院，
类型：发明
国别省市：北京,11