【技术实现步骤摘要】
本专利技术涉及数据处理，具体为一种基于数据链路的通信数据的清洗方法。
技术介绍
1、数据链路是指通过一条或多条通信信道，在两个或两个以上的dte之间，为任意两个相邻结点间提供数据的点到点传输的通信链路。数据链路也称为链路，它与一条或多条物理链路相对应。数据链路层中，每条链路上除了必须运行数据链路层协议外，还必须运行该链路所用的物理层协议，在数据链路内包含的数据量过多或者类型过于复杂时，则需要及时的进行清洗，以便于提高数据传输及通信的效率。
2、在授权公告号为cn1115065676b的中国专利技术专利中，公开了一种数据的跨库清洗方法、装置、计算机设备和存储介质，该方法包括：如果确定待清洗的目标数据集存储于多个目标数据库中，则分别建立与各目标数据库间的通信连接；在确定通信连接建立后，从存储于各目标数据库的目标数据集中，获取具有依赖关系的依赖数据集存储于缓存中；对缓存中的依赖数据集和存储于各目标数据库中的独立数据集，执行数据清洗操作。
3、以上申请将多个数据库中具有依赖关系的数据单独进行缓存，可以在不进行数据库间的数据备份的基础上，进行跨数据库的数据清洗，达到了在跨数据库的数据清洗过程中无需任一数据库停服的技术效果，极大的减少了操作时间和成本。
4、但是现有的通信数据清洗方法中，在对各个数据库，也即对存储区域内的数据进行清洗时，并不会将数据的写入状态考虑在内，通常是将整个存储区域都暂停或减缓数据的写入和读取，然后再进行数据清洗，这就会使存储区域当前的数据读取效率大为降低，而若是不暂停数据的写入和读
5、为此，本专利技术提供了一种基于数据链路的通信数据的清洗方法。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本专利技术提供了一种基于数据链路的通信数据的清洗方法，通过识别获取各个数据组的数据质量特征，生成数据质量系数，若其超过质量阈值，发出清洗指令；由数据条件集合生成各个子区域内数据处理的清洗优先值，对各个子区域内的清洗优先值进行排序，以所获取的排序作为清洗顺序；识别获取各个子区域内数据的清洗特征，并从预先构建的试清洗方案库内匹配出若干个相对应的待选方案，从若干个待选方案内选择出推荐方案；连续获取若干个数据质量系数，预测数据质量系数超过相应质量阈值的耗时，若其短于预期，则发出提醒指令。对各个子区域的繁忙程度形成评价，依据评价结果对各个子区域的工作状态进行调整，以延长其工作寿命，以解决
技术介绍
中提出的技术问题。
3、(二)技术方案
4、为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于数据链路的通信数据的清洗方法，包括如下内容：若储存区域内有数据被不断写入，则由数据写入的状态数据建立数据接收状态集合，并由数据接收状态集合生成数据接收的接收状态系数ct(s,n)，若数据接收状态系数ct(s,n)超过状态阈值时，向外部发出预警指令；
5、接收到预警指令后，对子区域内的数据组完成预处理，识别获取各个数据组的数据质量特征，汇总后生成存储区域内的数据质量集合，并由数据质量集合生成数据质量系数tq(s,q)，若所获取的数据质量系数tq(s,q)超过质量阈值，发出清洗指令；
6、结合各个子区域内的数据写入和读取状态，建立数据条件集合，由数据条件集合生成各个子区域内数据处理的清洗优先值yp(p,s)，具体方式如下：将数据更替比qp及读取次数qs做线性归一化处理，将相应的数据值映射至区间[0，1]内，再依照如下公式：
7、
8、权重系数：0≤ζ≤1，0≤ψ≤1，且ζ+ψ＝1，对各个子区域内的清洗优先值yp(p,s)进行排序，以所获取的排序作为清洗顺序；
9、识别获取各个子区域内数据的清洗特征，并从预先构建的试清洗方案库内匹配出若干个相对应的待选方案，使用训练后的数据存储模型对待选方案的可用性进行仿真分析，依据分析结果从若干个待选方案内选择出推荐方案；
10、在执行推荐方案后，使用训练后的数据存储模型对数据的质量参数进行预测，建立数据质量集合，由数据质量集合连续获取若干个数据质量系数tq(s,q)，预测获取数据质量系数tq(s,q)超过质量阈值的耗时，若其短于预期，则发出提醒指令。
11、进一步的，对数据的接收状态进行监测，以获取接收周期内的数据接收状态，获取每个接收周期内数据的接收量，生成数据接收量ss；将存储区域划分若干个子区域，获取各个接收周期内的写入比p，进而计算获取存储区域内数据分布的均匀度un；
12、连续获取若干个接收量ss及均匀度un汇总后，生成数据接收状态集合；由数据接收状态集合生成数据接收的接收状态系数ct(s,n)，若数据接收状态系数ct(s,n)超过状态阈值时，部发出预警指令。
13、进一步的，由数据接收状态集合生成数据接收的接收状态系数ct(s,n)，其具体方式如下：将接收量ss及均匀度un做线性归一化处理后，将相应的数据值映射至区间[0，1]内，再依照如下公式：
14、
15、其中，为接收量的历史均值，ssi为其当前值；为均匀度的历史均值，uni为其当前值；n为正整数，i＝1，2，…，n，为检测周期的个数，权重系数：0≤β≤1，0≤α≤1，且α+β＝1。
16、进一步的，依据数据种类对接收的数据进行数据分类，获取若干个不同的数据组，对各个数据组内的数据做预处理后，识别获取各个数据组内的数据质量特征，包括：
17、将各个组数据内的数据沿着其获取时间做有序排列，并做数据分析以分别获取各个数据组内数据的质量参数，包括相对极差sxs、偏态系数pxs以及峰度系数kss，将各个数据组内的以上数据汇总后，建立存储区域内的数据质量集合。
18、进一步的，由数据质量集合生成数据质量系数tq(s,q)，其具体方式如下：
19、将各个数据组内的相对极差sxs、偏态系数pxs以及峰度系数kss做归一化处理，将相应的数据值映射至区间[0，1]内，再依照如下公式生成各个子区域的数据质量值tp(s,s,s)：
20、
21、其中，参数意义为：n为大于1的正整数，i＝1，2，…，n，为子区域内数据组的数量，权重系数：0≤f1≤1，0≤f2≤1，0≤f3≤1且f3+f2+f1＝1，所述为相对极差的均值，为偏态系数的均值，为峰度系数的均值。
22、进一步的，由数据质量值生成数据质量系数tq(s,q)，具体方式如下：
23、
24、其中，i＝1，2，…，m，m为子区域的个数，为大于1的正整数，qi为子区内数据质量中间值，为子区域的数据质量值的均值；若所获取的数据质量系数tq(s,q)超过预设的质量阈值，向外部发出清洗指令。
25、进一步的，在接收到清洗指令后，在查询周期内，获取各个子区域内的各本文档来自技高网...
【技术保护点】
1.一种基于数据链路的通信数据的清洗方法，其特征在于：包括如下内容：
2.根据权利要求1所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
3.根据权利要求2所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
4.根据权利要求1所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
5.根据权利要求4所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
6.根据权利要求5所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
7.根据权利要求6所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
8.根据权利要求7所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
9.根据权利要求8所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
10.根据权利要求1所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
【技术特征摘要】
1.一种基于数据链路的通信数据的清洗方法，其特征在于：包括如下内容：
2.根据权利要求1所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
3.根据权利要求2所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
4.根据权利要求1所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
5.根据权利要求4所述的一种基于数据链路的通信数据的清洗方法，其特征在于：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。