一种数据降噪方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术提供一种数据降噪方法、装置、电子设备及可读存储介质，涉及数据处理技术领域，该方法包括：获取目标数据，所述目标数据包括高频数据，所述高频数据为信号频率大于设定频率阈值的信号数据；基于预先设置的阈值门限对所述高频数据进行目标处理，得到降噪高频数据，所述阈值门限根据目标参数确定，所述目标参数包括至少部分：信道带宽、所述高频数据的数据量、迁移速率、所述目标数据对应的小波系数的长度，以及所述高频数据对应的分解层数。本发明专利技术能提高降噪后的数据精确性。本发明专利技术能提高降噪后的数据精确性。本发明专利技术能提高降噪后的数据精确性。

【技术实现步骤摘要】
一种数据降噪方法、装置、电子设备及可读存储介质


[0001]本专利技术涉及数据处理
，具体涉及一种数据降噪方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着云计算技术的发展，网络大数据上云存储的需求不断增长，云存储是由网络虚拟形成的存储平台，将网络大数据进行迁移并存储。在相关技术中，在由于云存储中存在大量噪声，需要通过软阈值或硬阈值对数据进行降噪，再对降噪后的数据进行迁移。但在相关技术中，通过硬阈值对数据进行降噪存在去噪不彻底，通过软阈值对数据进行降噪存在恒定偏差，导致降噪后的数据精确性较低。
[0003]可见，相关技术中存在降噪后的数据精确性较低的问题。

技术实现思路

[0004]本专利技术实施例提供一种数据降噪方法、装置、电子设备及可读存储介质，以解决现有技术中存在降噪后的数据精确性较低的问题。
[0005]为解决上述问题，本专利技术是这样实现的：
[0006]第一方面，本专利技术实施例提供一种数据降噪方法，包括：
[0007]获取目标数据，所述目标数据包括高频数据，所述高频数据为信号频率大于设定频率阈值的信号数据；
[0008]基于预先设置的阈值门限对所述高频数据进行目标处理，得到降噪高频数据，所述阈值门限根据目标参数确定，所述目标参数包括至少部分：信道带宽、所述高频数据的数据量、迁移速率、所述目标数据对应的小波系数的长度，以及所述高频数据对应的分解层数。
[0009]第二方面，本专利技术实施例还提供一种数据降噪装置，包括：r/>[0010]获取模块，用于获取目标数据，所述目标数据包括高频数据，所述高频数据为信号频率大于设定频率阈值的信号数据；
[0011]降噪模块，用于基于预先设置的阈值门限对所述高频数据进行目标处理，得到降噪高频数据，所述阈值门限根据目标参数确定，所述目标参数包括至少部分：信道带宽、所述高频数据的数据量、迁移速率、所述目标数据对应的小波系数的长度，以及所述高频数据对应的分解层数。
[0012]第三方面，本专利技术实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述第一方面所述的数据降噪方法中的步骤。
[0013]第四方面，本专利技术实施例还提供一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如上述第一方面所述的数据降噪方法中的步骤。
[0014]在本申请实施例中，通过获取包括高频数据的目标数据，并基于预先设置的阈值
门限对高频数据进行目标处理，得到降噪高频数据，其中阈值门限通过信道带宽、高频数据的数据量、迁移速率、目标数据对应的小波系数的长度中的至少部分确认，使得阈值门限能更好的去除噪声，保留有效信号，提高了降噪后数据的精确性。
附图说明
[0015]为更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本专利技术实施例提供的一种数据降噪方法的流程图；
[0017]图2是本专利技术实施例提供的降噪过程示意图；
[0018]图3是本专利技术实施例提供的一种数据降噪装置的结构图；
[0019]图4是本专利技术实施例提供的一种电子设备的结构图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]请参见图1，图1是本专利技术实施例提供的一种数据降噪方法的流程图，如图1所示，包括以下步骤：
[0022]步骤101、获取目标数据，所述目标数据包括高频数据，所述高频数据为信号频率大于设定频率阈值的信号数据。
[0023]上述目标数据是对原始数据进行小波函数分解后的数据，包括高频数据和低频数据。应理解，通过小波函数对信号数据进行分解，得到高频数据和低频数据，再对高频数据进行降噪，进而实现对信号数据的降噪。在本申请中，目标数据为进行小波分解后的数据，包括小波分解后的高频数据，通过获取目标数据后对目标数据中的高频数据，进而实现对高频数据的降噪。
[0024]其中，高频数据为小波函数分解后信号频率大于设定频率阈值的信号数据；相应的，第频数据为小波函数分解后信号频率小于或等于设定频率阈值的信号数据。
[0025]应理解，在海量大数据存储中的噪声大致分为两种，一种为分类噪声，具体表示为数据输入的错误或者标记数据的标签信息不足，难以分辨，此类噪声经常发生在边界上，例如有些类别的数据被其他具有相似特性的类别替换掉，造成噪声；另一种为缺失噪声，指大数据中一个或者多个属性值被损坏，缺失噪声多来源于数据传输过程或者大数据存储设备故障，该类噪声具有随机性，与正确值相比稍有偏差，在海量大数据存储迁移场景中这类噪声是影响迁移效率和完整性的主要因素之一。故在本申请实施例中，小波函数选择symN小波基，该小波基能够灵活平衡海量大数据带来的边界问题，同时其具有更好的对称性，有利于减少大数据迁移过程中的缺失噪声。
[0026]步骤102、基于预先设置的阈值门限对所述高频数据进行目标处理，得到降噪高频
数据，所述阈值门限根据目标参数确定，所述目标参数包括至少部分：信道带宽、所述高频数据的数据量、迁移速率、所述目标数据对应的小波系数的长度，以及所述高频数据对应的分解层数。
[0027]上述阈值门限为通过信道带宽、高频数据的数据量、迁移速率、小波系数的长度和分解层数中的部分确定的阈值，而在相关技术中的阈值门限仅通过数据的信号长度确定，使得本申请的阈值门限相对于相关技术中的阈值门限，能针对目标数据的特性(即数据量、迁移速率、迁移目标数据的信道和被分解的层数等)确定阈值门限，再通过阈值门限对目标数据进行目标处理，以使得到的降噪高频数据能更好的去除噪声，保留有效信号。
[0028]其中，阈值门限的变化与信道带宽、数据量、小波系数的长度呈正相关，阈值门限的变化与迁移速率和分解层数呈负相关。
[0029]示例性的，通过迁移速率、信道带宽和数据量确定阈值门限，在迁移速率较大，或者，信道带宽较小的情况下，在迁移过程中产生的噪声较少，此时得到的阈值门限较小，能有利于保留有效信号；在迁移速率较小，或者，信道带宽较大的情况下，在迁移过程中产生的噪声较多，此时得到的阈值门限较大，能更好去除数据中的噪声。而在数据量较多时，在迁移过程中产生的噪声较大，此时得到的阈值门限较大，能增强去除数据中噪声的效果。
[0030]在本申请实施例中，通过获取包括高频数据的目标数据，并基于预先设置的阈值门限对高频数据进行目标处理，得到降噪高频数据，其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据降噪方法，其特征在于，包括：获取目标数据，所述目标数据包括高频数据，所述高频数据为信号频率大于设定频率阈值的信号数据；基于预先设置的阈值门限对所述高频数据进行目标处理，得到降噪高频数据，所述阈值门限根据目标参数确定，所述目标参数包括至少部分：信道带宽、所述高频数据的数据量、迁移速率、所述目标数据对应的小波系数的长度，以及所述高频数据对应的分解层数。2.根据权利要求1所述的方法，其特征在于，所述高频数据为信号的小波系数，所述基于预先设置的阈值门限对所述高频数据进行目标处理，得到降噪高频数据，包括：在所述高频数据的绝对值大于所述阈值门限的情况下，将所述高频数据和所述阈值门限输入至设定处理模型进行数据处理，以输出第一子数据；在所述高频数据的绝对值小于或等于所述阈值门限的情况下，将所述高频数据取零，得到第二子数据；将所述第一子数据与所述第二子数据组合，得到所述降噪高频数据。3.根据权利要求2所述的方法，其特征在于，所述设定处理模型的参数包括第一调整系数和第二调整系数，所述第一调整系数用于调整所述降噪高频数据的函数形状，所述第二调整系数用于调整所述降噪高频数据的函数渐近线；所述将所述第一子数据与所述第二子数据组合，得到所述降噪高频数据之后，所述方法还包括：调整所述设定处理模型中的所述第一调整系数和所述第二调整系数，以使第一相似度大于第一设定相似度阈值，所述第一相似度为所述降噪高频数据和预先获取的小波系数模型的相似度。4.根据权利要求3所述的方法，其特征在于，所述基于预先设置的阈值门限对所述高频数据进行目标处理，得到降噪高频数据，包括：基于预先设置的阈值门限和第一预设公式对所述高频数据进行目标处理，得到降噪高频数据；所述第一预设公式为：其中，为所述降噪高频数据，为所述第一子数据，sng()为符号函数，w
j,k
为所述高频数据，j为分解层数，n为第一调整系数，α为第二调整系数，α∈[0,1]。5.根据权利要求1所述的方法，其特征在于，所述目标参数包括信道带宽、所述高频数据的数据量、迁移速率、所述目标数据对应的小波系数的长度，以及所述高频数据对应的分解层数；所述阈值门限通过如下方法得到：
将信道...

【专利技术属性】
技术研发人员：李腾，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：