一种基于卡方检验的电磁频谱噪声提取和滤波算法制造技术

本发明专利技术提供了一种基于卡方检验的电磁频谱噪声提取和滤波算法，本算法通过定量和定性的多标准来判定噪声分布参数，可以处理和区分这些奇异样本，且处理精度与正常样本一样。即在外端设备输入信号数据后，通过本算法实现了噪声提取和滤波，为后续分开输出存储噪声和信号数据提供了数据处理准备，为信号时域和频谱的监测及分析提供了技术支持。

【技术实现步骤摘要】
一种基于卡方检验的电磁频谱噪声提取和滤波算法
本专利技术涉及涉及：复杂信号中的样本统计、参数估计、噪声提取和滤波等理论的算法，特别是涉及一种基于卡方检验的电磁频谱噪声提取和滤波算法。
技术介绍
随着电子科技的快速发展，电磁频谱环境日趋复杂，对于一些民用电磁频谱的监测和管理要求也越来越高。在复杂的环境下，难以预料未来将接收到的信号的参数。在没有先验信息的情况下，信号和噪声都是具有随机不确定性的。而非民用系统的信号区分度要求更高、处理速度需求更快，更需要对这些信号进行一个快速检验和分离。在无线电监测中即将接收到的信号的时域和频域特征是未知的，噪声参数也是未知的。对这类信号的处理存在的问题是：唯一的已知条件是白噪声在时域或者频域中的服从高斯分布，因此算法同时实现噪声提取和滤波非常困难。现有一些方法只能单一的提取均值且误差较大、计算复杂、不能得到具体的噪声随机分布的方差。一些滤波算法无法在滤波的同时提取噪声信息。奇异样本的存在会对定量算法的处理结果造成很大偏差，现有算法无法区分和处理奇异样本。因此实现算法的同时需要解决这些问题。而从参数估计出发，利用蒙特卡诺的思想得到噪声和信号的信息，这种思路本身也是新颖的。
技术实现思路
本专利技术为复杂信号的噪声提取提供了实现的理论和算法。相比于现有一些处理方法，本算法能同时得到随机噪声的均值和方差，信息量更全面、精度更高，为后续滤波的精度提供了参数条件。和其它算法相比，这种通过参数估计来提取噪声和滤波的方式，过程简单、适用性更广、便于移植和功能提取。由于通过统计的方法进行计算，数据量的增加对处理速度的影响相比而言更小，即使信号和噪声相差很小都能识别出来。普遍的随机理论和算法处理奇异性样本非常困难，奇异样本又是不可能避免的且会造成很大偏差。本算法通过定量和定性的多标准来判定噪声分布参数，可以处理和区分这些奇异样本，且处理精度与正常样本一样。即在外端设备输入信号数据后，通过本算法实现了噪声提取和滤波，为后续分开输出存储噪声和信号数据提供了数据处理准备，为信号时域和频谱的监测及分析提供了技术支持。为实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：一种基于卡方检验的电磁频谱噪声提取和滤波算法，包括如下步骤：步骤1：分区及统计处理：截取某时刻每段信号数据，对数据的值从最小值到最大值的范围内(集合U)按一定宽度D进行分区并得到分区个数N：U＝∪Ai(1)对样本数据进行频数直方图统计，并转换为统计概率Pi，并求得概率累积值：步骤2：统计特征量计算：以分区个数为循环变量，第i次循环时取i个分区，对概率进行整理，并将其向右对称复制，得到数量为2i的一组数据，这组数据的统计概率如下：根据新的循环过程中的统计概率，得到最大似然估计下的均值和方差为：步骤3：参数的正定迭代：以最大似然估计下的参数为初值，为满足最小二乘法，可得：为保证方差的非负性，需保证迭代的正定性，得正定的迭代公式如下：其中表示标准高斯分布的分布函数式，(7)式右边分子分母均是正定，保证了方差取值始终有意义，使得迭代收敛，所以迭代总会成功；步骤4：分布检验和拟合度记录：以迭代结果的方差和均值作为高斯白噪声的分布函数的参数拟合结果，进行卡方检验，卡方分布的自变量为：以自变量和其自由度作为卡方分布的参数，可求得卡方分布的值。其中卡方分布的值由编写的伽马函数和不完全伽马函数进行数值计算。由此得到的卡方分布计算值作为样本分布参数估计的显著性检验标准，即参数估计的拟合度Fi，记为第i步拟合度；步骤5：重复更新选定值：重复第2步到第4步，得每组的拟合度。由第一到第四标准，记录各标准下的横坐标最大处的参数值；求出所有拟合度中最大值处的参数值；求出拟合度中处于最右边的一个极大值处的参数值；步骤6：提取噪声及滤波：根据噪声的拟合的参数值，得到均值为噪声线，并得到高斯分布的占概率较大的部分，取μ±3σ的范围视为随机噪声的范围，对这个范围内的噪声进行滤波，得到信号，并通过接口函数输出信号与噪声的计算结果；步骤7更新时间：下一时刻，重复第1到第6步，不断得到数据信息，为实时输出提供数据；建立与无线电频谱扫描相接的动态库和调用方法：将某选中频谱段的每一次扫描的数据进行频谱分段，创建多线程分别对每段频谱进行噪声提取，同时调用动态库的算法。最终得到每个时刻每个频率分段的噪声的均值线、方差和滤掉噪声后平滑信号。进一步的，所述第一到第四标准为0.05、0.01、0.002、0.0002。进一步的，所述步骤5中，最终的符合高斯白噪声的参数值的判定规则包括如下方法：若第一到第四标准的横坐标值与最右极值标准的接近，取最右极值处的参数值；若第一到第四标准中有多个比较接近，且其中存在横坐标值远大于(在一定程度上远离)最右极值标准的，取这些远大于最右极值的横坐标对应的参数值为最终结果；若第一到第四标准大部分接近且这些部分的横坐标远小于最右极值标准的横坐标，则取最右极值。区别与现有技术，本专利技术的有益效果是：1.本算法实现了无线电信号的噪声提取和滤波：利用参数估计和分布拟合检验，将统计特性转换成了参数结果。通过频段扫描的数据最终噪声的均值线、方差和滤掉噪声后的平衡信号，为后续电磁空间频谱监测和分析提供了新的技术支持。2.对奇异性样本依然可行：本算法利用定量和定性的多标准判定得到最终结果，不局限于以前常用的定量的显著性标准的概念，由奇异性样本仍然可以得到同样精度的参数；3.计算量小，内存消耗较小，信号和噪声之间识别度大：本算法通过最大似然估计和最小二乘法估计的结合对参数进行迭代，减少迭代次数。移植性和通用性较好。将原始数据都转换为统计数据，因此数据数量的增加仅仅影响统计过程而对参数求解过程影响较小，可处理大量数据。在信号和噪声参数值相差较小的情况下依然可以准确的提取信号。4.可实现无线电信号扫描数据的实时处理：将无线电信号的频谱扫描的数据结果进行分段，通过建立多线程调用动态库算法的方法同时对每段频谱进行噪声提取和滤波，大大减少了计算速度，使得频谱扫描的速度和噪声提取及滤波的计算速度相对同步。附图说明图1是本专利技术实施例基于卡方检验的电磁频谱噪声提取和滤波算法流程图。图2是本专利技术实施例第一组信号的信号频谱扫描数据图图3是本专利技术实施例第一组信号电平统计概率图。图4是本专利技术实施例第一组信号噪声参数分段提取结果。图5是本专利技术实施例第二组信号的信号频谱扫描数据图图6是本专利技术实施例第二组信号电平统计概率图。图7是本专利技术实施例第二组信号噪声参数分段提取结果。图8是本专利技术实施例第三组信号的信号频谱扫描数据图图9是本专利技术实施例第三组信号电平统计概率图。图10是本专利技术实施例第三组信号噪声参数分段提取结果。图11是本专利技术实施例第四组信号的信号频谱扫描数据图图12是本专利技术实施例第四组信号电平统计概率图。图13是本专利技术实施例第四组信号噪声参数分段提取结果。图14是本专利技术实施例第五组信号的信号频谱扫描数据图图15是本专利技术实施例第五组信号电平统计概率图。图16是本专利技术实施例第五组信号噪声参数分段提取结果。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通本文档来自技高网...

【技术保护点】
一种基于卡方检验的电磁频谱噪声提取和滤波算法，包括如下步骤：步骤1：分区及统计处理：截取某时刻每段信号数据，对数据的值从最小值到最大值的范围内(集合U)按一定宽度D进行分区并得到分区个数N：U＝∪Ai   (1)

【技术特征摘要】
1.一种基于卡方检验的电磁频谱噪声提取和滤波算法，包括如下步骤：步骤1：分区及统计处理：截取某时刻每段信号数据，对数据的值从最小值到最大值的范围内(集合U)按一定宽度D进行分区并得到分区个数N：U＝∪Ai(1)对样本数据进行频数直方图统计，并转换为统计概率Pi，并求得概率累积值：步骤2：统计特征量计算：以分区个数为循环变量，第i次循环时取i个分区，对概率进行整理，并将其向右对称复制，得到数量为2i的一组数据，这组数据的统计概率如下：根据新的循环过程中的统计概率，得到最大似然估计下的均值和方差为：步骤3：参数的正定迭代：以最大似然估计下的参数为初值，为满足最小二乘法，可得：为保证方差的非负性，需保证迭代的正定性，得正定的迭代公式如下：其中表示标准高斯分布的分布函数式，(7)式右边分子分母均是正定，保证了方差取值始终有意义，使得迭代收敛，所以迭代总会成功；步骤4：分布检验和拟合度记录：以迭代结果的方差...

【专利技术属性】
技术研发人员：周光耀，易翔，沈强，罗冲，魏洪俊，刘波，付刚，朱廷希，
申请(专利权)人：成都中星世通电子科技有限公司，
类型：发明
国别省市：四川,51