用于提供数据流中数据的谱估计的方法及设备技术

为了处理数据速率的突然起伏，流环境通常规定不完整或近似的算法执行。这种限制在计算和存储器资源通常受限的移动环境（例如传感器网络）中更突出。这里介绍的是用于对连续数据流进行谱和周期性估计的新颖的“资源自适应”算法。公式基于谱的闭合形式增量计算的导出，所述公式由可以适应可用ＣＰＵ资源的智能负载流出模式扩充。实验表明提出的技术是可行的，并且是实时谱评估的资源高效解决方案。

【技术实现步骤摘要】

本专利技术涉及有限资源条件下流数据的谱(spectrum)或周期图(periodogram)估计。
技术介绍
此后在方括号[ ]中提供的数字被索引到本公开内容结束处提供的参考文献列表。谱估计，即信号的频率内容的分析，是许多应用，例如数据压缩、医学数据分析(ECG数据)[2]、音乐内容的音调检测[4]以及其它应用中的核心操作。广泛使用的频率内容的估计器是序列的周期图和自相关[5]。对于静态存储的序列，两种方法均具有利用快速富立叶变换(FFT)的O(nIogn)复杂度。对于动态更新的序列(流情况)，通过FFT计算中总和的连续更新，通过使用瞬时富立叶变换[12，9，15]可增量计算相同估计器。然而，在具有对计算资源‘竞争’进行的多个进程的高速数据流环境中，不能保证给每个进程分配足够处理时间来完全完成其操作。代替阻塞或放弃不能完全完成的处理线程的执行，对系统期望的折衷将会是对自适应过程计算进行规定。在该处理模型下，每个分析单元(例如，在该情况下‘周期图估计单元’)在严格的处理约束条件下可以提供部分(‘粗略’)结果。在上述处理模型和所提供的有限处理时间情况下，人们可能不追求准确或理想的结果，而是只要“足够好”就行。即使如此，由于典型的流应用会需要快速、‘运行时(on-the-fly)’的决定，具有示例性效率的智能采样方法会代表通过对常规努力的显著改进。因而，除其它之外，已经认识到与实现这种改进相关的需要。
技术实现思路
根据本专利技术的至少一个当前优选的实施例，这里广泛考虑了基于资源(例如CPU、存储器等)可用性的周期图估计的方法和设备。基于仅当其值不能通过预先所看到的序列值预测时才记录样本的“轻型”线性预测器，这里还广泛考虑了可以决定是否保留或丢弃所检查的样本的智能采样方法。并且，考虑到对于采样过程，不保证保留的数据样本(被检查的数据窗口的子集)是等间隔的，这里也考虑了在非均匀间隔样本的情况下闭合形式(closed-form)周期图估计的具体细节。总之，本专利技术的一个方面提供了一种提供数据流中数据的谱估计的方法，该方法包括基于资源可用性提供谱估计的步骤。本专利技术的另一个方面提供了一种用于提供数据流中数据的谱估计的设备，该设备包括用于基于资源可用性提供谱估计的装置。此外，本专利技术的附加方面提供了一种机器可读的程序存储设备，其有形地体现机器可执行的指令程序，以执行用于提供数据流中数据的谱估计的方法步骤，该方法包括基于资源可用性提供谱估计的步骤。附图说明通过下面结合附图进行的详细描述将能够明白本专利技术的以上所述和其它目的、特性和优点，其中图1提供了本专利技术方法的一般图示。图2图解了非均匀采样信号。图3图解了用于样本的自适应削减(pruning)的线性插值模式。图4图解了智能采样对比等采样(equi-sampling)技术的谱估计误差比较。图5提供了对附加数据集的估计的比较。图6针对weblog数据图解了针对不同阈值的谱逼近。图7针对混沌数据(chaotic data)图解了针对不同阈值的谱逼近。图8图解了阈值估计器训练阶段。图9提供了针对不同压缩率的谱估计的比较。图10提供了针对不同压缩率的采样技术的比较。图11图解了当被应用于流汽车测量时，本专利技术算法的试验结果。图12提供了对比预测误差直方图。具体实施例方式一般而言，考虑到数据流环境，这里所提出的一个目的是提供用于估计和更新当前数据窗口内的谱的有效机制。同样地，周期图可被用作谱的估计。图1提供了根据本专利技术的一个优选实施例的资源自适应方法的示意图。(注意，在整个公开内容中，术语“周期性估计”、“谱估计”和“周期图估计”被可互换地使用，并且意指基本上相同的现象。)简要地，在数据流100的检查窗口102范围(context)内，负载流出(load-shedding)设备将提供智能采样模式(104)。在决定点106处，如果存在不足的CPU时间(108)，则将移除更多点(110)以便产生该范围的谱估计(112)。但是如果提供足够的CPU时间(114)，则基本上不需要中间步骤来得出谱估计(116)。该过程将被更详细地描述如下。基本上，在任意规定时间处，可能没有足够处理能力来利用数据窗口内的所有样本提供周期图更新。解决该问题的第一步是利用‘运行时’负载流出模式来减少点。二次采样可导致数据混叠，并且使估计的周期图的质量恶化。因此，采样不应仅是快速的，而且应是智能的，从而减轻二次采样对估计的周期图的均方误差的影响。采样基于仅当其值不能通过其相邻值来预测时保留才样本的线性预测器。为适当适配于当前CPU负载，也采用估计器单元，其随时间改变线性预测器的‘弹性’。如果存在足够CPU时间来处理最终数量的保留样本，则计算该谱。否则，随机丢弃更多样本，并且对剩余样本计算新的估计。近似周期图的计算基于DFT的公式以及利用非均匀间隔样本的周期图，其为由于采样过程而非常期望的步骤。在滑动时窗模型下，一些先前所使用的样本被丢弃，而新样本被加进窗口。这里提出的周期估计算法拥有非常简单的更新结构，其仅需要从丢弃的样本中减去贡献，以及加上由于新包含的样本而产生的贡献。现在参照特定的实现，离散傅里叶变换被用来分析离散并且均匀采样的信号中的频率内容。具体地，对于离散时间信号x[n]，针对所有样本0≤m，n≤N-1，DFT X[m]被定义为X[m]=1NΣn=0N-1x[n]e-j2πnmN...(1)]]>信号的周期图P对应于其DFT的能量P[m]＝||X[m]||2(2)现在考虑，离散时刻{t0，t1，...，tN-1}处的非均匀采样的连续信号x(t)。图2中示出了这个的例子。可以利用离散符号将该非均匀采样信号写成x[kn]，其中ti＝kiT(ki∈Z+)，并且T对应于具有作为倍数的全部采样时刻的采样间隔。这也在图2中示出。(这里将描述保留非均匀间隔采样的自适应负载流出算法，同时为这种离散信号提供增量DFT估计。)可以根据计算中涉及的加(减)、乘和除的数目来测量算法复杂度。因此，可将单个乘法的复杂度标记为ξMul，将除法标记为ξDiv，以及将加/减法标记为ξSub。结合负载流出模式，可考虑运行谱分析的典型问题，在谱分析中我们滑动窗口穿过时间信号并且增量地更新信号的DFT(以及相应的周期图)。优选地，以均匀采样信号开始，采样间隔为T。考虑窗口滑过固定量Width×T。作为该滑动的结果，我们从信号的开始处丢弃n1个点，并且给末端增加n2个点。然而，如果可用CPU周期不允许我们利用所有的点更新DFT，则可以利用非均匀二次采样自适应地削减所增加的点的集合以满足CPU约束，同时将对更新DFT的准确度的影响最小化。现在说明用于新增加的样本的自适应削减的算法(具有线性复杂度)。为了决定是否可以保留具体样本，可以优选地确定它是否可从其相邻样本线性预测出。(高阶预测器也是可能的，但是显然会导致较高的复杂度。)尤其是，为针对样本ki作出决定，优选地将内插值xint[ki]与实际值x[ki]相比较，其中计算内插值为xint[ki]=x[ki-1](ki+1-ki)+x[ki+1](ki-ki-1)ki+1-ki-1...(3)]]>其中样本ki-1是样本ki之前的最后保留样本，样本ki+1是本文档来自技高网...

【技术保护点】
一种提供数据流中数据的谱估计的方法，所述方法包括基于资源可用性提供谱估计的步骤。

【技术特征摘要】
US 2006-3-24 11/389,3441.一种提供数据流中数据的谱估计的方法，所述方法包括基于资源可用性提供谱估计的步骤。2.如权利要求1所述的方法，其中所述提供谱估计的步骤包括基于资源可用性提供周期图估计。3.如权利要求2所述的方法，所述方法进一步地包括从数据流中采样数据；所述提供周期图估计的步骤包括基于资源可用性来使用采样数据。4.如权利要求3所述的该方法，其中所述采样步骤包括从数据窗口内的数据流中采样数据；确定是否保留或丢弃采样数据；所述确定步骤包括应用数据预测器，仅在数据样本的值不能由先前遇到的数据流部分来预测的情况下，数据预测器才提示该数据样本的保留；并且所述提供周期图估计的步骤包括基于保留的数据样本更新周期图。5.如权利要求4所述的方法，其中所述确定步骤包括仅在数据样本的值不能由相邻数据样本预测的情况下，线性预测器才提示该数据样本的保留。6.如权利要求5所述的方法，其中所述改变步骤包括响应当前CPU负载改变线性预测器的弹性。7.如权利要求4所述的方法，其中所述确定步骤包括确定是否有足够CPU时间可用于保留指定数量的数据样本；以及所述确定步骤包括如果没有足够CPU时间可用于引入指定数量的数据样本，则随机丢弃数据样本。8.如权利要求4所述的方法，其中所述采样步骤包括从滑动数据窗口内的数据流中采样数据；所述方法进一步地包括自适应地与滑动数据窗口一致地丢弃数据样本；所述自适应丢弃的步骤包括确定并使用用于控制数据样本丢弃的可变阈值；以及所述确定和使用可变阈值的步骤包括估计通过在先前遇到的数据流部分上进行训练所导出的阈值。9.如权利要求4所述的方法，其中所述更新步骤包括在保留的非均匀间隔数据样本的情况下更新周期图。10.如权利要求1所述的方法，其中所...

【专利技术属性】
技术研发人员：米查尔弗拉乔斯，迪帕克斯里尼瓦斯图拉加，俞士伦，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]