基于分布式拟牛顿投影追踪的数据重构方法技术

本发明专利技术公开了基于分布式拟牛顿投影追踪的数据重构方法，包括以下步骤：将待重构的数据分为公共部分和个体部分；各个计算节点将待重构数据的支撑集发送给邻居计算节点；各个计算节点根据自身计算出的支撑集和从邻居计算节点获得的支撑集，获得公共部分支撑集；各个计算节点根据公共部分支撑集、收集到的压缩数据、测量矩阵及公共部分和个体部分的稀疏度，迭代重构压缩数据。本发明专利技术在数据重构过程中使得各个计算节点能够得到整个网络中的数据，获取全局信息，可以运用于具有公共分量的分布式网络中数据的恢复，满足更多场景的需求；而且数据重构的速度更快，精度更高。

Data reconstruction method based on distributed quasi Newton projection tracking

【技术实现步骤摘要】
基于分布式拟牛顿投影追踪的数据重构方法
本专利技术涉及一种基于分布式拟牛顿投影追踪的数据重构方法，属于数据重构

技术介绍
随着信息技术的不断发展，人们获取数据的规模越来越大。在众多分布式应用中，如何能够快速高效地实现数据的重构具有重要的作用。分布式系统中需要处理的数据分散在多个节点内，需要将数据传输到服务器进行数据的联合重建。因此，在数据重构时分布式网络中需要传递大量的信息，从而造成带宽的消耗和数据重构的延时。目前，分布式系统中数据重建主要采用集中式处理的方法，将各节点数据全部传输到服务器集中处理，需要消耗大量的带宽并产生较长时间的延迟，无法满足越来越大规模的分布式系统中对压缩数据快速、精准地重构的需求。已有的分布式贝叶斯算法通过将数据分解成公共部分和个体部分，利用变分贝叶斯推断进行迭代重构，但是由于其各个计算节点之间仅仅交互公共部分的数据信息，因此其各个计算节点不能获取到全局的信息，无法满足某些应用场景(例如在智能交通中，需要各个计算节点知道全局信息用以调节)，而且数据重构的速度和精度还有待提高。
技术实现思路
本专利技术的目的在于，提供一种基于分布式拟牛顿投影追踪的数据重构方法，它可以有效解决现有技术中存在的问题，实现更快速、更精确的进行数据重构，同时还可以获取全局信息，满足更多场景的需求。为解决上述技术问题，本专利技术采用如下的技术方案：基于分布式拟牛顿投影追踪的数据重构方法，包括以下步骤：将待重构的数据分为公共部分和个体部分；各个计算节点将待重构数据的支撑集发送给邻居计算节点；各个计算节点根据自身计算出的支撑集和从邻居计算节点获得的支撑集，获得公共部分支撑集；各个计算节点根据公共部分支撑集、收集到的压缩数据、测量矩阵及公共部分和个体部分的稀疏度，迭代重构压缩数据。优选的，具体包括以下步骤：S1，将待重构的数据分为公共部分和个体部分；初始化各个计算节点的待重构数据的支撑集以及数据残差；S2，各个计算节点将获得的最新的待重构数据的支撑集发送给邻居计算节点；S3，各个计算节点根据自身计算出的最新的支撑集和从邻居计算节点获得的最新的支撑集，获得公共部分支撑集；S4，各个计算节点利用MODQNPP函数，根据所述公共部分支撑集、收集到的压缩数据、测量矩阵及公共部分和个体部分的稀疏度，获得更新的待重构数据的支撑集、更新的重构的稀疏数据以及更新的数据残差；S5，判断更新的数据残差的二范数的平方是否比上一次获得的数据残差的二范数的平方小？若是，则转到S2；否则将上一次获得的重构的稀疏数据作为最终的重构数据输出。通过以上方法进行数据重构，尤其是通过结合MODQNPP函数进行数据重构，从而可以使得重构过程中数据迭代次数较少，重构速度较快，重构精度较高，并且能够使得各个计算节点获取到网络的全局信息。更优选的，步骤S3中，计算节点根据自身计算出的最新的支撑集和从邻居计算节点获得的最新的支撑集，选择出现频率最高的前K(c)个作为公共部分支撑集，其中，K(c)为公共部分的稀疏度。通过该方法获取公共部分支撑集，从而能够保证在尽量准确的情况下计算更加简单，有利于提高数据重构的速度。前述的基于分布式拟牛顿投影追踪的数据重构方法中，步骤S4具体包括以下步骤：S41，进行数据初始化：若则r0＝resid(y,Ax0)，否则k＝0，x0＝0，其中，表示公共部分的稀疏度K(c)和个体部分的稀疏度之和；T0表示支撑集，表示整个网络中的公共部分的支撑集，表示测量矩阵A基于支撑集T0的投影，y表示收集到的压缩数据，x0表示初始化重构的稀疏信号，resid表示计算y与的差值；S42，令k＝k+1，计算其中，dk表示牛顿方向，xk-1表示第k-1次迭代获得的重构的稀疏信号，I表示单位矩阵，Λk表示向量中前个最大值的索引值，并取相应计算结果基于Λk的投影；S43，计算其中，μk表示步长，k表示迭代次数，Tk-1表示上一次迭代计算出的支撑集，表示测量矩阵A基于Tk-1的投影；S44，计算获得更新的待重构数据的支撑集Tk：其中，Tk表示第k次迭代获得的支撑集，xk-1表示第k-1次迭代获得的重构的稀疏信号，max_indices表示xk-1+μkdk的前个最大值的索引值；S45，计算获得更新的待重构的数据xk：其中Tk表示第k次迭代计算出的支撑集，表示测量矩阵A基于Tk的投影；S46，计算获得更新的数据残差rk：S47，判断是否成立？若是，则转到S42，否则直接输出本次迭代获得的Tk、xk和rk。通过以上方法获得Tk、xk和rk，计算简单并且重构精度较高，重构速度较快，尤其是采用本专利技术中对dk的更新方法，使得本专利技术的数据重构精度更高，且重构速度较快。前述的基于分布式拟牛顿投影追踪的数据重构方法中，步骤S1中，通过以下方法初始化各个计算节点的待重构数据的支撑集以及数据残差：初始化公共部分和个体部分的稀疏度，利用MODQNPP函数，根据收集到的压缩数据、测量矩阵及公共部分和个体部分的稀疏度，获得待重构数据的支撑集以及数据残差；其中，将公共部分支撑集设置为空。上述的基于分布式拟牛顿投影追踪的数据重构方法中，步骤S2中，所述的迭代重构压缩数据，即构造目标函数，使得其收敛：其中，y为收集到的压缩数据，A为测量矩阵，x为待重构的稀疏信号。与现有技术相比，本专利技术通过将每次迭代各计算节点计算出的支撑集与其它计算节点进行交换，进而可以得到公共稀疏部分支撑集，并将其作为下一次迭代的数据进行迭代计算，直到数据达到收敛。本专利技术在数据重构过程中使得各个计算节点能够得到整个网络中的数据，获取全局信息，可以运用于具有公共分量的分布式网络中数据的恢复，满足更多场景的需求；而且数据重构的速度更快，精度更高。另外，专利技术人通过现有数据分析以及大量的实验对比，在模拟数据(即测量矩阵A为随机生成的m×n的矩阵，随机选择K个不大于n的索引值，并在其对应索引值处随机产生数据作为待重构的稀疏信号xi，通过随机产生的信号xi计算yi＝Aixi+ei，其中ei为高斯噪声)。在计算节点数为5，稀疏度m＝120，n＝300，支撑集整个网络中的公共部分的支撑集k＝0，x0＝0，数据残差r0＝yi的情况下，利用本专利技术的方法进行数据重构误差为5.5965e-4，相较于已有的分布式压缩数据重构算法(即
技术介绍
中提到的“分布式贝叶斯算法”)的重构误差为6.7254e-4而言提升了16.8％，重构速度提高了21.3％；在采用真实数据(2012年黑河流域中游生态水文无线传感器网络土壤温度的数据集(黑河生态水文遥感试验：2012年黑河流域中游生态水文无线传感器网络BNUNET土壤温湿度观测数据集http://westdc.westgis.ac.cn/heihe/view/uuid/0a2e1ce6-f322-4d0f-82ee-70446123dba1))的情况下，应用于计算节点数为35，m＝60,n＝128时，利用本专利技术的方法进行数据重构误差为0.0083，相较本文档来自技高网...

【技术保护点】
1.基于分布式拟牛顿投影追踪的数据重构方法，其特征在于，包括以下步骤：将待重构的数据分为公共部分和个体部分；各个计算节点将待重构数据的支撑集发送给邻居计算节点；各个计算节点根据自身计算出的支撑集和从邻居计算节点获得的支撑集，获得公共部分支撑集；各个计算节点根据公共部分支撑集、收集到的压缩数据、测量矩阵及公共部分和个体部分的稀疏度，迭代重构压缩数据。/n

【技术特征摘要】
1.基于分布式拟牛顿投影追踪的数据重构方法，其特征在于，包括以下步骤：将待重构的数据分为公共部分和个体部分；各个计算节点将待重构数据的支撑集发送给邻居计算节点；各个计算节点根据自身计算出的支撑集和从邻居计算节点获得的支撑集，获得公共部分支撑集；各个计算节点根据公共部分支撑集、收集到的压缩数据、测量矩阵及公共部分和个体部分的稀疏度，迭代重构压缩数据。


2.根据权利要求1所述的基于分布式拟牛顿投影追踪的数据重构方法，其特征在于，具体包括以下步骤：
S1，将待重构的数据分为公共部分和个体部分；初始化各个计算节点的待重构数据的支撑集以及数据残差；
S2，各个计算节点将获得的最新的待重构数据的支撑集发送给邻居计算节点；
S3，各个计算节点根据自身计算出的最新的支撑集和从邻居计算节点获得的最新的支撑集，获得公共部分支撑集；
S4，各个计算节点利用MODQNPP函数，根据所述公共部分支撑集、收集到的压缩数据、测量矩阵及公共部分和个体部分的稀疏度，获得更新的待重构数据的支撑集、更新的重构的稀疏数据以及更新的数据残差；
S5，判断更新的数据残差的二范数的平方是否比上一次获得的数据残差的二范数的平方小？若是，则转到S2；否则将上一次获得的重构的稀疏数据作为最终的重构数据输出。


3.根据权利要求2所述的基于分布式拟牛顿投影追踪的数据重构方法，其特征在于，步骤S3中，计算节点根据自身计算出的最新的支撑集和从邻居计算节点获得的最新的支撑集，选择出现频率最高的前K(c)个作为公共部分支撑集，其中，K(c)为公共部分的稀疏度。


4.根据权利要求2所述的基于分布式拟牛顿投影追踪的数据重构方法，其特征在于，步骤S4具体包括以下步骤：
S41，进行数据初始化：若则r0＝resid(y,Ax0)，否则k＝0，x0＝0，其中，表示...

【专利技术属性】
技术研发人员：王颖，孟婕，李国瑞，
申请(专利权)人：秦皇岛职业技术学院，
类型：发明
国别省市：河北;13