一种有限网络带宽约束下的高维时空场数据实时传输方法技术

本发明专利技术公开了一种有限网络带宽约束下的高维时空场数据实时传输方法，该方法利用张量结构组织数据，通过对待传输数据和传输网络环境的综合评价，选取合理的张量分层策略和张量压缩参数，定义了一种新的层次张量压缩结构，并以该压缩结构为基础，建立自适应于网络环境的数据压缩与流式传输方法。在数据接收客户端,设计了张量动态追加和按需重构机制，极大降低了客户机内存和系统资源占用。利用案例数据，对上述流程加以验证，结果表明上述方法具有实时传输、精度高等特点，满足在有限网络带宽环境下的高维、海量数据实时传输的要求。

【技术实现步骤摘要】
一种有限网络带宽约束下的高维时空场数据实时传输方法
本专利技术涉及高维场数据的传输方法，尤其涉及一种在有限网络带宽约束下的高维时空场数据实时传输方法。
技术介绍
随着对地观测体系的健全以及对大尺度动态现象研究的关注，诸如遥感、气象数据等涉及多个领域、属性各异的高维、海量的时空场数据迅速增长。上述地学流数据具有数据量大、维度高、更新时间快等特点，其在处理过程中有如下几大难点：①地学流数据往往非常庞大，甚至数据的一个切片可达到几个GB；②数据的维度非常高，并且由于需要同时参与运算，具有不可分离性；③分析方法复杂，需要对常用统计分析和特征提取分析提供支撑；④数据更新迅速，需要频繁的处理整个数据集，实现动态更新。现有的时空场数据的组织、存储结构往往针对单一维度栅格数据，难以支撑复杂地理对象与连续地理现象的表达，缺乏有效的时空过程分析、建模与模拟方法。传统的压缩传输的方法有基于SPIHT的感兴趣区域的高光谱图像压缩算法，基于LBG迭代算法的GPU压缩算法，依据邻域算法分析的非线性降维方法，基于深度学习的深度信度网络方法等，上述方法，在数据压缩速度和还原原始数据时存在占用时间长，占用内存大的缺陷。张量是传统向量及矩阵形式数据的高维扩展，可用于表达与计算高维数据。张量是由不同维度的正交基构成，各维度之间线性无关，具有高维的坐标不变性，可看作是矩阵或阵列数据的高维形式，并可直接支撑高维数据的表达、存储与运算。随着多线性代数、张量代数等数学理论的发展，以及诸如可选最小二乘法、高阶SVD等方法的提出，发展了一系列的张量分解模型(CP分解、Tucker分解)，使其在信号处理、文本挖掘、特征解析与动态过程构建等领域有广泛应用。张量模型也可以用于地学分析，包括时空场的数据组织和信息挖掘，并有望为解决高维复杂数据存储和分析方法的单一性问题提供新的思路。名称为“AHierarchicalTensor-BasedApproachtoCompressing,UpdatingandQueryingGeospatialData”的论文公开了一种层次张量的计算方法，该方法通过数据窗口对动态数据进行逐窗口的压缩，其缺点为在确定截取精度时秩Rank的值单一，无法根据实际的网络传输状态和传输条件限制进行有限带宽约束下的数据压缩的动态调整，造成客户机内存和系统资源空间不合理占用。本专利在该文章的基础上，根据网络带宽传输的情况，设计了在不同带宽下数据处理及传输的方案，以保证各分解层的均衡性，以达到最大的空间、时间利用效率。
技术实现思路
专利技术目的：本专利技术针对现有技术存在的问题，提供一种在有限网络带宽约束下的高维时空场数据实时传输方法，该方法引入张量理论，通过张量进行高维时空场数据重组与建模，建立新型的数据表达与存储结构，提出了基于张量结构的数据分层分解与压缩模型，构建了基于张量结构的高维、海量数据的流式传输流程，最后利用时空场数据进行案例验证，实验结果表明，基于张量思想的数据存储模型压缩效率及计算效率均表现优异，有望成为大数据量时代的数据存储、表达、管理及分析的新方向。技术方案：本专利技术所述的有限网络带宽约束下的高维时空场数据实时传输方法包括以下步骤：(1)压缩参数确定：根据待传输的高维时空场数据的维度特征建立分解维度树，并根据实时网络状况确定张量压缩参数秩Rank的值；(2)张量压缩：根据分解维度树及张量压缩参数分解高维场数据，建立分解维度树的叶子节点和非叶子节点的系数矩阵，形成层次张量维度树；(3)层次张量传输：将层次张量维度树经网络媒介传输至客户端，并实时返回网络状态，用于确定下一次数据推送时的数据压缩参数，其中，传输的层次张量分为头文件和数据文件，头文件中包括层次张量维度树、各维度范围以及相应秩Rank的值；(4)层次张量动态追加：对于多业务系统，客户端在接收到数据后若不需要进行显示或分析操作时，则在接收到层次张量文件后，直接将数据文件存储到磁盘空间，将头文件合并到客户端中的头文件集中，完成数据动态追加；(5)层次张量按需重构：当用户提出数据显示或分析请求时，层次张量按需求重构，且在重构过程中完成数据再压缩，构建新的层次张量，以供后续的层次张量动态追加。进一步的，步骤(1)具体包括：(1.1)维度分层参数确定：针对待传输的高维时空场数据，采用对维度的二分分解方法进行降维，并根据降维后的数据设定维度分层参数，采用维度分层策略，得到分解维度树；维度分层参数确定的基本原则是：保证各分解层的均衡性，以达到最大的空间、时间利用效率。(1.2)张量压缩参数确定：根据当前网络状况，以保证传输误差小于阈值的同时尽可能提高压缩比为目标，确定张量压缩参数秩Rank的值。确定张量压缩参数秩的大小时，确定张量压缩参数秩的大小时，所需考虑的传输误差ε和最大压缩比以及传输时间τ的计算公式为：式中α,β,a,b,c,d为系数，由待传输数据的结构和复杂度确定，Rank表示秩，datasize表示原始数据的数据量，Netspeed为网络传输速度，跟网络状态相关，γ为经验参数。进一步的，步骤(2)具体包括：(2.1)叶子节点系数矩阵求解：将待传输的高维时空场数据按维度展开成二维矩阵，得到n个二维矩阵，分别对每个二维矩阵做奇异值分解，提取其中的酉矩阵，并将其按Rank值截断，从而得到n个酉矩阵，所述酉矩阵即为分解维度树叶子节点系数矩阵，其中，n为待传输的高维时空场数据的维度；二维矩阵展开具体步骤为：在分解维度树中非叶子节点的维度作为行，其他维度作为列，对待传输的高维时空场数据进行展开。(2.2)非叶子节点系数矩阵求解：根据底层节点的系数矩阵反解出上层节点的核张量，对核张量做奇异值分解，提取其中的酉矩阵，并将其按Rank值截断，所述截断后的酉矩阵即为对应节点的系数矩阵；其他非叶子节点重复该步骤，直至完成根节点系数矩阵的求解。其中，所述根据叶子节点的系数矩阵反解出上层节点的核张量，通过如下公式计算：H'＝H×1U1T×2U2T×...×dUdT式中，H'表示上层节点的核张量，H为原始张量，×8为张量积符号，表示张量与矩阵相乘，形如表示第*维度的系数矩阵的转置，d表示维度。进一步的，步骤(5)中所述层次张量按需重构的具体步骤为：(5.1)层次张量合并：①将所有需求的分解维度树的叶子节点上的系数矩阵按照所在树中对应位置直接添加形式合并，生成层次张量[Ui,1,Ui,2,...,Ui,N]，形如Ui,*表示第i个分解维度树的第*个叶子节点的系数矩阵，i＝1,…,I，I表示需求的分解维度树的数目，N为叶子节点的个数；②将第k层非叶子节点的系数矩阵按对角形式合并，生成层次张量形如表示第i个分解维度树的第k层的第*个非叶子节点的系数矩阵，k取值为所有非叶子层数，M为当前层非叶子节点的数目；③合并后的层次张量作为对应节点的新的系数矩阵，从而形成层次张量维度树；(5.2)层次张量再压缩：①对层次张量维度树中节点的系数矩阵正交化：对于叶子节点，将叶子结点的系数矩阵展开成二维矩阵，并作QR分解为Q矩阵和R矩阵，将分解的Q矩阵作为对应叶子节点的新的系数矩阵U'；叶子节点处理完后，开始处理第2层节点，将作QR分解为Q矩阵和R矩阵，将Q矩阵作为当前节点的新的系数矩阵B'，式中，Rl表示当前节点的左子节点分本文档来自技高网...

【技术保护点】
一种有限网络带宽约束下的高维时空场数据实时传输方法，其特征在于包括以下步骤：(1)压缩参数确定：根据待传输的高维时空场数据的维度特征建立分解维度树，并根据实时网络状况确定张量压缩参数秩Rank的值；(2)张量压缩：根据分解维度树及张量压缩参数分解高维场数据，建立分解维度树的叶子节点和非叶子节点的系数矩阵，形成层次张量维度树；(3)层次张量传输：将层次张量维度树经网络媒介传输至客户端，并实时返回网络状态，用于确定下一次数据推送时的数据压缩参数，其中，传输的层次张量分为头文件和数据文件，头文件中包括层次张量维度树、各维度范围以及相应秩Rank的值；(4)层次张量动态追加：对于多业务系统，客户端在接收到数据后若不需要进行显示或分析操作时，则在接收到层次张量文件后，直接将数据文件存储到磁盘空间，将头文件合并到客户端中的头文件集中，完成数据动态追加；(5)层次张量按需重构：当用户提出数据显示或分析请求时，层次张量按需求重构，且在重构过程中完成数据再压缩，构建新的层次张量，以供后续的层次张量动态追加。

【技术特征摘要】
1.一种有限网络带宽约束下的高维时空场数据实时传输方法，其特征在于包括以下步骤：(1)压缩参数确定：根据待传输的高维时空场数据的维度特征建立分解维度树，并根据实时网络状况确定张量压缩参数秩Rank的值；(2)张量压缩：根据分解维度树及张量压缩参数分解高维场数据，建立分解维度树的叶子节点和非叶子节点的系数矩阵，形成层次张量维度树；(3)层次张量传输：将层次张量维度树经网络媒介传输至客户端，并实时返回网络状态，用于确定下一次数据推送时的数据压缩参数，其中，传输的层次张量分为头文件和数据文件，头文件中包括层次张量维度树、各维度范围以及相应秩Rank的值；(4)层次张量动态追加：对于多业务系统，客户端在接收到数据后若不需要进行显示或分析操作时，则在接收到层次张量文件后，直接将数据文件存储到磁盘空间，将头文件合并到客户端中的头文件集中，完成数据动态追加；(5)层次张量按需重构：当用户提出数据显示或分析请求时，层次张量按需求重构，且在重构过程中完成数据再压缩，构建新的层次张量，以供后续的层次张量动态追加。2.根据权利要求1所述的有限网络带宽约束下的高维时空场数据实时传输方法，其特征在于：步骤(1)具体包括：(1.1)维度分层参数确定：针对待传输的高维时空场数据，采用对维度的二分分解方法进行降维，并根据降维后的数据设定维度分层参数，采用维度分层策略，得到分解维度树；(1.2)张量压缩参数确定：根据当前网络状况，以保证传输误差小于阈值的同时尽可能提高压缩比为目标，确定张量压缩参数秩Rank的值。3.根据权利要求2所述的有限网络带宽约束下的高维时空场数据实时传输方法，其特征在于：步骤(1.1)中维度分层参数确定的基本原则是：保证各分解层的均衡性，以达到最大的空间、时间利用效率。4.根据权利要求2所述的有限网络带宽约束下的高维时空场数据实时传输方法，其特征在于：步骤(1.2)中确定张量压缩参数秩Rank的大小时，所需考虑的传输误差ε和最大压缩比以及传输时间τ的计算公式为：式中α,β,a,b,c,d为系数，由待传输数据的结构和复杂度确定，Rank表示秩，datasize表示原始数据的数据量，Netspeed为网络传输速度，跟网络状态相关，γ为经验参数。5.根据权利要求1所述的有限网络带宽约束下的高维时空场数据实时传输方法，其特征在于：步骤(2)具体包括：(2.1)叶子节点系数矩阵求解：将待传输的高维时空场数据按维度展开成二维矩阵，得到n个二维矩阵，分别对每个二维矩阵做奇异值分解，提取其中的酉矩阵，并将其按Rank值截断，从而得到n个酉矩阵，所述酉矩阵即为分解维度树叶子节点系数矩阵，其中，n为待传输的高维时空场数据的维度；(2.2)非叶子节点系数矩阵求解：根据底层节点的系数矩阵反解出上层节点的核张量，对核张量做奇异值分解，提取其中的酉矩阵，并将其按Rank值截断，所述截断后的酉矩阵即为对应节点的系数矩阵；其他非叶子节点重复该步骤，直至完成根节点系数矩阵的求解。6.根据权利要求5所述的有限网络带宽约束下的高维时空场数据实时传输方法，其特征在于：步骤(2.1)中，二维矩阵展开具体步骤为：在分解维度树中非叶子节点的维度作为行，其他维度作为列，对待传输的高维时空场数据进行展开。7.根据权利要求5所述的有限网络带宽约束下的高维时空场数据实时传输方法，其特征在于：步骤(2.2)中所述根据叶子节点的系数矩阵反解出上层节点的核张量，通过如下公式计算：...

【专利技术属性】
技术研发人员：胡勇，罗文，李冬双，王健健，刘袁，项丽燕，袁林旺，俞肇元，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：江苏,32