【技术实现步骤摘要】
本专利技术涉及海洋观测数据压缩领域，特别是涉及一种海洋观测数据自适应压缩方法、装置及系统和存储介质。
技术介绍
1、随着海洋观测和数值模拟的快速发展，海洋数据的传输、存储和提取需求呈现出指数级增长。在这种形势下，对海洋数据的有效压缩变得至关重要。
2、一、海洋数据压缩的必要性
3、海洋模式数据不仅数量庞大，而且具有时空性和冗余性。传统的数据压缩方法，如奇异值分解(svd)和主成分分析(pca)，在处理这类数据时往往难以达到理想的压缩效果和精度。因此，开发高效、精准的压缩技术对于解决数据存储空间不足、降低传输成本和提高数据处理速度具有重要意义。
4、二、现有方法实现海洋数据压缩的不足
5、1.压缩精度低：传统的数据压缩方法在处理海洋观测数据时，往往难以保留数据的细节，破坏完整性，导致压缩后的数据精度下降。在分析数据时可能会导致结果失真或误差增大。
6、2.处理效率慢：由于海洋模式数据的高复杂度，现有压缩方法在处理过程中可能面临计算量大、耗时长的挑战。这不仅增加了数据处理成本，还可能影响实时分析和响应的速度。
7、3.适应性有限：传统压缩方法可能无法充分适应海洋数据的动态变化和多样性。例如，它们可能难以处理不同来源、不同格式和不同特性的海洋数据。
8、4.无损压缩技术的局限：虽然无损压缩能够在保证数据完整性的同时进行压缩，但其压缩比通常较低，占用空间较大。这可能无法满足大规模海洋数据的存储和传输需求。
9、综上所述，海洋数据的压缩是必要的
技术实现思路
1、提供了本专利技术以解决现有技术中存在的上述问题。因此，需要一种海洋观测数据自适应压缩方法、装置及系统和存储介质，应用改进的奇异值分解技术实现无损压缩，同时利用两个指数来评估分块模式的优劣，以选择最优的分块模式，保证海洋观测数据的压缩精度和效率。
2、根据本专利技术的第一方案，提供了一种海洋观测数据自适应压缩方法，所述方法包括：
3、获取海洋观测数据；
4、将所述海洋观测数据以矩阵形式重新排列为方阵，并保留排成方阵过程中的数据残余量；
5、以所述方阵作为第一分块模式，将所述方阵均分为n个小方阵，并保留均分方阵过程中的数据残余量，作为第二分块模式，将所述小方阵进一步均分为n个小方阵，得到4^k个小方阵，作为第k分块模式；
6、利用奇异值分解方法对所述4^k个小方阵进行压缩；
7、根据设置的误差限度来调整压缩后小方阵的奇异值数量；
8、根据压缩后小方阵的奇异值数量来确定最佳分块模式。
9、进一步地，以所述方阵作为第一分块模式，将所述方阵均分为n个小方阵，并保留均分方阵过程中的数据残余量，作为第二分块模式，将所述小方阵进一步均分为n个小方阵，得到4^k个小方阵，作为第k分块模式，包括：
10、若方阵的大小为64×64，则将64×64大小的方阵作为第1分块模式，将方阵分块成4个32×32的小方阵，作为第2分块模式，将32×32的小方阵分块成16个16×16的数据矩阵，作为第3分块模式；
11、若方阵的大小为63×63，则将63×63大小的方阵作为第1分块模式，将63×63大小的方阵分块成4个31×31的小方阵，作为第2分块模式，并且把剩余的125个数据保留作为均分方阵过程中的数据残余量，记录所述数据残余量所在的原位置，分将成4个31×31的小方阵块成16个15×15的小方阵，作为第3分块模式，并将剩余的244个数据保留作为均分小方阵过程中的数据残余量，记录所述数据残余量所在的原位置。
12、进一步地，利用奇异值分解方法对所述4^k个小方阵进行压缩，包括：
13、获取小方阵a，所述小方阵a是一个m×n矩阵，a＝usvt，其中s表示矩阵，u和vt表示正交矩阵，m和n分别表示矩阵的行列数，从矩阵s中选取p个奇异值组成对角矩阵s′，表示为：
14、
15、其中，p表示奇异值个数，表示前p个奇异值对应的子矩阵，0p×(n-p)、0(m-p)×p和0(m-p)×(n-p)表示数值为0的子矩阵；
16、选取p个奇异值后，将正交矩阵u和vt分别划分为四个子矩阵：
17、
18、
19、其中，和是u的四个子矩阵，和是v的四个子矩阵；
20、进一步地，所述方法还包括对压缩后的数据进行解压，包括：
21、在解压缩过程中，u1·u2＝0，u1·u3＝0，u2·u3＝0，……，其中ui是第i个列向量，u11通过解线性方程组从u11被压缩后所转化为的三角矩阵恢复：
22、
23、其中，ui,j表示第i个列向量的第j个元素；
24、依次求解线性方程组，其中未知元素被标记为ui,j。通过求解第一个方程组，得到u1,2，代入到第二个方程组中求解得到u1,3和u2,3。以此类推，在求解了p-1组方程后，得到恢复后的u11；
25、通过如下公式得到解压后的数据矩阵a′：
26、
27、进一步地，根据设置的误差限度来调整压缩后小方阵的奇异值数量，包括：
28、通过如下公式计算压缩比：
29、
30、其中，表示压缩比，m表示矩阵的行数，n表示矩阵的列数，pi表示每个小方阵保留的奇异值数量，n表示划分的小方阵数量；
31、通过如下公式计算重构误差：
32、
33、其中，εmae表示重构误差，ai,j表示矩阵第i行第j列元素，a′i,j表示经过了压缩解压过程重构的矩阵的第i行第j列元素；
34、以在重构误差限度内实现最大压缩比作为目标，确定压缩后小方阵的奇异值数量。
35、进一步地，以在重构误差限度内实现最大压缩比作为目标，确定压缩后小方阵的奇异值数量，包括：
36、初始化一个p值进行计算，若所计算得到的重构误差不处于设定的重构误差限度内，且p>pmax时，直接存储数据，其中pmax为使得压缩有意义的最大p值，
37、若所计算得到的重构误差不处于设定的重构误差限度内，且p＜pmax时，则p增加1，并计算对应的压缩比，以最大压缩比所对应的p值为压缩后小方阵的奇异值数量。
38、进一步地，根据压缩后小方阵的奇异值数量来确定最佳分块模式，包括：
39、对于一个m×m的小方阵，使用奇异值分解方法进行压缩后所需存储的元素数量是其中k代表分块模式的编号，pki表示着第k个分块模式第i个方阵保留的奇异值数量。
40、被定义为块指数，若第k1本文档来自技高网...
【技术保护点】
1.一种海洋观测数据自适应压缩方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，以所述方阵作为第一分块模式，将所述方阵均分为n个小方阵，并保留均分方阵过程中的数据残余量，作为第二分块模式，将所述小方阵进一步均分为n个小方阵，得到4^k个小方阵，作为第k分块模式，包括：
3.根据权利要求1所述的方法，其特征在于，利用奇异值分解方法对所述4^k个小方阵进行压缩，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括对压缩后的数据进行解压，包括：
5.根据权利要求1所述的方法，其特征在于，根据设置的误差限度来调整压缩后小方阵的奇异值数量，包括：
6.根据权利要求5所述的方法，其特征在于，以在重构误差限度内实现最大压缩比作为目标，确定压缩后小方阵的奇异值数量，包括：
7.根据权利要求1所述的方法，其特征在于，根据压缩后小方阵的奇异值数量来确定最佳分块模式，包括：
8.一种海洋观测数据自适应压缩装置，其特征在于，所述装置包括：
9.一种海洋观测数据自适应压缩系
10.一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行根据权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种海洋观测数据自适应压缩方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，以所述方阵作为第一分块模式，将所述方阵均分为n个小方阵，并保留均分方阵过程中的数据残余量，作为第二分块模式，将所述小方阵进一步均分为n个小方阵，得到4^k个小方阵，作为第k分块模式，包括：
3.根据权利要求1所述的方法，其特征在于，利用奇异值分解方法对所述4^k个小方阵进行压缩，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括对压缩后的数据进行解压，包括：
5.根据权利要求1所述的方法，其特征在于，根据设...
【专利技术属性】
技术研发人员：王祎硕，周锋，周木平，曾定勇，林燕，马晓，田娣，孟启承，张逸轩，
申请(专利权)人：自然资源部第二海洋研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。