【技术实现步骤摘要】
本专利技术属于海洋数据处理，尤其涉及一种海洋大数据智能轻量化处理方法及系统。
技术介绍
1、随着观测设备和信息技术的不断发展，海洋数据获取手段日益增多，海洋信息数据已呈现出海量特征。海洋大数据并不仅仅指海量数据，更是指半结构化、非结构化、数据量之大以至无法在一定时间内用传统方法进行获取、管理和处理的数据集合。因此，在大数据上云以后，受限于网络带宽、数据处理时效、存储成本以及模型训练复杂度等多方面，本专利技术需要对原始数据进行轻量化处理。这意味着在不损失大数据的价值性的前提下，减少原始数据的规模，以实现快速、准确地传递海洋数据的目标。
2、通过传递得到的海洋大数据，是了解海洋状态、发现海洋过程及规律，解决海洋综合业务的基础，其核心能力是预测未来一段时间内的海洋环境、气候及资源的时空变化，为人类的生存和发展提供帮助。因此，对海洋数据进行轻量化处理是十分必要的。
3、大数据轻量化是指在不损失数据价值性的基础上减少网络传输、存储和训练的数据量，是以价值需求为导向去发现数据和提取数据，并不是简单剔除异常数据。目前，大数据轻量化主要采用特征选取和数据压缩两种方法，但在现有技术中，更多倾向于采用数据压缩的方式。数据压缩是一种将文件压缩成小文件的无损压缩方式，通常采用编码方式进行压缩，例如游程编码、字典编码等。无损压缩意味着在解压缩后能够完整还原原始数据，没有对数据进行舍弃和处理。由于保留了所有原始数据，使数据压缩比较高，但压缩时间较长。无损压缩领域中的经典算法之一是（lempel zip）系列算法，它用一种巧妙的方式将
4、特征提取也是已有的大数据轻量化技术之一，它相较于数据压缩有着很多优势，它能够转换数据为更具解释性的形式，提取最相关、最重要的特征，提高数据质量和可用性，同时加快数据处理速度，节省计算资源。例如，经验正交函数分解方法（empiricalorthogonal function，eof）是一种典型的通过特征选取方式来实现数据轻量化目标的时空分解方法。该方法具有不依赖于固定基函数、能够快速将资料信息集中在几个模态、分解出的空间模态具有实际物理意义等优点，从而迅速成为近年来时空分解的重要方法之一。而这种传统的分解方法分离出的空间模态侧重解释整体时空分布特征，存在取样大小影响分解结果、不全面地描述时空关系等局限性。
5、通过上述分析，现有技术存在的问题及缺陷为：现有技术不能更好地适应不同的数据特征和分析目标。不能更好地实现了海洋大数据轻量化。使得海洋数据分析结果的准确性和可靠性差。
技术实现思路
1、为克服相关技术中存在的问题，本专利技术公开实施例提供了一种海洋大数据智能轻量化处理方法及系统。
2、本专利技术是这样实现的，海洋大数据智能轻量化处理方法，该方法将海洋原始数据利用周期自主选择进行先升维的操作，再根据周期和周期数自动进行降维，然后进行经验正交模态分解，再将自适应方法融入分解的经验正交模态中，捕捉海洋观测或监测数据的时空变异性，自动调整参数，完成海洋观测或监测数据不同数据轻量化；具体包括：
3、s1，数据分解：通过自主选择周期数将原始二维数据矩阵变成三维数据矩阵进行数据升维，再对数据升维的三维数据矩阵自动选择降维后的二维矩阵；对自动选择降维后的二维矩阵海洋历史数据分解成时空系数和时空模态；
4、s2，特征提取：对于要被压缩的数据，基于不同的分解方式进行时空模态以及时空模态的逆矩阵进行特征提取；
5、s3，数据重构：基于特征提取的数据，通过自适应方法选择主成分和时空模态的数量，对获得的主成分和时空模态的数量得到不同重构数据，所述重构数据包括含有时序信息的海洋或气候数据在空间和时间维度变化的时空特征。
6、在步骤s1中，原始二维数据矩阵为历史海洋数据的二维数据矩阵，表达式为：
7、；
8、其中，代表空间数据点，代表时间长度，为空间数据点在时间点的观测值或测量值。
9、所述通过自主选择周期数将原始二维数据矩阵变成三维数据矩阵进行数据升维包括：
10、按压缩率自主将时间长度分解为周期和周期数，利用功率谱分析估计海洋数据的主要周期；根据，其中[]表示取整符号，确定的取值，得到相对应的周期数；
11、当处理海洋大数据时，确立适切的压缩率ω，筛选出满足条件的周期t:，其中表示确定的压缩率，表示利用功率谱分析估计的海洋数据的主要周期，对于满足上述条件的集合为，对应的周期数为，其中表示周期数的合集，在满足条件的基础上，对于满足上述条件的集合为，对应的周期为，自主选择周期和相对应的周期；弃时间长度中超过的部分，并将海洋数据转化为三维矩阵，其中，代表空间数据点，代表一个周期的时间点，代表周期数；
12、选择的所有周期中第个周期下的全部时间和空间点对应的数据，一共有k个矩阵，k是由功率谱分析和自主选择确定；将原始数据从二维变成三维，利用周期数k和时间t进行降维计算；一个周期的数据为：
13、；
14、表示在第个周期下的全部时间和空间点，为在第个周期下空间数据点m在时间点的观测值或测量值。
15、在步骤s1中，对数据升维的三维数据矩阵自动选择降维后的二维矩阵包括：
16、对数据进行降维操作，按照和的大小自动选择降维后的二维矩阵大小，包括：
17、（1）当，周期小于等于周期数，将数据降维成，记，降维后的数据为，表达式为：
18、；
19、式中，和表示降维后的数据，表示数据点i在时间点的观测值或测量值。
20、（2）当，周期大于周期数，将数据降维成，记，降维后的数据为，表达式为：
21、；
22、式中，和表示降维后的数据，表示数据点h在周期的观测值或测量值。
23、在步骤s1中，通过不同的选取方式分解成时空系数和时空模态包括：
24、（i）；计算协方差矩阵，再通过矩阵变换获得矩阵的特征向量，矩阵的特征向量计算为：
25、；
26、式中，时空模态表示的特征向量，表示特征值的对角矩阵；
27、将时空模态投影到矩阵x上得到对应的主成分，即：
28、；
29、同时，计算历史数据时空模态的逆矩阵，通过逆矩阵的计算公式求出时空模态的逆矩阵，和计算出的pc相乘，计算出原始数据x，进行特征提取；表达式为：
30、；
31、其中，为的行列式，为的伴随矩阵，逆矩阵的计算本文档来自技高网...
【技术保护点】
1.一种海洋大数据智能轻量化处理方法，其特征在于，该方法将海洋原始数据利用周期自主选择进行先升维的操作，再根据周期和周期数自动进行降维，进行经验正交模态分解，再将自适应方法融入分解的经验正交模态中，捕捉海洋观测或监测数据的时空变异性，自动调整参数，完成海洋观测或监测不同数据轻量化；具体包括：
2.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤S1中，原始二维数据矩阵为历史海洋数据的二维数据矩阵，表达式为：
3.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤S1中，所述对数据升维的三维数据矩阵自动选择降维后的二维矩阵包括：
4.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤S1中，通过不同的选取方式分解成时空系数和时空模态包括：
5.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤S2中，对于要被压缩的数据，基于不同的分解方式进行特征提取：
6.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤S3中，所述通过自适应方法
7.根据权利要求6所述的海洋大数据智能轻量化处理方法，其特征在于，所述自适应方法具体包括：
8.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤S3对获得的主成分和时空模态的数量利用不同特征提取方式得到不同重构数据中，时，从以下特征提取方式得到数据重构：
9.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤S3对获得的主成分和时空模态的数量利用不同特征提取方式得到不同重构数据中，时，从以下特征提取方式得到数据重构：
10.一种海洋大数据智能轻量化处理系统，其特征在于，该系统通过权利要求1-9任意一项所述的海洋大数据智能轻量化处理方法实现，该系统包括：
...【技术特征摘要】
1.一种海洋大数据智能轻量化处理方法，其特征在于，该方法将海洋原始数据利用周期自主选择进行先升维的操作，再根据周期和周期数自动进行降维，进行经验正交模态分解，再将自适应方法融入分解的经验正交模态中，捕捉海洋观测或监测数据的时空变异性，自动调整参数，完成海洋观测或监测不同数据轻量化；具体包括：
2.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤s1中，原始二维数据矩阵为历史海洋数据的二维数据矩阵，表达式为：
3.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤s1中，所述对数据升维的三维数据矩阵自动选择降维后的二维矩阵包括：
4.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤s1中，通过不同的选取方式分解成时空系数和时空模态包括：
5.根据权利要求1所述的海洋大数据智能轻量化处理方法，其特征在于，在步骤s2中，对于要...
【专利技术属性】
技术研发人员：方泳，王海僮，孔元，孙艳华，荣国才，吴迪，孙久云，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。