一种高维数据协同变化幅度识别方法及装置制造方法及图纸

本文提供了一种高维数据协同变化幅度识别方法及装置，其中，方法包括：对高维数据样本进行预处理，得到数据矩阵X，其中，预处理包括：对齐高维数据的频率及填补高维数据的缺失值；利用抽样周期T0对数据矩阵X进行抽样处理，得到多个子数据矩阵X

【技术实现步骤摘要】
一种高维数据协同变化幅度识别方法及装置


[0001]本文涉及数据分析领域，尤其涉及一种高维数据协同变化幅度识别方法及装置。

技术介绍

[0002]现有技术中存在较多的高维数据，例如声波阵列信号、强噪环境信号、金融数据及经济数据等，这些高维数据包含多个变量(也可称之为指标)，这些变量之间存在协同性变化，以经济数据(包含多个经济变量)为例，现有对经济数据协同性变化分析的主要实现方式为：利用Geweke、Sargent和Sims(1977)提出的动态因子模型(Dynamic Factor Model,DFM)从一系列宏观经济变量中提取出单一因子，以描述变量间的协同运动，从而解决了采用单一经济变量表示数据变化存在的局限性。但是，该方法仅能仅能处理频率相同的经济数据，且当分析数据的维度增加时，DFM模型将变得不稳定。伴随社会分工细化和经济活动多样化，经济数据的维度呈现出暴发增长，该分析方法难以精确的确定经济数据的协同变化幅度，进而使得利用经济数据协同变化幅度分析得到的经济周期、经济周期拐点判断不准确。

技术实现思路

[0003]本文用于解决现有技术中，对于高维数据的分析仅从中提取单一变量因子，用于表示高维数据中所有变量的协同变化，该种方法并不能精确地表示高维数据协同变化幅度的问题。
[0004]为了解决上述问题，本文的第一方面提供一种高维数据协同变化幅度识别方法，包括：
[0005]对高维数据样本进行预处理，得到数据矩阵X，其中，预处理包括：对齐高维数据的频率及填补金融数据的缺失值；
[0006]利用抽样周期T0对数据矩阵X进行抽样处理，得到多个子数据矩阵X
i
；
[0007]根据所有子数据矩阵X
i
，计算所述数据矩阵X的协方差矩阵估计V；
[0008]对所述协方差矩阵估计V进行特征分解，得到特征向量Vx；
[0009]将数据矩阵X在特征向量Vx方向进行投影，得到高维数据协同变化幅度。
[0010]本文进一步实施例中，填补所述高维数据的缺失值包括：利用如下公式所示的前向插值法填补所述高维数据的缺失值：
[0011]E[Dt,j]＝Dt
‑
k,j，
[0012]其中，Dt
‑
k,j为高维数据中的j变量在采样时间t之前最近可得的数据记录，E[Dt,j]为高维数据中的j变量在采样时间t的填充值，t
‑
k为最近的数据记录的采样时间。
[0013]本文进一步实施例中，根据所有子数据矩阵X
i
，计算所述数据矩阵X的协方差矩阵估计V，包括：
[0014]利用Newey
‑
West协方差矩阵调整方法，估计各子数据矩阵X
i
的协方差矩阵V
i
；
[0015]对各子数据矩阵X
i
的协方差矩阵V
i
进行加权平均处理，将计算得到的平均值作为
所述数据矩阵X的协方差矩阵估计V。
[0016]本文进一步实施例中，对所述协方差矩阵估计V进行特征分解，得到特征向量Vx，包括：
[0017]对所述协方差矩阵估计V进行特征分解，将最大特征值对应的特征向量作为特征向量Vx。
[0018]本文进一步实施例中，高维数据协同变化幅度识别方法还包括：
[0019]对所述高维数据协同变化幅度按抽样周期T0进行抽样，得到高维数据协同变化幅度序列
[0020]对所述高维数据协同变化幅度序列做累加处理，得到所述高维数据协同变化幅度的累计变化指数。
[0021]本文进一步实施例中，对所述高维数据协同变化幅度按抽样周期T0进行抽样，得到高维数据协同变化幅度序列包括利用如下公式计算高维数据协同变化幅度序列中每一协同变化幅度：
[0022][0023]其中，为高维数据每个抽样周期T0抽样的协同变化幅度，s
j
为高维数据中第j个协同变化幅度，T为预定时间段，floor(T/T0)为对(T/T0)向下取整，i为重新抽样后序列的日期索引。
[0024]本文进一步实施例中，高维数据协同变化幅度识别方法还包括：根据所述高维数据协同变化幅度的累计变化指数及上一年同期的累计变化指数，计算得到所述高维数据周期波动的同比变化量。
[0025]本文的第二方面提供一种高维数据协同变化幅度识别装置，包括：
[0026]预处理模块，用于对高维数据样本进行预处理，得到数据矩阵X，其中，预处理包括：对齐高维数据的频率及填补高维数据的缺失值；
[0027]抽样模块，用于利用抽样周期T0对数据矩阵X进行抽样处理，得到多个子数据矩阵X
i
；
[0028]计算模块，用于根据所有子数据矩阵X
i
，计算所述数据矩阵X的协方差矩阵估计V；
[0029]分解模块，用于对所述协方差矩阵估计V进行特征分解，得到特征向量Vx；
[0030]投影模块，用于将数据矩阵X在特征向量Vx方向进行投影，得到高维数据协同变化幅度。
[0031]本文的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述任一项所述的高维数据协同变化幅度识别方法。
[0032]本文的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行计算机程序，所述计算机程序被处理器执行时实现前述任一实施例所述的高维数据协同变化幅度识别方法。
[0033]本文提供的高维数据协同变化幅度识别方法及装置，适用于声波阵列信号、强噪环境信号、金融数据及经济数据等高维数据的分析，通过对高维数据样本进行预处理，得到数据矩阵X，其中，预处理包括：对齐高维数据的频率及填补金融数据的缺失值；利用抽样周
期T0对数据矩阵X进行抽样处理，得到多个子数据矩阵X
i
；根据所有子数据矩阵X
i
，计算所述数据矩阵X的协方差矩阵估计V；对所述协方差矩阵估计V进行特征分解，得到特征向量Vx；将数据矩阵X在特征向量Vx方向进行投影，得到高维数据协同变化幅度，能够解决高维数据频率不一、发布时间不对齐的问题，使得计算出的高维数据协同变化幅度与实际情况相符，提高高维数据协同变化幅度的精确度。
[0034]为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
[0035]为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1示出了本文实施例高维数据协同变化幅度识别方法的第一流程图；
[0037]图2A示出了本文实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高维数据协同变化幅度识别方法，其特征在于，包括：对高维数据样本进行预处理，得到数据矩阵X，其中，预处理包括：对齐高维数据的频率及填补高维数据的缺失值；利用抽样周期T0对数据矩阵X进行抽样处理，得到多个子数据矩阵X
i
；根据所有子数据矩阵X
i
，计算所述数据矩阵X的协方差矩阵估计V；对所述协方差矩阵估计V进行特征分解，得到特征向量Vx；将数据矩阵X在特征向量Vx方向进行投影，得到高维数据协同变化幅度。2.如权利要求1所述的方法，其特征在于，填补所述高维数据的缺失值，包括：利用如下公式填补所述高维数据的缺失值：E[Dt,j]＝Dt
‑
k,j，其中，Dt
‑
k,j为高维数据中j变量在采样时间t之前最近的数据记录，E[Dt,j]为高维数据中j变量在采样时间t的填充值，t
‑
k为最近的数据记录的采样时间。3.如权利要求1所述的方法，其特征在于，根据所有子数据矩阵X
i
，计算所述数据矩阵X的协方差矩阵估计V，包括：利用Newey
‑
West协方差矩阵调整方法，估计各子数据矩阵X
i
的协方差矩阵V
i
；对各子数据矩阵X
i
的协方差矩阵V
i
进行加权平均处理，将计算得到的平均值作为所述数据矩阵X的协方差矩阵估计V。4.如权利要求1所述的方法，其特征在于，对所述协方差矩阵估计V进行特征分解，得到特征向量Vx，包括：对所述协方差矩阵估计V进行特征分解，将最大特征值对应的特征向量作为特征向量Vx。5.如权利要求1所述的方法，其特征在于，还包括：对所述高维数据协同变化幅度按抽样周期T0进行抽样，得到...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：通联数据股份公司，
类型：发明
国别省市：