大数据核心特征提取方法、电子设备及存储介质技术

本发明专利技术提供了一种大数据核心特征提取方法、电子设备及存储介质，首先获取待提取数据，并根据待提取数据构建张量表示的高维数据；对高维数据进行正交Tucker分解，得到核张量和各模对应的因子矩阵；将核张量、各模对应的因子矩阵、高维数据输入到预先建立的张量优化模型中，采用块坐标下降算法对张量优化模型进行求解，得到待提取数据的低维特征；其中，张量优化模型中设置有l1‑

【技术实现步骤摘要】
大数据核心特征提取方法、电子设备及存储介质


[0001]本专利技术属于数据处理
，尤其涉及一种大数据核心特征提取方法、电子设备及存储介质。

技术介绍

[0002]随着互联网、物联网、云计算等科学技术的飞速发展，智能产品、社交媒体、网络通信和感知设备等产生的大数据汇集在信息
‑
物理
‑
社会系统(CPSS，Cyber Physical Social System)中，这些大数据数据具备多源、异构、高维、混杂等特点。直接对CPSS大数据进行处理与分析，会给计算机带来巨大的存储与计算开销，并且由于大数据具有的低秩性，导致产生的冗余效果会较大影响各类机器学习、模式识别等任务的精度与效率。为了解决高维数据的维度灾难问题，在保留重要信息的前提下，需要对高维数据进行降维来提取特征。
[0003]通过降维处理不仅减少数据存储空间，还可以通过降低数据特征空间的维度来提取数据的有效特征，进而更好地完成各种学习任务。现有技术中，常用的降维方法有两种：第一种是基于向量或矩阵的数据表示的降维方法，例如主成分分析、核主成分分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据核心特征提取方法，其特征在于，包括：获取待提取数据，并根据所述待提取数据构建张量表示的高维数据；对所述高维数据进行正交Tucker分解，得到核张量和各模对应的因子矩阵；将所述核张量、所述各模对应的因子矩阵、所述高维数据输入到预先建立的张量优化模型中，采用块坐标下降算法对所述张量优化模型进行求解，得到所述待提取数据的低维特征；其中，所述张量优化模型中设置有l1‑
正则化项和流形正则化框架。2.根据权利要求1所述的大数据核心特征提取方法，其特征在于，将所述核张量、所述各模对应的因子矩阵、所述高维数据输入到预先建立的张量优化模型中，采用块坐标下降算法对所述张量优化模型进行求解，得到所述待提取数据的低维特征，包括：在所述张量优化模型的约束下对核张量和各模对应的因子矩阵进行迭代更新，并在每次迭代更新完成后，根据更新前的核张量、更新前各模对应的因子矩阵、更新后的核张量、更新后各模对应的因子矩阵和所述高维数据，确定更新后的核张量是否满足预设规则；若更新后的核张量满足预设规则，则将其作为所述待提取数据的低维特征；若更新后的核张量满足不预设规则，则在所述张量优化模型的约束下进行下一次迭代更新。3.根据权利要求2所述的大数据核心特征提取方法，其特征在于，每次迭代更新的步骤为：根据更新前的核张量和所述高维数据对更新前各模的因子矩阵进行更新，得到更新后各模对应的因子矩阵；根据更新后各模对应的因子矩阵和所述高维数据对更新前的核张量进行更新，得到更新后的核张量。4.根据权利要求3所述的大数据核心特征提取方法，其特征在于，所述根据更新前的核张量和所述高维数据对更新前各模的因子矩阵进行更新，得到更新后各模对应的因子矩阵，包括：其中，为更新后的第n模因子矩阵，U
n
为第n模的因子矩阵，为第i个N维的高维数据的n模展开，i∈(1，M)，为指示函数，，，，，，I
n
为第n个特征空间的维度，R
n
为核张量的第n模的维数，表示的乘积矩阵。5.根据权利要求3所述的大数据核心特征提取方法，其特征在于，根据更新后各模对应
...

【专利技术属性】
技术研发人员：符蕴芳，张艮山，符瑞毅，陈永肖，祁瑞丽，方明辉，
申请(专利权)人：石家庄学院，
类型：发明
国别省市：