一种基于SPD流形切空间和局部LDA的SPD数据降维算法制造技术

本发明专利技术提出一种基于基于SPD流形切空间和局部LDA的SPD数据降维算法，实现数据降维算法的构建需要了解数据间的关系，数据降维算法的构建都是基于数据集并非针SPD数据。所以与常见的大数应用不同，本发明专利技术采用一个SPD数据表示一个多维数据集。在此数据集表示中，半对称SPD数据是SPD最小线性扩集，(1)本文采用仿射不变的黎曼度量、单位矩阵的切空间以及log变换，把SPD数据从黎曼流形变换到单位矩阵切空间，从而使得SPD与单位矩阵的测地距离与变换后切向量与切空间原点的欧式距离变换保持不变；(2)所谓SPD的局部判别差异就是先把SPD数据分解成一个一个局部，然后根据SPD数据的所属类别(标签)计算SPD数据的局部判别差异。属类别(标签)计算SPD数据的局部判别差异。属类别(标签)计算SPD数据的局部判别差异。

【技术实现步骤摘要】
一种基于SPD流形切空间和局部LDA的SPD数据降维算法


[0001]本专利技术属于机器学习领域，涉及把SPD数据的局部判别差异与SPD流行切空间有机结合的降维算法，具体是基于SPD流形切空间降维算法，最大限度的保持了SPD原始数据的的几何结构与类别信息。

技术介绍

[0002]目前，非欧数据越来越多的出现在机器学习的各种应用中。对称正定(SPD)矩阵的双线性变换是目前最为常见的SPD数据降维框架，其中的变换矩阵可以根据不同的准则确定，从而产生不同的SPD数据降维算法。SPD矩阵的双线性变换本质上是二个黎曼流形之间的变换，由于黎曼流形不是线性空间，现在大多数SPD数据双线性变换降维算法都避开SPD矩阵之间的线性运算。
[0003]数据降维算法可以分成二类：线性的数据降维算法，如PCA、MDS、LDA、MAF、SFA、SDR、ICA、DML等等；非线性的数据降维算法，如Kernel PCA、Kernel LDA、ISOMAP、LTSA、LPP、LE、LLE、HLLE、Diffusion MAP、Sammon Mapping等等。然而，这些算法都是针对一维或二维数据，不是针对多维数据。
[0004]SPD数据由于其丰富的信息存储和表征数据变化的能力，被广泛采用于用于人脸识别，目标检测和医学图像分类，通过高斯概率分布函数建模的协方差矩阵用于视频人脸识别，基于图像集的协方差矩阵用于视频人脸识别，区域协方差矩阵被用于视频人脸识别，图像分割和纹理识别，利用联合协方差描述符的SPD矩阵用于行为识别，SPD矩阵构造的弥散张量用于医学图像处理。而当维数升高时，SPD数据高计算复杂度所带来的维度灾难问题也是研究人员们面对的重要挑战。为此，对基于固有非线性几何结构的黎曼流形的降维研究就显得具有非常重要的现实意义。
[0005]在机器学习中，数据一般有二种属性：内在属性和外在属性。数据在数据空间的分布是数据的内在属性，而(在有监督的学习中)数据的类别信息(标签)是外在属性。数据的外在属性随着应用场合的不同而不同。例如，在人脸的身份识别中，同一个人的不同姿态、不同表情、不同光线的照片都被赋予同样的标签，但在人脸的表情识别中，同一种表情的不同人、不同姿态、不同光线的照片都被赋予同样的标签。同一张人脸照片，在身份识别和表情识别中被赋予了不同的标签。怎样把数据的内在属性和外在属性有机地结合，是机器学习算法追求的目标。
[0006]本专利技术提出的算法首先根据张量数据的空间分布，把SPD数据集分解为一个一个局部，然后根据张量数据的标签计算每个局部的判别差异，从而较好的实现张量数据内在和外在属性的结合。

技术实现思路

[0007]本专利技术提出一种基于SPD流形切空间和局部LDA的SPD数据降维算法，实现数据降维算法的构建需要了解数据间的关系，由于此原因，数据降维算法的构建都是基于数据集
并非针对单个数据。
[0008]SPD数据具有特殊性质是，(1)首先，在一定的拓扑结构下SPD数据可以演进为一个微分流形，而微分流形每一个点的切空间都是线性空间。特别地，本专利技术证明SPD流形每一个点的切空间都与对称矩阵空间线性同构。对称矩阵包含SPD矩阵，因此，对称矩阵空间实际上是SPD流形的最小线性扩集，即对称矩阵空间是包含SPD流形的最小线性空间。(2)其次，从微分流形的层次来说，它每一点的切空间只是线性空间，不是距离空间，支持线性运算，但不支持距离度量。为此，我们在SPD流形的基础上进一步定义黎曼度量，使得SPD流形演进为一个黎曼流形。所谓黎曼度量也就是一个光滑的内积场，于是，SPD流形每一点的切空间都是有限维的内积空间，也就是Hilbert空间。Hilbert空间既是线性空间，也是距离空间。特别地，我们考虑单位矩阵的切空间。在仿射不变的黎曼度量下，SPD流形单位矩阵切空间的范数就是常用的Frobenius范数。(3)由于SPD流形的切空间包含SPD流形，因此，我们把SPD流形之间的双线性降维变换扩充为SPD流形切空间之间的双线性降维变换。进一步，我们利用log变换把给定的有标签的SPD数据扩散到整个切空间，然后根据LDA的准则学习SPD流形切空间之间的双线性降维变换。这个双线性变换如果把定义域局限在SPD流形，就实现了SPD数据的双线性降维。
[0009]本专利技术的具体步骤如下：
[0010]步骤一：我们将原始数据构建成SPD数据，具体操作过程为：假设M
i
为第i个图像集的均值图像，其中C
ij
为第i个图像集中的第j幅图像，为第i个图像集的图像个数，则第i个图像集生成的SPD数据为但是为了保证正定性，我们需要对进行修正，
[0011]步骤二：给出一组有标签(已分类)的SPD数据，c＝1,
…
,C，j＝1,
…
,N
c
(这里X
ci
表示第c类中的第j个SPD矩阵，N
c
表示第c类包含SPD矩阵的个数)，采用log变换，把这些有标签的SPD数据投影到高维SPD流形单位矩阵的切空间中：
[0012]步骤三：通过双线性变换矩阵W∈R
D
×
d
变换到降维SPD流形单位矩阵的切空间变换到降维SPD流形单位矩阵的切空间c＝1,
…
,C，j＝1,
…
,N
c
；
[0013]步骤四：我们在中计算有标签的局部数据集的类内散度和类间散度；
[0014]步骤五：利用局部LDA准则，得到目标函数；
[0015]步骤六：优化求解目标函数，得到双线性变换矩阵W∈R
D
×
d
；
[0016]步骤六：利用KNN分类器进行分类，测试该算法准确度。
[0017]本专利技术提出一种基于SPD流形切空间和局部LDA的SPD数据降维算法，主要贡献如下：
[0018](1)本文采用仿射不变的黎曼度量、单位矩阵的切空间以及log变换，把SPD数据从黎曼流形变换到单位矩阵切空间，从而使得SPD与单位矩阵的测地距离与变换后切向量与切空间原点的欧式距离变换保持不变；
[0019](2)所谓SPD的局部判别差异就是先把SPD数据分解成一个一个局部，然后根据SPD数据的所属类别(标签)计算SPD数据的局部判别差异。SPD数据的局部分解是根据SPD数据的空间分布进行，而SPD数据的判别差异则是根据SPD数据在具体应用场合被赋予的类别进行。
[0020](3)SPD数据的局部判别差异较好的实现了SPD数据的内在属性与外在属性的结合。在5个常用的数据集上的实验结果表明，本专利技术提出的算法优于其他5个先进的SPD数据降维算法。
附图说明
[0021]图1：基于SPD流形切空间和局部LDA的SPD数据降维算法图。
具体实施方式
[0022]基于SPD流形切空间和局部LDA的SPD数据降维具体内容如下：
[0023]微分流形只是一个拓扑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SPD流形切空间和局部LDA的SPD数据降维算法，其特征在于：A.给出一组有标签(已分类)的SPD数据：(这里X
ci
表示第c类中的第j个SPD矩阵，N
c
表示第c类包含SPD矩阵的个数)，采用log变换，把这些有标签的SPD数据投影到高维SPD流形单位矩阵的切空间中：由于SPD矩阵的切空间都是对称矩阵空间，也是其SPD矩阵集合的最小线性扩集，这样就减小了变换误差，最大限度的保持了SPD流形的几何结构。B.SPD数据的双线性变换降维是目前常用的SPD数据降维方式。设W∈R
D
×
d
，且W
T
W＝I
d
，定义对于任意因为W
T
W...

【专利技术属性】
技术研发人员：黄晓，马争鸣，袁雪敬，
申请(专利权)人：中山大学，
类型：发明
国别省市：