一种基于深度半监督学习框架的高维稀疏图像表征方法技术

本发明专利技术公开了一种基于深度半监督学习框架的高维稀疏图像表征方法，包括以下步骤：1)初始化Semi

【技术实现步骤摘要】
一种基于深度半监督学习框架的高维稀疏图像表征方法


[0001]本专利技术涉及机器学习图像领域，尤其涉及一种基于深度半监督学习框架的高维稀疏图像表征方法。

技术介绍

[0002]高维稀疏数据经常出现在工业应用和推荐系统中，但是高纬稀疏数据的表示学习(Representational learning)在其计算和内存方面占据需要庞大的计算资源一直是一个难以解决的问题，同时标签的稀缺性会对分类结果产生负面的影响。对稀疏高维数据通常对其使用降维方法，即将高维数据空间映射到低维特征空间。然而，这些方法有时不适用于具有独立特征的稀疏数据。受限玻尔兹曼机(RBM)是一种基于能量的二进制表示学习模型，表示学习是一种提取高维稀疏数据的有用知识和内部结构的方法。即具有局部性约束的概念分解(CF)称为局部坐标概念分解(LCF)，是学习高维数据稀疏表示的一种有效方法。深度学习在单原子水平测定领域很流行，以最近流行的碳同素异形体石墨烯为例，提出的石墨烯原子级结构图像数据集，这些数据集具有高维稀疏的特征，结合机器学习从而获得其优秀的低维表示。
[0003]为了学习稀疏表示，提出了两种分别具有概率单纯形约束和对称约束的近似局部线性表示(ALLR)算法。这些算法在使用公共数据集上的高维数据进行学习时表现更好。在原子结构的高维数据上表现有些不足。潜在因子(LF)模型是准确表示高维和稀疏(HiDS)矩阵的成功方法。然而，这些矩阵中通常存在一些异常数据，并且训练模型需要的时间很长。基于GRBM的pcGRBM模型来研究连续数据的半监督表示学习。pcGRBM模型不适合建模高维数据，并且学习隐藏特征的能力有限。

技术实现思路

[0004]为了从高维和稀疏图像中提取低维和密集的隐藏特征，本专利技术提供一种基于深度半监督学习框架的高维稀疏图像表征方法，包括以下步骤：
[0005]一种基于深度半监督学习框架的高维稀疏图像表征方法，其特征在于，包括以下步骤：
[0006]semi
‑
DRRBM目标函数的输入为：
[0007]高维向量集
[0008]I,O,I',O':半无监督信息，
[0009]d
h
:隐藏层低维度
[0010]是可见高维层的监督信息，其中v
k
(k＝1,2,3,.....N)是semi
‑
DRRBM模型的可见层向量，N表示所有实例的数量，每个可见层向量都有一个低维隐藏特征然后在训练过程中用一步Gibbs采样重建高维向量是
的低维隐藏特征，是重建的高维向量集；
[0011]1)初始化Semi
‑
DRRBM模型参数θ；semi
‑
DRRBM的目标函数定义如下：
[0012][0013]θ:Semi
‑
DRRBM模型参数，θ是一个集合，包含W，a，b，用于根据本算法更新其数值，其中W＝(w
j,i
)∈RN
×
N表示隐藏层与可见层之间的连接权重矢量，b为可见层偏置矢量，a为隐藏层的偏置矢量，i，j代表一个任取或者指定的的自然数，作为下标时表示在数组中的位置，ξ∈(0,1)表示调节参数，E(v
i
,θ)是RBM模型的能量函数，σ是一个logistic sigmoid函数N表示所有实例的数量，D代表原始数据集；
[0014]v
k
(k＝1,2,3,.....N)代表的是可见层向量，每个可见层向量都有一个低维隐藏特征然后在训练过程中用一步Gibbs采样重建高维向量是的低维隐藏特征，其中的下标k表示向量包含的数组大小，使用别的下标时v，v
’
，h，h
’
的含义相同，下标p，q以及下标m，n的关系如下所述：
[0015]设和同时属于第k个簇(k＝1,2,...,K,K表示簇总数)，所有这些无序二元组构成了一个内部簇集I，|I|表示I的大小；
[0016]和分别属于第i个和第j个簇(i≠j)，所有无序二元组构成一个内簇集合O，|O|表示O的大小；
[0017]同时和具有一对一的映射和和构成一个集合I
’
，|I
’
|表示I
’
的大小；
[0018]和具有一对一的映射和和构成一个集合O
’
，|O
’
|表示O
’
的大小；
[0019]2)通过获取样本隐藏层特征；
[0020]3)使用重构可见层数据；
[0021]4)使用获得样本重建的隐藏层特征；
[0022]5)计算H(θ；G)和H'(θ；G')的偏导数；
[0023]6)将前面的隐藏层数据h以及可视层数据v，以及重建的隐藏层数据h
’
以及可视层数据v
’
，以及第i次计算时得到的参数计算得到本次计算的
[0024]7)当通过步骤6获得新的参数θ后，将其作为新的输入，再次进行2
‑
6步骤，迭代到最大值可以是重复到指定的次数停止，或者小于人为规定的某一误差而停止；
[0025]8)返回：Semi
‑
DRRBM模型的参数θ，将其带入值Semi
‑
DRRBMRBM模型中可完成降维。
[0026]优选地，在步骤2)中
[0027]根据由公式4
‑
5和6
‑
8得到的参数θ,计算H(θ；G)和H'(θ；G')的偏导数，
[0028]定义函数H(θ；G)和H'(θ；G')
[0029][0030][0031]v'
p
,v'
q
,v'
m
,v'
n
是v
p
,v
q
,v
m
,v
n
的重构可见向量，
[0032]σ(v
’
p
W+b),σ(v
’
q
W+b),σ(v
’
m
W+b),σ(v
’
n
W+b)分别是v'
p
,v'
q
,v'
m
,v'
n
隐藏向量；
[0033]H(θ；G)对于w
ij
的偏导数为：
[0034][0035]其中，v
mi
是向量v
m
的第i个位置的元素，v
ni
是向量v
n
的第i个位置的元素，h
mj
、h
nj
分
别是向h
m
和向量h
n
的第j个位置的元素和；v
pi
是向量v
p
的第i个位置的元素，v
qi
是向量v
q本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度半监督学习框架的高维稀疏图像表征方法，其特征在于，包括以下步骤：semi
‑
DRRBM目标函数的输入为：高维向量集I,O,I',O':半无监督信息，d
h
:隐藏层低维度是可见高维层的监督信息，其中v
k
(k＝1,2,3,.....N)是semi
‑
DRRBM模型的可见层向量，N表示所有实例的数量，每个可见层向量都有一个低维隐藏特征然后在训练过程中用一步Gibbs采样重建高维向量是的低维隐藏特征，是重建的高维向量集；1)初始化Semi
‑
DRRBM模型参数θ；semi
‑
DRRBM的目标函数定义如下：θ:Semi
‑
DRRBM模型参数，θ是一个集合，包含W，a，b，用于根据本算法更新其数值，其中W＝(w
j,i
)∈RN
×
N表示隐藏层与可见层之间的连接权重矢量，b为可见层偏置矢量，a为隐藏层的偏置矢量，i，j代表一个任取或者指定的的自然数，作为下标时表示在数组中的位置，ξ∈(0,1)表示调节参数，E(v
i
,θ)是RBM模型的能量函数，σ是一个logistic sigmoid函数N表示所有实例的数量，D代表原始数据集；v
k
(k＝1,2,3,.....N)代表的是可见层向量，每个可见层向量都有一个低维隐藏特征
然后在训练过程中用一步Gibbs采样重建高维向量是的低维隐藏特征，其中的下标k表示向量包含的数组大小，使用别的下标时v，v
’
，h，h
’
的含义相同，下标p，q以及下标m，n的关系如下所述：设和同时属于第k个簇(k＝1,2,...,K,K表示簇总数)，所有这些无序二元组构成了一个内部簇集I，|I|表示I的大小；和分别属于第i个和第j个簇(i≠j)，所有无序二元组构成一个内簇集合O，|O|表示O的大小；同时和具有一对一的映射和和构成一个集合I
’
，|I
’
|表示I
’
的大小；和具有一对一的映射和和构成一个集合O
’
，|O
’
|表示O
’
的大小；2)通过获取样本隐藏层特征；3)使用重构可见层数据；4)使用获得样本重建的隐藏层特征；5)计算H(θ；G)和H'(θ；G')的偏导数；6)将前面的隐藏层数据h以及可视层数据v，以及重建的隐藏层数据h
’
以及可视层数据v
’
，以及第i次计算时得到的参数计算得到本次计算的7)当通过步骤6获得新的参数θ后，将其作为新的输入，再次进行2
‑
6步骤，迭代到最大值可以是重复到指定的次数停止，或者小于人为规定的某一误差而停止；8)返回：Semi
‑
DRRBM模型的参数θ，将其带入值Semi
‑
DRRBMRBM模型中可完成降维。2.如权利要求1所述的一种基于深度半监督学习框架的高维稀疏图像表征方法，其特征在于，在步骤2)中，根据由公式4
‑
5和6
‑
8得到的参数θ,计算H(θ；G)和H'(θ；G')的偏导数，定义函数H(θ；G)和H'(θ；G')定义函数H(θ；G)和H'(θ；G')
v'
p
,v'
q
,v'
m
,v'
n
是v
p
,v
q
,v
m
,v
n
的重构可见向量，σ(v
’
p

【专利技术属性】
技术研发人员：余华，单骏鹏，胡江涛，储节磊，周图南，刘苏锐，向导，肖宇，游泽青，
申请(专利权)人：西南交通大学成都海关技术中心，
类型：发明
国别省市：