基于深度学习的自组织神经网络拓扑保持的增强方法技术

本发明专利技术提出了一种基于深度学习的自组织神经网络拓扑保持的增强方法，用于解决现有技术中存在的自组织神经网络拓扑保持效果有待提高的技术问题。实现步骤为：设置自组织神经网络的网络结构和参数，并对输入层数据进行归一化；设置输入层神经元个数和竞争层神经元个数；对自组织神经网络竞争层神经元的权向量逐层进行粗调，得到粗调后的竞争层权向量；利用粗调后的结果，对自组织神经网络竞争层神经元的权向量进行精调，得到精调后的竞争层权向量；对竞争层权向量进行度量，得到拓扑保持的增强结果。本发明专利技术逐层缩小了自组织神经网络各竞争层权向量与输入样本之间的差距，提升了自组织神经网络的拓扑保持能力。

【技术实现步骤摘要】
基于深度学习的自组织神经网络拓扑保持的增强方法
本专利技术属于数据处理
，涉及一种自组织神经网络拓扑保持的增强方法，具体涉及一种无监督学习方法中的基于深度学习的自组织神经网络拓扑保持的增强方法，可用于高维数据的可视化、压缩和挖掘等领域。
技术介绍
在处理高维数据的过程中，数据的可视化和降维具有十分重要的意义。通过对高维数据进行可视化和降维处理可以帮助我们观察数据大致的分布，继而进一步对数据进行处理。而在这个过程中为了保证降维和可视化后的数据能够准确地反映出原始数据的分布，处理的过程就应该做到拓扑保持，也就是降维后的数据间的拓扑结构要尽可能和原始数据一致。自组织神经网络是一种将数据映射到低维的离散点，这些离散点的位置排布可以视作网格的具有拓扑保持能力的数据降维方法。自组织神经网络(Self-OrganizingMaps，SOM)，由芬兰赫尔辛基大学教授TeuvoKohonen于1981年提出,它作为一种聚类和高维可视化的无监督学习方法，是通过模拟人脑对信号处理的特点而发展起来的一种人工神经网络。自组织神经网络由输入层和竞争层组成，竞争层各神经元竞争对输入数据的响应机会，获胜神经元有关的各权值向量朝着更有利于它竞争的方向调整，即以获胜神经元为圆心，对近邻的神经元表现出兴奋性侧反馈，而对远邻的神经元表现出抑制性侧反馈，近邻者相互激励，远邻者相互抑制。自组织神经网络是对生物大脑的模拟，大脑接收到的信号模式越相似，与之对应的兴奋神经元距离也越近，而大脑的这种特性是在后天长时间的学习过程中形成的。对这种特性的模拟注定了自组织神经网络有这样的缺陷：在输入样本量较少时，网络难以学到数据在原始空间中的拓扑结构和分布，也难以将原始数据的拓扑结构反映到映射后的空间中，拓扑保持能力较弱。另外SOM的竞争层权向量的初始化也会对最终的结果产生影响。针对自组织神经网络的拓扑保持能力有待提高的问题，先前的研究人员提出了两种方法：第一种方法引入概率模型，称为生成拓扑映射，它定义了一个自潜在空间到数据空间的映射，利用贝叶斯定理在潜在空间产生后验分布。通过优化低维变量在高维空间中的概率分布函数，来确定降维后数据的位置。生成拓扑映射已经过多次改进，最新的是相关生成拓扑映射，核心是根据特征的类型来选择噪声分布模型。此方法具有目标函数，不需要不断收缩的邻域函数和不断降低的学习率就可以收敛，而且噪声模型的正确选择能够使得目标函数能被进一步优化。但此方法引入了较多的超参数，参数调整十分困难，而且模型的初始化对最终结果有较大影响，此方法的应用较少。第二种方法的核心思想是采用两个近邻函数来训练自组织神经网络。第一阶段先用一个大初始宽度的近邻函数进行训练，第二阶段采用一个较小的初始宽度的近邻函数再次进行训练。此方法使得相似度较低的数据在第一阶段所激活的神经元迅速远离，而相似度较高的数据在第二阶段所激活的神经元能够迅速的聚集。此方法在一定程度上提升了拓扑保持能力，但没能解决小样本情况下拓扑保持能力弱的问题；另外第一阶段的初始宽度的选取不当反而会降低网络的拓扑保持能力。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种基于深度学习的自组织神经网络拓扑保持的增强方法，提升了自组织神经网络的拓扑保持能力。本专利技术的技术思路是：通过深度学习的方法，引入更多的竞争层，使得网络能够更充分的学习到原始数据的拓扑结构；为了保证多层学习能够进行下去，并进一步提升网络的拓扑保持能力，设计了粗调和精调两个过程，在不引入过多的超参数的情况下，用于解决现有技术中存在的自组织神经网络在处理小样本数据时拓扑保持能力较差的问题。本专利技术的技术方案包括如下步骤：(1)设置自组织神经网络的网络结构和参数，同时对自组织神经网络的输入层数据进行归一化：(1a)设置自组织神经网络的网络结构为1-N，其中，1表示输入层个数，N表示竞争层个数，N≥2；(1b)设置自组织神经网络每一个竞争层的神经元个数为m，m≥2，输入层的神经元个数为d，d≥2；(1c)对自组织神经网络的输入层数据进行归一化，得到归一化后的样本向量并将提交至各输入层神经元；(2)设置竞争层个数N的计数器为q，每一个竞争层的神经元个数m的计数器为j，输入层的神经元个数d的计数器为i，并初始化q＝1，j＝1，i＝1；(3)对自组织神经网络竞争层神经元的权向量逐层进行粗调，得到粗调后的竞争层权向量实现步骤为：(3a)将各输入层神经元包含的归一化后的样本向量作为第一个竞争层的输入数据；(3b)设置自组织神经网络粗调迭代计数器为t，总迭代次数为T，并初始化t＝1；(3c)对自组织神经网络的第q个竞争层神经元进行权向量初始化：给第q个竞争层神经元的输入数据到第q个竞争层神经元结点的权向量赋予随机的小数，得到第q个竞争层神经元的输入数据和第q个竞争层神经元结点之间的权向量其中随机的小数取值范围是0到1；(3d)对权向量与第q个竞争层神经元的输入数据进行相似度计算，得到距离向量dj，并选择dj中的最小距离对应的神经元作为获胜神经元j*；(3e)利用获胜神经元j*，对权向量进行更新，得到更新后的权向量(3f)令t＝t+1，并判断粗调迭代计数器t是否超出迭代次数T，若是，令q＝q+1，执行步骤(3g)，否则，执行步骤(3d)；(3g)判断竞争层个数计数器q的值是否超出竞争层个数N，若是，得到竞争层权向量执行步骤(4)，否则，将更新后的权向量作为q层的输入数据，执行步骤(3c)；(4)利用竞争层权向量对自组织神经网络竞争层神经元的竞争层权向量进行细调，得到细调后的竞争层权向量实现步骤为：(4a)设置自组织神经网络细调迭代计数器为t1，总迭代次数为T1，并初始化t1＝1；(4b)初始化竞争层个数计数器q为1；(4c)对权向量与第q个竞争层神经元的每个输入数据进行相似度计算，得到距离向量pj，并选择pj中的最小距离pj*对应的输入层神经元作为获胜神经元j*；(4d)利用获胜神经元j*，对权向量进行更新，得到更新后的权向量(4e)令q＝q+1，并判断竞争层个数计数器q的值是否超出竞争层个数N，若是，t1＝t1+1，执行步骤(4f)，否则，执行步骤(4c)；(4f)判断粗调迭代计数器t1是否超出迭代次数T1，若是，得到竞争层权向量执行步骤(5)，否则，将更新后的权向量作为第t1次迭代的输入数据，执行步骤(4b)；(5)对竞争层权向量进行度量，得到拓扑保持的增强结果。本专利技术与现有技术相比，具有以下优点：1、本专利技术对自组织神经网络拓扑保持能力的增强，是通过深度学习的方法实现的。为了能使网络能够更充分的利用数据中的信息，引入多于一层的竞争层，数据由输入层输入第一个竞争层，经过学习后第一个竞争层的权向量作为下一个竞争层的输入，之后的竞争层也都以上一个竞争层的权向量作为输入。通过这样的逐层学习，逐步缩小了网络各竞争层权向量与输入样本之间的差距，即使在样本量不足的情况下，能够尽可能的学习到原始数据的拓扑结构，提升了在处理小样本时网络的拓扑保持能力。2、为了保证学习过程能够正常进行并进一步提升拓扑保持能力，在获取竞争层权向量时，先沿用自组织神经网络原有的训练过程得到权向量，称为粗调，再对各层权向量进行整体调整，称为精调。通过粗调和精调，数据依照其相似本文档来自技高网...

【技术保护点】
1.一种基于深度学习的自组织神经网络拓扑保持的增强方法，其特征在于，包括如下步骤：(1)设置自组织神经网络的网络结构和参数，同时对自组织神经网络的输入层数据进行归一化：(1a)设置自组织神经网络的网络结构为1‑N，其中，1表示输入层个数，N表示竞争层个数，N≥2；(1b)设置自组织神经网络每一个竞争层的神经元个数为m，m≥2，输入层的神经元个数为d，d≥2；(1c)对自组织神经网络的输入层数据进行归一化，得到归一化后的样本向量

【技术特征摘要】
2017.12.29 CN 20171146985061.一种基于深度学习的自组织神经网络拓扑保持的增强方法，其特征在于，包括如下步骤：(1)设置自组织神经网络的网络结构和参数，同时对自组织神经网络的输入层数据进行归一化：(1a)设置自组织神经网络的网络结构为1-N，其中，1表示输入层个数，N表示竞争层个数，N≥2；(1b)设置自组织神经网络每一个竞争层的神经元个数为m，m≥2，输入层的神经元个数为d，d≥2；(1c)对自组织神经网络的输入层数据进行归一化，得到归一化后的样本向量并将提交至各输入层神经元；(2)设置竞争层个数N的计数器为q，每一个竞争层的神经元个数m的计数器为j，输入层的神经元个数d的计数器为i，并初始化q＝1，j＝1，i＝1；(3)对自组织神经网络竞争层神经元的权向量逐层进行粗调，得到粗调后的竞争层权向量实现步骤为：(3a)将各输入层神经元包含的归一化后的样本向量作为第一个竞争层的输入数据；(3b)设置自组织神经网络粗调迭代计数器为t，总迭代次数为T，并初始化t＝1；(3c)对自组织神经网络的第q个竞争层神经元进行权向量初始化：给第q个竞争层神经元的输入数据到第q个竞争层神经元结点的权向量赋予随机的小数，得到第q个竞争层神经元的输入数据和第q个竞争层神经元结点之间的权向量其中随机的小数取值范围是0到1；(3d)对权向量与第q个竞争层神经元的输入数据进行相似度计算，得到距离向量dj，并选择dj中的最小距离对应的神经元作为获胜神经元j*；(3e)利用获胜神经元j*，对权向量进行更新，得到更新后的权向量(3f)令t＝t+1，并判断粗调迭代计数器t是否超出迭代次数T，若是，令q＝q+1，执行步骤(3g)，否则，执行步骤(3d)；(3g)判断竞争层个数计数器q的值是否超出竞争层个数N，若是，得到竞争层权向量执行步骤(4)，否则，将更新后的权向量作为q层的输入数据，执行步骤(3c)；(4)利用竞争层权向量对自组织神经网络竞争层神经元的竞争层权向量...

【专利技术属性】
技术研发人员：张军英，王卓宇，张洁，袁细国，杨利英，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61