基于神经集群的数据处理方法及装置、存储介质、处理器制造方法及图纸

本发明专利技术公开了一种基于神经集群的数据处理方法及装置、存储介质、处理器。其中，该方法包括：获取原始数据，将原始数据进行共空间模式变换获得变换数据；基于变换数据得到包含第一矩阵的第一目标函数，其中，第一目标函数为原始数据的神经集群网络模型的目标函数，第一矩阵为神经集群网络模型的目标函数的权重参数；基于预设的梯度下降更新规则对第一矩阵进行更新，获得第二矩阵；根据第二矩阵更新第一目标函数。本发明专利技术解决了现有技术中监督学习模型训练效率低及鲁棒性差的技术问题。型训练效率低及鲁棒性差的技术问题。型训练效率低及鲁棒性差的技术问题。

【技术实现步骤摘要】
基于神经集群的数据处理方法及装置、存储介质、处理器


[0001]本专利技术涉及机器学习领域，具体而言，涉及一种基于神经集群的数据处理方法及装置、存储介质、处理器。

技术介绍

[0002]机器学习已广泛的应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别等多个领域。机器学习的关键是发现数据中的未知结构，从观测数据中学习一个好的特征表示，这种特征表示能有助于揭示数据的底层结构。目前，机器学习主要包括监督学习和无监督学习两类方法。其中监督学习是从标记的训练数据来推断一个功能的机器学习任务，训练数据包括一套训练示例。在监督学习中，每个示例都是由一个输入对象(通常为矢量)和一个期望的输出值(也称为监督信号)组成，监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。
[0003]目前有监督表征学习主要应用有适合浅层模型的支撑矢量机(SVM)、适合深度学习模型的反向传播(BP)算法等。目前SVM仅适用于浅层模型以及小样本的情况，难于扩展到深度模型；BP算法是目前深度学习的主要基础算法，但要想取得好的效果必须要有大量的训练样本，并且存在训练效率不高及鲁棒性差等缺点。
[0004]针对上述现有技术中监督学习模型训练效率低及鲁棒性差的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种基于神经集群的数据处理方法及装置、存储介质、处理器，以至少解决现有技术中监督学习模型训练效率低及鲁棒性差的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种基于神经集群的数据处理方法，包括：获取原始数据，将原始数据进行共空间模式变换获得变换数据；基于变换数据得到包含第一矩阵的第一目标函数，其中，第一目标函数为神经集群网络模型的目标函数，第一矩阵为神经集群网络模型的目标函数的权重参数；基于预设的梯度下降更新规则对第一矩阵进行更新，获得第二矩阵；根据第二矩阵更新第一目标函数。
[0007]进一步地，获取原始数据，将原始数据进行共空间模式变换获得变换数据，包括：获取表示原始数据的输入向量以及神经元输出向量；根据原始数据的输入向量以及神经元输出向量确定交互信息公式；确定包含协方差矩阵和变换矩阵的第二目标函数；根据交互信息公式和第二目标函数获得变换矩阵；根据变换矩阵将原始数据变换为变换数据。
[0008]进一步地，在神经元输出向量的个数大于原始数据的向量维度的条件下，根据交互信息公式和第二目标函数获得变换矩阵，包括：获得交互信息公式的高度逼近公式；根据高度逼近公式和第二目标函数获得变换矩阵。
[0009]进一步地，基于预设的梯度下降更新规则对第一矩阵进行更新，获得第二矩阵，包括：基于预设的梯度下降更新规则对第一矩阵进行更新，得到第三矩阵；确定迭代次数，其
中，迭代次数用于表示基于预设的梯度下降更新规则对第一矩阵进行更新的次数；判断迭代次数是否达到预设次数，如果是，将第三矩阵作为第二矩阵且输出，如果否，则将第三矩阵赋值给第一矩阵，返回基于预设的梯度下降更新规则对第一矩阵进行更新，得到第三矩阵的步骤。
[0010]进一步地，在基于预设的梯度下降更新规则对第一矩阵进行更新，得到第三矩阵之前，方法还包括：计算得到第一目标函数关于第一矩阵的导数。
[0011]进一步地，根据第二矩阵更新第一目标函数，包括：对第二矩阵进行正交化变换，获得正交化结果；根据正交化结果更新第一目标函数的值。
[0012]进一步地，正交化变换为Gram
‑
Schmidt正交化变换。
[0013]根据本专利技术实施例的另一方面，还提供了一种基于神经集群的数据处理装置，包括：装置包括：变换模块，用于获取原始数据，将原始数据进行共空间模式变换获得变换数据；函数获取模块，用于基于变换数据得到包含第一矩阵的第一目标函数，其中，第一目标函数为神经集群网络模型的目标函数，第一矩阵为神经集群网络模型的目标函数的权重参数；矩阵更新模块，用于基于预设的梯度下降更新规则对第一矩阵进行更新，获得第二矩阵；函数更新模块，用于根据第二矩阵更新第一目标函数。
[0014]根据本专利技术实施例的另一方面，还提供了存储介质，包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述基于神经集群的数据处理方法。
[0015]根据本专利技术实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行上述基于神经集群的数据处理方法。
[0016]在本专利技术实施例中，根据上述步骤所提出的基于神经集群的监督表征学习算法，通过将获得的原始数据进行CSP变换预处理后获得变换数据，根据变换数据构建神经集群网络模型的监督学习目标函数，对该模型中的权重参数矩阵按照预设的梯度下降更新规则进行更新，实现了神经集群网络模型的权重参数的快速优化。基于该监督表征学习算法，提高了神经集群网络模型的训练学习的效率和性能，解决了现有技术中监督学习模型训练效率低及鲁棒性差的问题。
附图说明
[0017]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0018]图1是根据本专利技术实施例的基于神经集群的数据处理方法的流程图；
[0019]图2是根据本专利技术实施例的一种可选的基于神经集群的数据处理方法的流程图；
[0020]图3是手写数字数据集MNIST的示例图；
[0021]图4是根据本专利技术实施例的对图3数据集进行处理后学习得到的权重参数C的示意图；
[0022]图5是根据本专利技术实施例的基于神经集群的数据处理装置的示意图。
具体实施方式
[0023]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是
本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0024]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0025]实施例1
[0026]根据本专利技术实施例，提供了一种基于神经集群的数据处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经集群的数据处理方法，其特征在于，获取原始数据，将所述原始数据进行共空间模式变换获得变换数据；基于所述变换数据得到包含第一矩阵的第一目标函数，其中，所述第一目标函数为神经集群网络模型的目标函数，所述第一矩阵为所述神经集群网络模型的目标函数的权重参数；基于预设的梯度下降更新规则对所述第一矩阵进行更新，获得第二矩阵；根据所述第二矩阵更新所述第一目标函数。2.根据权利要求1所述的方法，其特征在于，所述获取原始数据，将所述原始数据进行共空间模式变换获得变换数据，包括：获取表示原始数据的输入向量以及神经元输出向量；根据所述原始数据的输入向量以及所述神经元输出向量确定交互信息公式；确定包含协方差矩阵和变换矩阵的第二目标函数；根据所述交互信息公式和所述第二目标函数获得所述变换矩阵；根据所述变换矩阵将所述原始数据变换为所述变换数据。3.根据权利要求2所述的方法，其特征在于，在所述神经元输出向量的个数大于所述原始数据的向量维度的条件下，根据所述交互信息公式和所述第二目标函数获得所述变换矩阵，包括：获得所述交互信息公式的高度逼近公式；根据所述高度逼近公式和所述第二目标函数获得所述变换矩阵。4.根据权利要求1所述的方法，其特征在于，所述基于预设的梯度下降更新规则对所述第一矩阵进行更新，获得第二矩阵，包括：基于预设的梯度下降更新规则对所述第一矩阵进行更新，得到第三矩阵；确定迭代次数，其中，所述迭代次数用于表示基于预设的梯度下降更新规则对所述第一矩阵进行更新的次数；判断所述迭代次数是否达到预设次数，如果是，将所述第三矩阵作为所述第二矩阵且输出，如果否，则将所述第三...

【专利技术属性】
技术研发人员：黄文涛，葛建军，袁森，
申请(专利权)人：中国电子科技集团公司信息科学研究院，
类型：发明
国别省市：