【技术实现步骤摘要】
本专利技术涉及机器学习，尤其涉及一种挖掘特征间强相关性的类量子多层感知方法。
技术介绍
1、多层感知机(multilayer perceptron，mlp)通过激活函数的非线性映射实现非线性关系的建模，并借助多个神经元层的组合以学习更抽象、更复杂的特征表示，进而捕捉数据中更深层次的结构和模式。虽然多层感知机是传统神经元层的简单应用实践，但在特定任务中却具有优越的性能和卓越的表现，是机器学习、深度学习和大型语言模型构建的基石。
2、然而，神经网络模型中各层神经元采用加权求和的方式融合上一层神经元输出的特征，其难以学习到特征之间的强相关性，无法捕捉特征间的内在强联系。该方法只是对特征的重要性赋予一定的权重值，并将所涉及的特征相加。现实世界中，事物的特征之间一般存在显性或隐性的强内在联系，如因果关系、强统计相关性等。因此，构建能够挖掘特征间强相关性的神经元层以捕捉事物特征间真实存在的强相关系或因果关系，是更有利于模型实施有效的决策。此外，基于传统神经元层构建的机器学习模型，例如深度学习模型、大型语言模型等，需要学习的参数量庞大，并且在训练过程中需要大量的算力资源，这成为人工智能(artificial intelligence，ai)发展的瓶颈。
3、中国专利文献cn115293254a公开了一种“基于量子多层感知器的分类方法及相关设备”。方法包括：获取待分类数据，并将所述待分类数据编码为编码量子态；将所述编码量子态输入第一量子计算层，得到中间量子态，所述第一量子计算层包括含参量子纠缠模块；将所述中间量子态输入第
技术实现思路
1、本专利技术主要解决原有的技术方案对参数数量要求高，难以同时满足有效性、强相关性挖掘能力和参数压缩能力的技术问题，提供一种挖掘特征间强相关性的类量子多层感知方法，基于多体量子系统构建一个可以挖掘特征间强相关性的非线性神经网络层，进而基于所构建的神经网络层构造一个类量子多层感知机，从理论上分析qimlp挖掘特征间强相关性的原理和基础，不仅能够学习到特征间的强相关性，而且能够显著减少模型参数的数量。
2、本专利技术的上述技术问题主要是通过下述技术方案得以解决的：本专利技术包括以下步骤：s1.由kronecker积运算得到权重矩阵；
3、s2.由kronecker积运算得到偏置项；
4、s3.对类量子神经元层输入向量作用权重矩阵，施加偏置项以构造类量子神经元层；
5、s4.对类量子神经元层输出向量施加激活函数得到类量子神经元层的最终输出向量；
6、s5.依据具体任务需要进行类量子神经元层调整。
7、作为优选，所述的s1具体包括，使用一个或多个kronecker积运算将一个或多个小的权重矩阵组合起来以得到神经元层最终的权重矩阵。重构后的权重矩阵可表示为
8、
9、其中为构造最终权重矩阵所使用的小的权重矩阵，算符指的是kronecker积运算。
10、作为优选，神经元层的输入为nm维向量，即上一层神经元个数为nm，进行权重矩阵重构，构造最终权重矩阵使用的kronecker积数量由模型适用的任务以及任务需要的参数数量综合决定。重构后的最终的偏置项可以表示为
11、
12、其中为构造最终偏置项所使用的小的偏置项。
13、作为优选，所述的s2具体包括，使用一个或多个kronecker积运算将一个或多个小的偏置项组合起来以得到神经元层最终的偏置项。
14、作为优选，根据最终的偏置项是nm维向量，表示重构后的最终的偏置项，构造偏置项使用的kronecker积数量与构造权重矩阵使用的kronecker积数量相对应。
15、作为优选，所述的s3具体包括，将类量子神经元层输入向量乘上最终权重矩阵并加上最终偏置项，以构建类量子神经元层。
16、作为优选，所述的s4具体包括，对乘上最终权重矩阵并加上最终偏置项的输入向量施加一个激活函数，以得到神经元层的输出结果，根据构建任务的需要选择合适的激活函数。
17、神经元层的输出y,
18、
19、其中是神经元层的输出，运算符*表示矩阵乘法运算，下标k表示重构权重矩阵的副本数。
20、作为优选，对构造的最终的权重矩阵设置下标k，以表示重构权重矩阵的副本数，缓解模型参数的过度压缩问题。
21、作为优选，所述的s5具体包括，基于构建的类量子神经元层构建类量子多层感知机，根据输入类量子多层感知机的向量为设置类量子多层感知机的输入层。类量子多层感知机的输入层为
22、
23、其中是输入层的输出，激活函数f(·)可以为常用的relu(·)或其它，和bi是该输入层的权重矩阵和偏置项。
24、作为优选，根据输入类量子多层感知机的向量为设置类量子多层感知机的隐藏层和输出层，用和bi表示输入层的权重矩阵和偏置项，并且隐藏层为若干层。
25、隐藏层为
26、
27、其中是输入层的输出，激活函数f(·)可以为常用的relu(·)或其它,和bi是该输入层的权重矩阵和偏置项，并且隐藏层可以为多层；
28、输出层为
29、
30、其中是输入层的输出，激活函数f(·)可以为常用的softmax(·)或其它,和bi是该输入层的权重矩阵和偏置项；基于以上步便可以构建任何层数、任何大小的类量子多层感知机。
31、本专利技术的有益效果是：
32、1.本专利技术受量子多体量子系统的启发，构建了可挖掘特征间强相关性的类量子神经元层，并基于所构建的神经元层，构建了具有实际应用价值的类量子多层感知机，该多层感知机具备特征间的强相关性挖掘能力并且所使用的参数相比于经典的多层感知机能够压缩数百倍以上。
33、2.本专利技术提出的类量子神经元层对于重塑机器学习、深度学习和大型语言模型具有重要的应用价值。
34、3.从理论上分析了所构建的类量子神经元层挖掘强相关性的原理，并通过实验验证了所构建的类量子多层感知机的有效性、强相关性挖掘能力和参数压缩能力。
本文档来自技高网...【技术保护点】
1.一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，所述S1具体包括，使用一个或多个Kronecker积运算将一个或多个小的权重矩阵组合起来以得到神经元层最终的权重矩阵。
3.根据权利要求2所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，神经元层的输入为NM维向量，即上一层神经元个数为NM，进行权重矩阵重构，构造最终权重矩阵使用的Kronecker积数量由模型适用的任务以及任务需要的参数数量综合决定。
4.根据权利要求1所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，所述S2具体包括，使用一个或多个Kronecker积运算将一个或多个小的偏置项组合起来以得到神经元层最终的偏置项。
5.根据权利要求4所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，根据最终的偏置项是NM维向量，表示重构后的最终的偏置项，构造偏置项使用的Kronecker积数量与构造权重矩阵使用的Kronecker积数量相对应
6.根据权利要求1或3或5所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，所述S3具体包括，将类量子神经元层输入向量乘上最终权重矩阵并加上最终偏置项，以构建类量子神经元层。
7.根据权利要求1或3或5所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，所述S4具体包括，对乘上最终权重矩阵并加上最终偏置项的输入向量施加一个激活函数，以得到神经元层的输出结果，根据构建任务的需要选择合适的激活函数。
8.根据权利要求7所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，对构造的最终的权重矩阵设置下标k，以表示重构权重矩阵的副本数，缓解模型参数的过度压缩问题。
9.根据权利要求1所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，所述S5具体包括，基于构建的类量子神经元层构建类量子多层感知机，根据输入类量子多层感知机的向量为设置类量子多层感知机的输入层。
10.根据权利要求9所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，根据输入类量子多层感知机的向量为设置类量子多层感知机的隐藏层和输出层，用和Bi表示输入层的权重矩阵和偏置项，并且隐藏层为若干层。
...【技术特征摘要】
1.一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，所述s1具体包括，使用一个或多个kronecker积运算将一个或多个小的权重矩阵组合起来以得到神经元层最终的权重矩阵。
3.根据权利要求2所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，神经元层的输入为nm维向量，即上一层神经元个数为nm，进行权重矩阵重构，构造最终权重矩阵使用的kronecker积数量由模型适用的任务以及任务需要的参数数量综合决定。
4.根据权利要求1所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，所述s2具体包括，使用一个或多个kronecker积运算将一个或多个小的偏置项组合起来以得到神经元层最终的偏置项。
5.根据权利要求4所述的一种挖掘特征间强相关性的类量子多层感知方法，其特征在于，根据最终的偏置项是nm维向量，表示重构后的最终的偏置项，构造偏置项使用的kronecker积数量与构造权重矩阵使用的kronecker积数量相对应。
6.根据权利要求1或3或5...
【专利技术属性】
技术研发人员：张俊伟，李晓林，
申请(专利权)人：中国科学院基础医学与肿瘤研究所筹，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。