【技术实现步骤摘要】
本专利技术涉及量子计算，具体为通过动态调整模型结构实现基于量子数据的量子持续学习的方法。
技术介绍
1、量子计算是一种充分利用量子纠缠特性、量子不可克隆特性、量子并行特性等量子系统的相干特性的计算模型，这类计算模型在计算及存储能力上超越经典计算机，1995年，kak在受生物信息处理中存在的量子效应的启发，理论上提出了量子神经计算的概念，如文献[1]，1998年，ventura等人将量子态特性引入神经网络，并据此提出了具有量子特性的神经元，如文献[2]，2000年，matsui等人将含参数量子线路表示为浅层神经网络，提出神经元的量子拓展，如文献[3]，这也是后来量子变分方法的重要思路，随后量子计算在这些理论基础上蓬勃发展。
2、随着量子计算的发展，量子机器学习慢慢的成为了量子计算领域的热点之一，如文献[4]，量子机器学习是利用量子计算的特点与经典机器学习算法相结合的，基于量子计算的新型机器学习模型，在nisq时代，如文献[5]，利用参数化量子电路作为机器学习模型，如文献[6]，渐渐的成为了主流的研究趋势，在这个框架下，参数化的量子电路可以被视为具有显著表达能力的机器学习模型：例如，lloyd等人在生成对抗网络中引入了变分量子电路，从自上向下的视角，概括性的提出了多种类型的量子生成对抗网络的概念，文章分别根据处理的量子数据还是经典数据，以及生成器和判别器是否由量子线路构成来介绍了不同种类的量子生成对抗网络模型如文献[7]，而在文献[8]中首次在超导量子处理器上实验实现了真实世界手写数字图像的学习和生成，并根据不同的硬件基
3、量子机器学习中也会出现经典机器学习中相似的问题，例如，在机器学习中由于神经网络其本身特性，当连续训练任务时，上一个任务的神经网络中的参数会被下一个任务训练时修改，覆盖，这样便会导致灾难性遗忘，为了克服灾难性遗忘，需要模型能够从新任务中获得新知识并与旧知识整合在一起，也就是保证模型的可塑性，另一方面，又要防止从新任务中的获得的知识对已经保存了的知识产生显著的干扰，也就是保证模型的稳定性，需要模型同时满足这两个互相冲突的需求就构成了稳定性-可塑性困境，而持续学习要做的就是在稳定性-可塑性困境下能够不断地处理现实世界中连续的信息流，在吸收新知识的同时保留甚至整合、优化旧知识，持续学习以此来实现抵抗灾难性遗忘，而在量子机器学习中，变分量子电路有着与神经网络相似的特性，所以，最近人们在量子机器学习中研究持续学习来抵抗灾难性遗忘，如文献[13]，在文献[14]中提出的弹性权重巩固(ewc)方法，当学习新任务时，计算参数对于旧任务的重要程度，按比例地对参数进行保护，可以有效的缓解灾难性遗忘的现象，而在文献[15]中结合了梯度情景记忆法，如文献[16],使用了缓冲区存储任务样本，利用缓冲区中的过去任务的旧样本及其梯度，对现在梯度更新方向进行修正，实现抵抗灾难性遗忘的目的。
4、因此，在基于量子数据的量子模型的基础上，如何抵抗灾难性遗忘是非常有必要的，故而提出通过动态调整模型结构实现基于量子数据的量子持续学习的方法来解决上述问题。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本专利技术提供了通过动态调整模型结构实现基于量子数据的量子持续学习的方法，具备不影响当前任务学习的情况下保留了模型在先前任务的表现，有效的抵抗了灾难性遗忘等优点，解决了有效的缓解灾难性遗忘的现象但抵抗效果不佳的问题。
3、(二)技术方案
4、为实现上述不影响当前任务学习的情况下保留了模型在先前任务的表现，有效的抵抗了灾难性遗忘目的，本专利技术提供如下技术方案：通过动态调整模型结构实现基于量子数据的量子持续学习的方法，包括以下步骤：
5、s1、由于应用hat方法实现了量子态分类任务的持续学习，通过对hat方法进行了修改，使其更适合量子态分类任务，(由于整体流程是在hat方法的基础上进行修改，所以与hat类似)，即每个任务分配一个任务索引，该索引会随着任务数量的增加而逐渐增加，通过使用任务索引生成任务嵌入，然后将它们与正缩放参数s相乘，以使用门函数生成注意力机制，产生硬注意力的公式如下：
6、其中，是根据任务id生成的变分量子参数，θ或第l层线性层的任务编码，s是一个正缩放参数，s是用来调节门函数sigmoid函数的硬度，s很小的时候attention的取值是在0.5左右的，当s很大的时候attention的取值是趋近于0或者1的二极值，s会随着batch的增加而不断增大，s最开始很小，是为了保证在最开始的时候每个被掩码的参数或者线性层输出都能够起作用，然后s不断增加，attention就会渐渐的变成二极值的掩码,s的具体定义如下：
7、
8、其中，b＝1.....b，b是批次索引，b是批次总数,其中超参数s_max>＝1，当s_max等于1时，门控机制则是简单的sigmoid函数，模型会遗忘之前的任务，为模型提供了可塑性，当s_max很大的时候，则门控机制开始作为单位阶跃函数运行，防止了反向传播阶段相应权重的变化，这为先前学习的任务提供了稳定性；
9、s2、与经典的hat不同的是，由于变分量子分类器中量子特征提取器的输出相对有限，在处理大量任务时使用层级掩码是不可行的，因此，通过采用权重调整方法，将注意力应用于变分量子电路的参数来控制其输出，量子网络的注意力产生过程与线性层相同；
10、完成任务后，我们保存为该任务产生的注意力，注意力值越大，表示该参数或输出节点在该任务中的重要性越高，因此在下一个任务中更改的可能性较小，掩码定义为1-attention，表示后续任务应避免修改相应的参数或输出节点，在反向传播过程中，通过将梯度与掩码相乘以实现此目标，有效地将每层的梯度替换为掩码和梯度的乘积，当掩码接近0时，该节点或参数的梯度趋向于0，从而实现持续学习，线性层梯度更新公式如下：
11、
12、其中，单位索引i和j对应于输出(l)和输入(l-1)层，关于变分量子电路参数的梯度更新，具体如下：
13、
14、s3、由于积累了注意力，所以随着任务数量的增加，获得了一个越来越增加的注意力向量集，这可以看作是有一个固定容量的坑，其中每本文档来自技高网...
【技术保护点】
1.通过动态调整模型结构实现基于量子数据的量子持续学习的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的通过动态调整模型结构实现基于量子数据的量子持续学习的方法，其特征在于：所述步骤S2中该模型中有两个位置需要注意机制进行调整：量子网络的参数和线性层的输出，值得注意的是，注意力机制的大小与量子网络中需要调整的参数数量或每个线性层的输出数量相同，通过利用习得的注意力来约束模型的第t+1个任务，从而使模型能够抵抗灾难性的遗忘。
3.根据权利要求1所述的通过动态调整模型结构实现基于量子数据的量子持续学习的方法，其特征在于：所述步骤S3中随着任务数量的增加，尽管正则化项施加了控制，但可用容量仍在继续减少，因此，可用的梯度也随着容量的降低而减小，然而，由于与量子任务的数量相比，模型参数的数量相对较少，建议使用跳跃连接来缓解这个问题，这些跳过连接可确保第l+1层中的网络比第l层包含更多的信息，从而有效地缓解了问题。
【技术特征摘要】
1.通过动态调整模型结构实现基于量子数据的量子持续学习的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的通过动态调整模型结构实现基于量子数据的量子持续学习的方法，其特征在于：所述步骤s2中该模型中有两个位置需要注意机制进行调整：量子网络的参数和线性层的输出，值得注意的是，注意力机制的大小与量子网络中需要调整的参数数量或每个线性层的输出数量相同，通过利用习得的注意力来约束模型的第t+1个任务，从而使模...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。