当前位置: 首页 > 专利查询>清华大学专利>正文

一种用于伊辛机的多层前馈神经网络训练方法及系统技术方案

技术编号:42634291 阅读:30 留言:0更新日期:2024-09-06 01:33
本申请涉及一种用于伊辛机的多层前馈神经网络训练方法及系统。该方法包括:将多层前馈量化神经网络的监督学习建模为二次有约束二值优化问题;基于二次有约束二值优化问题构造增广拉格朗日函数,对增广拉格朗日函数降次,转化为二次无约束二值优化问题;在伊辛机上对二次无约束二值优化问题进行求解,基于求解结果更新增广拉格朗日函数中的系数,转化得到新的二次无约束二值优化问题并求解,待约束满足且目标函数收敛后,得到二次有约束二值优化问题的最优解;对最优解进行解码,得到训练后的多层前馈神经网络的参数。根据本实施例,减少了自旋数使用,简化了问题求解难度,使得真机求解更加容易,能够解决大规模问题。

【技术实现步骤摘要】

本申请涉及人工智能、量子计算领域,尤其涉及一种用于伊辛机的多层前馈神经网络训练方法及系统


技术介绍

1、目前训练深度神经网络的巨大计算花销已成为人工智能发展的关键瓶颈。传统基于梯度的反向传播训练方法遇到了梯度消失、陷入局部最优等诸多问题,这一训练方式需要大量的图形处理器(graphic processing unit,gpu)来高效地更新模型。而伊辛机(ising machines)作为专用的量子计算机,已经实现了大量的自旋位数,展现了在伊辛机上训练神经网络的潜在可能性。

2、目前为止,伊辛机已经被用于一些机器学习任务,如支持向量机的训练和聚类模型的训练等。同时,在神经网络领域,伊辛机可以用来训练玻尔兹曼机(boltzmannmachine)和动态能量网络(dynamical energy network),而这两类网络都不属于前馈网络。由于前馈网络的强大表示能力、快速推理能力和灵活连接结构,多层前馈网络是在工业中应用最多的神经网络类型。现有伊辛机在对神经网络进行训练的过程中算法所占用量子自旋位数较多,使得伊辛机计算量大且难以求解,因此,如何本文档来自技高网...

【技术保护点】

1.一种用于伊辛机的多层前馈神经网络训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将多层前馈量化神经网络的监督学习建模为二次有约束二值优化问题,包括:

3.根据权利要求2所述的方法,其特征在于,所述不等式约束包括针对每一层激活前、激活后值的同号约束以及满足边界条件时的约束。

4.根据权利要求2所述的方法,其特征在于,所述优化变量包括:所述量化神经网络中每一层的量化权重、每一层的量化偏置、每一层激活前的值、每一层激活后的值、样本的预测值。

5.根据权利要求2所述的方法,其特征在于,所述基于所述二次有约束二...

【技术特征摘要】

1.一种用于伊辛机的多层前馈神经网络训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将多层前馈量化神经网络的监督学习建模为二次有约束二值优化问题,包括:

3.根据权利要求2所述的方法,其特征在于,所述不等式约束包括针对每一层激活前、激活后值的同号约束以及满足边界条件时的约束。

4.根据权利要求2所述的方法,其特征在于,所述优化变量包括:所述量化神经网络中每一层的量化权重、每一层的量化偏置、每一层激活前的值、每一层激活后的值、样本的预测值。

5.根据权利要求2所述的方法,其特征在于,所述基于所述二次有约束二值优化问题构造增广拉格朗日函数,对所述增广拉格朗日函数降次,转化为二次无约束二值优化问题,包括:

6.根据权利要求5所述的方法,其特征在于,所述针对所述二次有约束二值优化问题中的目标函数和约束条件,构造增广拉格朗日函数,包括:

7....

【专利技术属性】
技术研发人员:李升波宋绪杰刘童成波
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1