量子深度学习制造技术

使用通过对近似于吉布斯状态的量子状态进行采样而评估的目标函数来训练玻尔兹曼机。经典处理用来产生目标函数，并且近似的吉布斯状态基于使用采样结果而改善的权值和偏置。在一些示例中，使用幅度估计。组合的经典/量子计算机产生用于形状分类和其他应用的适当权值和偏置。

【技术实现步骤摘要】
【国外来华专利技术】量子深度学习
本公开涉及使用量子计算机来训练玻尔兹曼(Boltzmann)机。
技术介绍
深度学习是用于已经显著地影响执行分类、推断和人工智能(AI)任务的方式的机器学习的相对新的范式。深度学习始于如下建议，即为了执行复杂的AI任务、诸如视觉或者语言，可能有必要对初始数据的抽象化而不是原始数据进行工作。例如被训练检测小汽车的推断引擎可以首先取得原始图像并且首先将它分解成简单形状。那些形状可以形成第一层抽象化。这些元素形状然后可以被一起分组成更高级抽象对象、诸如减震器或者车轮。然后对抽象数据而不是原始像素数据执行确定特定图像是否为小汽车的问题。一般而言，这一过程可能涉及到许多级抽象化。深度学习技术已经证实对许多典型视觉和话音任务的明显改进、诸如错误率的30％相对减少。在一些情况下，深度学习技术诸如在匹配两个脸部时接近人类性能。当前在用于话音和搜索引擎的语言模型中部署常规经典深度学习方法。其他应用包括机器翻译和深度图像理解(即图像到文本表示)。用于训练深度信任网络的现有方法使用对比散度近似以逐层训练网络。这一过程对于深度网络成本高、依赖于对比散度近似的有效性、并且排除使用层内连接。对比散度近似在一些应用中不适用，并且在任何情况下，基于对比散度的方法不能一次训练整个图形，而代之以依赖于一次一层地训练系统，这成本高并且降低模型的质量。最后，需要更多粗略近似以训练全玻尔兹曼机，这潜在地具有在所有隐藏和可见单元之间的连接并且可以限制在学习算法中找到的最优值的质量。需要克服这些限制的方式。
技术实现思路
本公开提供用于在机器学习中训练深度信任网络的方法和装置。公开的方法和装置允许高效训练用常规方式当前不可训练的通用玻尔兹曼机。此外，公开的装置可以在更少步骤中提供更快训练。与经典计算机组合使用量子计算机来确定用于深度玻尔兹曼机的目标函数的梯度。量子状态对吉布斯(Gibbs)分布的近似进行编码，并且对这一近似的分布的采样用来确定玻尔兹曼机权值和偏置。在一些情况下，使用幅度估计和快速量子算法。通常地，经典计算机接收玻尔兹曼机的规范(specification)和关联训练数据，并且确定与玻尔兹曼机关联的目标函数。量子计算机确定目标函数的至少一个梯度，并且基于目标函数的梯度建立玻尔兹曼机的至少一个隐藏值或权值。平均场近似可以用来定义目标函数，并且可以基于采样来确定梯度。以下参照附图阐述本公开的这些和其他特征。附图说明图1图示深度玻尔兹曼机的代表性示例。图2图示通常地基于与对数似然关联的目标函数训练玻尔兹曼机的代表性方法。图3图示使用基于量子的采样的用于深度玻尔兹曼机的梯度计算方法。图4图示用于确定用于在使用量子计算来训练玻尔兹曼机时使用的模型平均值的基于量子的采样方法。图5图示用于确定用于在使用量子计算来训练玻尔兹曼机时使用的数据平均值的基于量子的采样方法。图6图示在量子计算机中使用幅度估计的用于深度玻尔兹曼机的梯度计算方法。图7图示在量子计算机中使用幅度估计来确定用于玻尔兹曼机的模型平均值的方法。图8图示在量子计算机中使用幅度估计来确定用于玻尔兹曼机的模型平均值的备选方法。图9图示用于训练深度玻尔兹曼机的代表性的基于处理器的量子电路设计环境。图10图示产生量子电路布置的代表性经典计算机，该计算机耦合到量子处理器以便产生近似于吉布斯分布的量子状态。具体实施方式如在本申请中和在权利要求中使用的那样，单数形式“一”、“一个”和“该”除非上下文另有清楚指示则包括复数形式。附加地，术语“包含(include)”意味着“包括(comprise)”。另外，术语“耦合”没有排除在耦合的项目之间存在中间元件。不应解释这里描述的系统、装置和方法为以任何方式限制。取而代之，本公开内容涉及单独以及以相互各种组合和子组合的、各种公开的实施例的所有新颖和非明显特征以及方面。公开的系统、方法和装置不限于其任何具体方面或者特征或者组合，并且公开的系统、方法和装置也不要求存在任何一个或者多个具体优点或者解决任何一个或者多个具体问题。任何操作理论将支持说明，但是公开的系统、方法和装置不限于这样的操作理论。虽然为了便于呈现而按照特定、依次顺序描述公开的方法中的一些方法的操作，但是应当理解，除非以下阐述的具体言语要求特定排序，则这一描述方式涵盖重排。例如可以在一些情况下重排或者并行地执行依次地描述的操作。另外，为了简化，附图可以没有示出公开的系统、方法和装置可以与其他系统、方法和装置结合使用的各种方式。附加地，该说明书有时使用术语如“产生”和“提供”以描述公开的方法。这些术语是对执行的实际操作的高级抽象化。与这些术语对应的实际操作将根据特定实现方式而变化并且容易地由本领域普通技术人员可辨别。在一些示例中，值、过程或者装置称为“最低”、“最好”、“最小”等。将认识这样的描述旨在于指示可以做出在许多功能备选之中的选择，并且这样的选择无需比其他选择更好、更小或者以别的方式优选。这里描述的方法和装置一般地使用耦合到量子计算机的经典计算机以训练深度玻尔兹曼机。为了经典计算机在给定训练数据时更新用于深度玻尔兹曼机的模型，计算某些期望值。量子计算机被布置为加速这一过程。在典型示例中，由平均场近似或者有关近似所提供的对状态的经典地易处理的(tractable)近似用来预备与产生希望的期望值的分布接近的量子状态。量子计算机然后用来将这一近似高效地改善成精确地为希望的分布。然后通过从这一量化分布进行采样来学习需要的期望值。在备选示例中，使用幅度估计。取代在与单个训练矢量对应的状态中预备量子计算机，在集合中的每个训练示例的量子叠加中预备的状态。幅度估计用来找到希望的期望值。玻尔兹曼机玻尔兹曼机是用于机器学习的强大范式，在该范式中，将训练系统以对训练矢量集合的示例进行分类或者生成训练矢量集合的示例的问题精简成自旋系统的能量最小化问题。玻尔兹曼机由分成两个类别的若干二进制单元构成：(a)可见单元和(b)隐藏单元。可见单元是其中给定机器的输入和输出的单元。例如如果机器用于分类，则可见单元将经常用来保持训练数据以及用于该训练数据的标签。隐藏单元用来生成在可见单元之间的相关性，这些相关性使机器能够向给定的训练矢量指派适当标签或者生成系统被训练以输出的数据类型的示例。图1图示深度玻尔兹曼机100，该深度玻尔兹曼机包括用于输入vi的可见输入层102和用于输出lj的输出层110以及耦合可见输入层102和可见输出层104的隐藏单元层104、106、108。层102、104、106、108、110可以用连接103、105、107、109连接到相邻层，但是在诸如图1中所示深度玻尔兹曼机中，没有层间连接。然而，公开的方法和装置可以用来训练有这样的层间连接的玻尔兹曼机，但是为了便于描述，具体描述对深度玻尔兹曼机的训练。形式上，玻尔兹曼机经由吉布斯分布对隐藏和可见单元的给定的配置(v，h)的概率进行建模：P(v，h)＝e-E(v，h)/Z，其中Z是称为分割函数的归一化因子，并且v、h分别是指可见和隐藏单元值。隐藏和可见单元的给定的配置的能量E是以下形式：其中矢量v和h是可见和隐藏单元值，矢量b和d是如下偏置，这些偏置提供用于取值1的位的能量惩罚，并且wi，j是如下权值，该权值指派用于均取值1的隐藏和可本文档来自技高网...

【技术保护点】
一种训练玻尔兹曼机的方法，包括：用经典计算机接收玻尔兹曼机的规范、目标函数和关联训练数据；在量子计算机中，确定所述目标函数的至少一个梯度；以及基于所述目标函数的所述至少一个梯度，指定所述玻尔兹曼机的至少一个可见偏置、至少一个隐藏偏置或者至少一个权值以便产生训练的玻尔兹曼机。

【技术特征摘要】
【国外来华专利技术】2014.12.05 US 62/088,4091.一种训练玻尔兹曼机的方法，包括：用经典计算机接收玻尔兹曼机的规范、目标函数和关联训练数据；在量子计算机中，确定所述目标函数的至少一个梯度；以及基于所述目标函数的所述至少一个梯度，指定所述玻尔兹曼机的至少一个可见偏置、至少一个隐藏偏置或者至少一个权值以便产生训练的玻尔兹曼机。2.根据权利要求1所述的方法，还包括：在所述量子计算机中，预备多个量子位以便表示吉布斯分布；以及通过对所述多个量子位中的每个量子位的状态进行采样来产生所述目标函数的所述至少一个梯度。3.根据权利要求1和2中的任一权利要求所述的方法，其中所述目标函数是所述训练数据的平均对数似然和正则化函数的求和。4.根据权利要求1-3中的任一权利要求所述的方法，还包括：在所述量子计算机中产生与模型值关联的量子状态，并且在所述经典计算机中基于对所述量子状态的采样建立所述模型值。5.根据权利要求1-4中的任一权利要求所述的方法，其中所述模型使用梯度上升而被修正。6.根据权利要求1-5中的任一权利要求所述的方法，还包括：在所述量子计算机中产生与数据值关联的量子状态，并且在所述经典计算机中基于对所述量子状态的采样修正所述模型值。7.根据权利要求6所述的方法，其中与所述数据值关联的所述量子状态基于对吉布斯分布的平均场近似而被产生。8.一种方法，包括：在量子计算机中预备至少一个量子状态以近似吉布斯状态并且对所述至少一个量子状态进行采样；以及在经典计算机中基于对所述至少一个量子状态的所述采样估计目标函数的梯度。9.根据权利要求8所...

【专利技术属性】
技术研发人员：N·维贝，K·斯沃雷，A·卡珀尔，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US