神经元与神经网络的综合训练与推理制造技术

一种计算设备，包括或用于实现用于通过对接收输入执行学习过程以产生输出来对所述输入进行运算的神经网络，所述神经网络由用于训练所述神经网络和推理机器学习模型的主模块实现。所述主模块包括投影模块和译码模块。所述投影模块用于根据为所述投影模块存储的机器学习模型，将输入矢量从初始矢量空间投影到码字空间中。所述译码模块用于评估为所述投影模块存储的所述机器学习模型，并形成表示所述评估的结果的评估数据。所述投影模块还用于根据所述评估数据调整为所述投影模块存储的所述机器学习模型。述机器学习模型。述机器学习模型。

【技术实现步骤摘要】
【国外来华专利技术】神经元与神经网络的综合训练与推理


[0001]本专利技术涉及深度神经网络，尤其涉及神经元和神经网络的设计、训练和推理。

技术介绍

[0002]深度神经网络(Deep Neural Network，DNN)是受构成生物大脑的生物神经网络启发的计算系统。DNN通过考虑示例来“学习”执行任务，通常不使用任何特定于任务的规则进行编程。例如，在图像识别中，这些系统可能会通过分析已经被手动标记为“车”或“没有车”的示例图像并使用结果识别其它图像中的车来学习识别包含车的图像。这些系统在没有任何关于汽车的事先了解的情况下这样做。相反，这些系统会从他们处理的学习材料中自动生成识别特征。
[0003]DNN以一组称为人工神经元的连接单元或节点为基础，这些连接单元或节点以松散方式建模生物大脑中的神经元。每个连接就像生物大脑中的突触一样，都可以将信号从一个人工神经元传输到另一个人工神经元。接收信号的人工神经元可以处理信号，然后激活连接到该人工神经元的另外的人工神经元。通常，人工神经元被聚集成层，其中，不同的层可以对其输入执行不同类型的转换。
[0004本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算设备，其特征在于，包括或用于实现用于通过对接收输入执行学习过程以产生输出来对所述输入进行运算的神经网络，所述神经网络由用于训练所述神经网络和推理机器学习模型的主模块实现，所述主模块包括：投影模块，用于根据为所述投影模块存储的机器学习模型，将输入矢量从初始矢量空间投影到码字空间中；以及译码模块，用于评估为所述投影模块存储的所述机器学习模型，并形成表示所述评估的结果的评估数据；其中，所述投影模块用于根据所述评估数据调整为所述投影模块存储的所述机器学习模型。2.根据权利要求1所述的计算设备，其特征在于，所述投影模块包括：多个神经元，用于接收矢量输入的一个或多个元素，并以它们的相应权重进行运算以产生相应输出；以及多个函数，每个函数对所述多个神经元中的一个神经元的相应输出进行运算，其中，所述多个函数的输出形成所述投影模块的矢量输出。3.根据权利要求1或2所述的计算设备，其特征在于，所述神经网络是二元神经网络，所述二元神经网络用于对一个或多个矢量输入及其相应的二元权重应用具有二元输出的一个或多个函数，以产生二元矢量输出。4.根据权利要求2或3所述的计算设备，其特征在于，所述函数是实现逻辑运算的任何组合的任何布尔函数。5.根据权利要求4所述的计算设备，其特征在于，所述布尔函数选自XOR函数、AND函数、OR函数、XNOR函数或NAND函数中的任一个。6.根据上述权利要求中任一项所述的计算设备，其特征在于，所述译码模块包括编码器和解码器。7.根据上述权利要求中任一项所述的计算设备，其特征在于，所述译码模块用于通过在所述编码器处编码目标模式以确定目标码字来评估所述机器学习模型，所述评估数据是从所述译码模块的编码器传递到所述投影模块的包括所述目标码字的反馈信息。8.根据权利要求7所述的计算设备，其特征在于，所述反馈信息包括准确性分数矢量(φ)，其中，所述准确性分数矢量的每个元素与投影的输入矢量的位关联。9.根据上述权利要求中任一项所述的计算设备，其特征在于，所述译码模块用于通过在所述解码器处解码投影的输入矢量以确定估计标签来评估所述机器学习模型，所述评估数据是从所述投影模块传递到所述译码模块的解码器的包括所述投影的输入矢量的前馈信息。10.根据权利要求9所述的计算设备，其特征在于，所述前馈信息(θ)包括与所述投影的输入矢量关联的置信度值。11.根据权利要求10所述的计算设备，其特征在于，所述置信度值用于...

【专利技术属性】
技术研发人员：尼古拉斯，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：