基于神经网络的数据处理制造技术

本公开涉及用于改进数据处理系统的性能的装置和方法，该数据处理系统包括多个加速器，该多个加速器被配置为接收包括用于神经网络的训练数据的输入数据。多个加速器中的每一个被配置为执行多个历元段过程，在执行多个历元段过程中的至少一个之后与其他加速器共享与损失函数相关联的梯度数据，并且基于梯度数据更新神经网络的权重。多个加速器中的每一个包括：精度调整器，被配置为基于针对输入数据的梯度数据的方差和多个历元段过程的总数量中的至少一个来调整梯度数据的精度，并且将经精度调整的梯度数据传输到其他加速器；以及电路，被配置为基于输入数据、权重和梯度数据中的至少一个来更新神经网络。的至少一个来更新神经网络。的至少一个来更新神经网络。

【技术实现步骤摘要】
基于神经网络的数据处理
[0001]相关申请的交叉引用
[0002]本申请要求于2020年9月10日向韩国知识产权局提交的申请号为10
‑
2020
‑
0115911的韩国专利申请的优先权，其通过引用整体并入本文。


[0003]本专利文献中公开的技术总体涉及一种数据处理技术，并且更特别地，涉及一种使用神经网络运算的数据处理系统及其操作方法。

技术介绍

[0004]涉及模仿人类智力的方法的人工智能技术已经越来越多地应用于图像识别、自然语言处理、自动驾驶车辆、自动化系统、医疗护理、安全、金融等应用领域。
[0005]人工神经网络是实施人工智能的一种方式。人工神经网络的目标是提高机器的问题解决能力；即，通过训练提供基于学习的推理。然而，随着所输出的推理的准确度增加，计算量、存储器访问的次数以及所传送的数据量也随之增加。
[0006]所需资源的这种增加可能导致速度的降低、功耗的增加和其他问题，并且因此系统性能可能劣化。

技术实现思路

[0007]除了其他特征和益处之外，所公开技术的实施例可以基于经由人工神经网络的处理以改进使用多个加速器实现的数据处理系统的性能的方式来实施。在示例中，该优点可以通过在多个加速器交换数据之前改变该数据的精度来实现。
[0008]在用于实施所公开技术的实施例中，一种数据处理系统可以包括：多个加速器，被配置为接收包括用于神经网络的训练数据的输入数据，其中多个加速器中的每一个被配置为执行多个历元段过程，在执行多个历元段过程中的至少一个之后与其他加速器共享与损失函数相关联的梯度数据，并且基于梯度数据来更新神经网络的权重。损失函数包括由神经网络输出的预测值和实际值之间的误差。多个加速器中的每一个包括：精度调整器，被配置为基于针对输入数据的梯度数据的方差和多个历元段过程的总数量中的至少一个来调整梯度数据的精度，并且将经精度调整的梯度数据传输到其他加速器；以及电路，被配置为基于输入数据、权重和梯度数据中的至少一个来更新神经网络。
[0009]在用于实施所公开技术的另一实施例中，一种数据处理系统的操作方法，该数据处理系统包括多个加速器，该多个加速器被配置为接收包括用于神经网络的训练数据的输入数据，其中多个加速器中的每一个被配置为执行多个历元段过程，在执行多个历元段过程中的至少一个之后与其他加速器共享与损失函数相关联的梯度数据，并且基于梯度数据更新神经网络的权重，其中损失函数包括由神经网络输出的预测值与实际值之间的误差，并且其中该方法包括：多个加速器中的每一个：基于针对输入数据的梯度数据的方差和多个历元段过程的总数量中的至少一个来调整梯度数据的精度，将经精度调整的梯度数据传
输到其他加速器，并且基于输入数据、权重和梯度数据中的至少一个来更新神经网络模型。
[0010]在用于实施所公开技术的实施例中，一种数据处理系统可以包括：多个电路，该多个电路被联接以形成用于数据处理的神经网络，多个电路包括多个加速器，该多个加速器被配置为接收包括用于神经网络的训练数据的输入数据。多个加速器中的每一个被配置为接收至少一个小批量数据(mini
‑
batch)，小批量数据通过将训练数据以预定的批量大小划分而生成，针对每个历元段过程，与其他加速器共享经精度调整的梯度数据，执行基于所共享的梯度数据来更新神经网络的权重的多个历元段过程，并且其中梯度数据与包括由神经网络输出的预测值和实际值之间的误差的损失函数相关联。
[0011]在说明书、附图和权利要求书中更详细地描述了这些和其他特征、方面和实施例。
附图说明
[0012]通过下面结合附图的详细描述，将更清楚地理解本公开的主题的上述和其他方面、特征和优点。
[0013]图1A和图1B是示出根据所公开技术的实施例的示例人工神经网络的数据处理的示图。
[0014]图2是示出根据所公开技术的实施例的示例训练过程的示图
[0015]图3是示出根据所公开技术的实施例的神经网络模型的示例学习(或训练)循环的示图。
[0016]图4是示出根据所公开技术的实施例的分布式神经网络学习系统架构的示例的示图
[0017]图5是示出根据所公开技术的实施例的分布式神经网络学习系统架构的另一示例的示图。
[0018]图6是示出根据所公开技术的实施例的加速器的示例配置的示图。
[0019]图7A是示出根据所公开技术的实施例的精度调整器的示例配置的示图。
[0020]图7B示出根据所公开技术的实施例的由图7A所示的精度调整器执行的一组示例操作。
[0021]图8示出根据所公开技术的实施例的堆叠式半导体设备的示例。
[0022]图9示出根据所公开技术的实施例的堆叠式半导体设备的另一示例。
[0023]图10示出根据所公开技术的实施例的堆叠式半导体设备的又一示例。
[0024]图11示出根据所公开技术的实施例的包括数据存储装置的网络系统的示例。
具体实施方式
[0025]图1A和图1B是示出根据所公开技术的实施例的示例人工神经网络的数据处理的示图。
[0026]如图1A所示，人工神经网络10可以包括输入层101、至少一个隐藏层103和输出层105，并且层101、103和105中的每一个可以包括至少一个节点。
[0027]输入层101被配置为接收用于导出预测值(输出值)的数据(输入值)。当接收N个输入值时，输入层101可以包括N个节点。在人工神经网络的训练过程期间，输入值是(已知的)训练数据，而在人工神经网络的推理过程期间，输入值是待识别的数据(识别目标数据)。
[0028]输入层101和输出层105之间的隐藏层103被配置为从输入层101中的输入节点接收输入值，基于分配给神经网络中的节点的权重参数或系数来计算加权和，将加权和应用于传递函数，并且将传递函数传输到输出层105。
[0029]输出层105被配置为使用在隐藏层103中确定的特征来确定输出模式，并且输出预测值。
[0030]在一些实施例中，输入节点、隐藏节点和输出节点都通过具有权重的网络联接。在示例中，隐藏层103可以通过节点的权重参数和偏置参数(分别被称为权重和偏置)来学习或导出隐藏在输入值中的特征。
[0031]权重参数被配置为调整节点之间的连接强度。例如，权重可以调整每个节点的输入信号对输出信号的影响。
[0032]在一些实施例中，例如，权重参数的初始值可以被任意地分配，并且可以通过学习(训练)过程被调整为最佳地拟合预测值的值。
[0033]在一些实施例中，传输到输出层的传递函数是激活函数，当隐藏层103中的每个节点的输出信号等于或大于阈值时，该激活函数被激活以将输出信号传输到下一节点。
[0034]偏置参数被配置为调整每个节点处的激活程度。
[0035]人工神经网络实施方案包括训练过程，该训练过程通过确定包括权重参数和偏置参数的多个参数来生成学习或训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，包括：多个加速器，接收包括用于神经网络的训练数据的输入数据，其中所述多个加速器中的每一个：执行多个历元段过程，在执行所述多个历元段过程中的至少一个之后与其他加速器共享与损失函数相关联的梯度数据，并且基于所述梯度数据来更新所述神经网络的权重，其中所述损失函数包括由所述神经网络输出的预测值与实际值之间的误差，并且其中所述多个加速器中的每一个包括：精度调整器，基于针对所述输入数据的所述梯度数据的方差和所述多个历元段过程的总数量中的至少一个来调整所述梯度数据的精度，并且将经精度调整的梯度数据传输到所述其他加速器，以及电路，基于所述输入数据、所述权重和所述梯度数据中的至少一个来更新所述神经网络。2.根据权利要求1所述的数据处理系统，其中所述精度调整器从所述其他加速器接收经精度调整的梯度数据，并且将所述经精度调整的梯度数据转换成具有与所述电路的默认精度相对应的初始精度的梯度数据。3.根据权利要求1所述的数据处理系统，其中所述多个加速器中的每一个：接收至少一个小批量数据，所述小批量数据通过将所述训练数据以预定的批量大小划分而生成，并且通过执行所述多个历元段过程来更新所述神经网络，所述执行所述多个历元段过程包括与所述其他加速器并行地执行针对所述至少一个小批量数据的所述历元段过程，并且整合所述历元段过程的结果。4.根据权利要求1所述的数据处理系统，其中针对相应的历元段过程，所述多个加速器中的每一个：通过将所述权重应用于所述输入数据来确定所述预测值，基于所述预测值和所述输入数据之间的误差来计算所述损失函数的所述梯度数据，并且在所述梯度数据的梯度减小的方向上更新所述权重。5.根据权利要求4所述的数据处理系统，其中所述多个加速器中的每一个在所述多个历元段过程中的每一个中通过从所述其他加速器接收经精度调整的梯度数据来计算平均梯度数据并且更新所述权重。6.根据权利要求1所述的数据处理系统，其中所述多个加速器包括：至少一个主加速器，接收并整合所述经精度调整的梯度数据；以及多个从加速器，基于从所述主加速器接收所整合的梯度数据来更新所述权重。7.根据权利要求1所述的数据处理系统，其中所述多个加速器中的每一个与所述其他加速器共享所述经精度调整的梯度数据，并且整合所述经精度调整的梯度数据。8.根据权利要求1所述的数据处理系统，其中所述精度调整器在确定所述梯度数据的所述方差减小时将所述精度调整到更高的精度。
9.根据权利要求1所述的数据处理系统，其中所述精度调整器在确定所述多个历元段过程的数量增加时将所述精度调整到更高的精度。10.一种数据处理系统的操作方法，所述数据处理系统包括多个加速器，所述多个加速器接收包括用于神经网络的训练数据的输入数据，其中所述多个加速器中的每...

【专利技术属性】
技术研发人员：南智勋，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：