获取器的数据发送方法和获取器技术

公开了获取器的数据发送方法和获取器。所述获取器包括加载器、至少一个发送器、缓冲控制器和重用缓冲器。所述数据发送方法包括：由加载器基于存储在重用缓冲器中的输入数据、将用于卷积运算的内核的形状和内核的权重的二维(2D)零值信息，根据加载次序来加载输入特征图的输入数据；由缓冲控制器将加载的输入数据存储在根据加载次序循环地分配地址的重用缓冲器中；和由所述至少一个发送器中的每个基于权重的一维(1D)零值信息，在存储在重用缓冲器中的输入数据之中选择与卷积运算的每个输出数据对应的输入数据，并且输出选择的输入数据。据。据。

【技术实现步骤摘要】
获取器的数据发送方法和获取器
[0001]本申请要求于2020年12月22日在韩国知识产权局提交的第10
‑
2020
‑
0180967号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。


[0002]下面的描述涉及缓冲管理设备，更具体地，涉及用于神经加速器的数据重用的高效缓冲管理设备。

技术介绍

[0003]深度学习技术是用于基于大量训练数据来训练包括多个层的神经网络的技术，每个层包括多个神经元。为了提高神经网络的推断的准确性，需要大量训练数据，并且训练数据可包括图像、声音或文本信息。
[0004]卷积神经网络(CNN)有助于通过卷积运算显著提高图像分类和识别的准确性。然而，基于CNN的模型需要大量的计算操作，并且随着训练数据量的增大，所需的资源也增大。
[0005]各种研究正在被进行以加速卷积运算，硬件加速通过硬件改进来加速卷积运算。例如，神经处理器(NPU)是被设计为针对矩阵运算(诸如，卷积运算)的并行处理进行优化的处理器，并且表现出比一般处理器更高的运算速度。

技术实现思路

[0006]提供本
技术实现思路
以便以简化的形式介绍以下在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
[0007]在一个总体方面，一种获取器的数据发送方法，所述获取器包括加载器、至少一个发送器、缓冲控制器和重用缓冲器，所述数据发送方法包括：由加载器基于存储在重用缓冲器中的输入数据、将用于卷积运算的内核的形状和内核的权重的二维(2D)零值信息，根据加载次序来加载存储在存储器中的输入特征映射的输入数据；由缓冲控制器将加载的输入数据存储在根据加载次序循环地分配地址的重用缓冲器中；和由所述至少一个发送器中的每个基于权重的一维(1D)零值信息，在存储在重用缓冲器中的输入数据之中选择与卷积运算的每个输出数据对应的输入数据，并且将选择的输入数据发送到执行器。
[0008]内核可具有矩形形状。2D零值信息可包括指示权重之中的各自具有零值的一个或多个权重的位置的2D位置信息。
[0009]内核可具有除矩形形状之外的形状。2D零值信息可包括指示在与内核重叠的最小矩形中的不与内核重叠的一个或多个权重的位置的2D位置信息。
[0010]内核可具有矩形形状。2D零值信息可包括指示权重之中的通过修剪而删除的一个或多个权重的位置的2D位置信息。
[0011]加载输入数据的步骤可包括：基于内核的形状和2D零值信息来选择权重之中的具有非零值的权重的位置；在与具有非零值的权重的位置对应的输入特征图的输入数据之中
选择不与存储在重用缓冲器中的输入数据重叠的输入数据；和加载选择的输入数据。
[0012]选择输入数据的步骤可包括：基于1D零值信息在权重之中选择具有非零值的权重的位置；在存储在重用缓冲器中的输入数据之中选择与具有非零值的权重的位置对应的输入数据；和将选择的输入数据发送到执行器。
[0013]一种非暂时性计算机可读存储介质可存储指令，所述指令在由处理器执行时，使所述处理器执行数据共享方法。
[0014]在另一总体方面，一种设备包括：加载器；至少一个发送器；缓冲控制器；和重用缓冲器，其中，加载器被配置为：基于存储在重用缓冲器中的输入数据、将用于卷积运算的内核的形状和内核的权重的2D零值信息，根据加载次序来加载存储在存储器中的输入特征图的输入数据，缓冲控制器被配置为：将加载的输入数据存储在根据加载次序循环地分配地址的重用缓冲器中，并且所述至少一个发送器中的每个被配置为：基于权重的1D零值信息，在存储在重用缓冲器中的输入数据之中选择与卷积运算的每个输出数据对应的输入数据，并且将选择的输入数据发送到执行器。
[0015]内核可具有矩形形状。2D零值信息可包括指示权重之中的各自具有零值的一个或多个权重的位置的2D位置信息。
[0016]内核可具有除矩形形状之外的形状。2D零值信息可包括指示在与内核重叠的最小矩形中的不与内核重叠的一个或多个权重的位置的2D位置信息。
[0017]内核可具有矩形形状。2D零值信息可包括指示权重之中的通过修剪而删除的一个或多个权重的位置的2D位置信息。
[0018]加载器可被配置为：基于内核的形状和2D零值信息选择权重之中的具有非零值的权重的位置；在与具有非零值的权重的位置对应的输入特征图的输入数据之中选择不与存储在重用缓冲器中的输入数据重叠的输入数据；和加载选择的输入数据。
[0019]所述至少一个发送器可被配置为：基于1D零值信息选择权重之中的具有非零值的权重的位置；在存储在重用缓冲器中的输入数据之中选择与具有非零值的权重的位置对应的输入数据；和将选择的输入数据发送到执行器。
[0020]所述设备可包括：存储器，被配置为存储输入特征图；和执行器，被配置为对从所述至少一个发送器输出的选择的输入数据执行并行卷积运算。
[0021]在另一总体方面，一种设备包括一个或多个处理器，所述一个或多个处理器被配置为：通过加载与将用于卷积运算的内核的权重的非零值的位置对应的输入特征图的特征值并且跳过与内核的权重的零值的位置对应的输入特征图的特征值，来加载存储在存储器中的输入特征图的输入数据；将输入数据存储在重用缓冲器中；和基于内核的权重的一维(1D)零值信息来选择存储在重用缓冲器中的将被输出的输入数据的一部分。
[0022]在内核具有非矩形形状的情况下，所述一个或多个处理器可被配置为：将零值分配给在完全包含内核的最小矩形中的不与内核重叠的任何权重。
[0023]从下面的具体实施方式、附图以及权利要求，其它特征和方面将是清楚的。
附图说明
[0024]图1示出卷积运算设备的配置的示例。
[0025]图2示出用于卷积运算的数据发送方法的操作的示例。
[0026]图3示出用于卷积运算的数据发送方法的示例。
[0027]图4示出由卷积运算设备加载的输入数据的示例。
[0028]图5示出由卷积运算设备使用的一维(1D)零值信息和二维(2D)零值信息的示例。
[0029]图6示出获取器的配置的示例。
[0030]图7示出卷积运算设备的配置的另一示例。
[0031]贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘可被夸大。
具体实施方式
[0032]提供下面的具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，并且不限于在此阐述的那些顺序，而是除了必须以特定的次序发生的操作之外，可如在理解本申请的公开之后将是清楚的那样被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种获取器的数据发送方法，所述获取器包括加载器、至少一个发送器、缓冲控制器和重用缓冲器，所述数据发送方法包括：由加载器基于存储在重用缓冲器中的输入数据、将用于卷积运算的内核的形状和内核的权重的二维零值信息，根据加载次序来加载存储在存储器中的输入特征映射的输入数据；由缓冲控制器将加载的输入数据存储在根据加载次序循环地分配地址的重用缓冲器中；和由所述至少一个发送器中的每个基于权重的一维零值信息，在存储在重用缓冲器中的输入数据之中选择与卷积运算的每个输出数据对应的输入数据，并且输出选择的输入数据。2.根据权利要求1所述的数据发送方法，其中，内核具有矩形形状，并且二维零值信息包括指示权重之中的各自具有零值的一个或多个权重的位置的二维位置信息。3.根据权利要求1所述的数据发送方法，其中，内核具有除矩形形状之外的形状，并且二维零值信息包括指示在与内核重叠的最小矩形中的不与内核重叠的一个或多个权重的位置的二维位置信息。4.根据权利要求1所述的数据发送方法，其中，内核具有矩形形状，并且二维零值信息包括指示权重之中的通过修剪而删除的一个或多个权重的位置的二维位置信息。5.根据权利要求1至权利要求4中的任意一项所述的数据发送方法，其中，加载输入数据的步骤包括：基于内核的形状和二维零值信息来选择权重之中的具有非零值的权重的位置；在与具有非零值的权重的位置对应的输入特征图的输入数据之中选择不与存储在重用缓冲器中的输入数据重叠的输入数据；和加载选择的输入数据。6.根据权利要求1至权利要求4中的任意一项所述的数据发送方法，其中，选择输入数据的步骤包括：基于一维零值信息在权重之中选择具有非零值的权重的位置；在存储在重用缓冲器中的输入数据之中选择与具有非零值的权重的位置对应的输入数据；和将选择的输入数据发送到执行器。7.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，使所述处理器执行根据权利要求1至权利要求6中的任意一项所述的数据发送方法。8.一种获取器，包括：加载器；至少一个发送器；
缓冲控制器；和重用缓冲器，其中，加载器被配置为：基于存储在重用缓冲器中的输入数据、将用于卷积运算的内核的形状和内核的权重的二维零值信息，根据加载次序来加载存储在存储器中的输入特征图的输入...

【专利技术属性】
技术研发人员：朴炫宣，张准祐，金愈珍，金燦老，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：