采样操作实现系统、方法、电子设备及存储介质技术方案

本申请提供了一种采样操作实现系统、方法、电子设备及存储介质，涉及计算机技术领域，该采样操作实现系统包括具有脉动阵列加速器的第一处理单元，以及与第一处理单元相连接的第二处理单元，该采样操作实现系统通过第二处理单元和具有脉动阵列加速器的第一处理单元配合使用，将待处理数据的采样操作转换为卷积操作，确定卷积操作对应的待卷积数据和卷积核；分别对待卷积数据和卷积核进行处理，将待卷积数据转换为输入特征矩阵，将卷积核转换为核矩阵；通过脉动阵列加速器对输入特征矩阵和核矩阵进行矩阵乘运算，得到采样操作对应的处理结果。本申请提供的采样操作实现系统实现了对采样操作的加速计算，大幅提高了数据处理效率。率。率。

【技术实现步骤摘要】
采样操作实现系统、方法、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种采样操作实现系统、方法、电子设备及存储介质。

技术介绍

[0002]深度学习(Deep Learn i ng)是一种机器学习(Mach ine Learn ing)方法，用于学习样本数据的内在规律和表示层次，其目标是让机器能够像人一样具有分析学习的能力，能够识别文字、图像和声音等数据。
[0003]在深度学习任务中，经常需要对特征数据(例如特征图)进行采样操作(res ize)，用于调整输入特征数据的大小，从而获得所需的分辨率。res ize操作用于增大特征尺寸时，通常是先将原始特征图的尺寸进行放大，空出来很多需要补充的区域，然后通过一定的插值算法来计算待补充的区域的值；res ize操作用于减小特征尺寸时的原理相似，也是需要通过一定的插值算法进行计算。
[0004]其中，常见的用于res ize的线性插值算法可包括：最近邻插值(Nearest I nterpo l at ion)算法，双线性插值(Bi l inear I nterpo l at ion)算法和双三次插值(Bicubic I nterpo l at ion)算法等，这些插值方法在图像插值过程中采用的是同一种插值内核，不区分待插像素点所处的位置。例如，最近邻插值(Nearest I nterpo l at ion)算法将目标图像中的点，对应到原图像中后，找到最相邻的整数坐标点的像素值，作为该点的像素值输出；双线性插值(Bi l inear I nterpo l at ion)算法可在水平方向(例如X轴方向)上进行两次线性插值计算，然后在竖直方向(Y轴方向)上进行一次插值计算；双三次插值(Bicubic I nterpo l at ion)算法适用于二维空间，相对双线性插值的图像边缘更加平滑。
[0005]然而，res ize操作计算量通常较大，使用传统的CPU(Centra l Process ing Un it，中央处理器)或者传统的GPU(Graph ics Process ing Un it，图像处理器)等计算设备处理res ize操作耗时比较长，效率较低。

技术实现思路

[0006]本申请提出了一种采样操作实现系统、方法、电子设备及存储介质，通过第二处理单元和具有脉动阵列加速器的第一处理单元配合使用，可以对采样操作进行加速计算，大幅提高数据处理效率。
[0007]第一方面，本申请实施例提供一种采样操作实现系统，该系统包括具有脉动阵列加速器的第一处理单元，以及与所述第一处理单元相连接的第二处理单元；所述第二处理单元用于：获取待处理数据；将对于所述待处理数据的采样操作转换为卷积操作，确定所述卷积操作对应的待卷积数据和卷积核；分别对所述待卷积数据和所述卷积核进行处理，将所述待卷积数据转换为输入特征矩阵，将所述卷积核转换为核矩阵；将所述输入特征矩阵和所述核矩阵发送至所述第一处理单元，以及，响应于接收所述第一处理单元发送的所述
输入特征矩阵和所述核矩阵的矩阵乘运算结果，将所述矩阵乘运算结果转换为所述采样操作对应的处理结果；所述第一处理单元用于：响应于接收到所述第二处理单元发送的所述输入特征矩阵和所述核矩阵,通过所述脉动阵列加速器对所述输入特征矩阵和所述核矩阵进行矩阵乘运算，得到矩阵乘运算结果；所述第一处理单元还用于：将所述矩阵乘运算结果发送至第二处理单元，或，将所述矩阵乘运算结果转换为所述采样操作对应的处理结果。
[0008]其中，本申请中的采样操作是指可用于调整待处理数据的大小的res ize操作(例如，对待处理的特征图在至少一个维度进行缩放，各维度被进行缩放的比例可以相同，也可以不同)。被进行采样操作的待处理数据可以是图像特征数据、文本特征数据、语音特征数据中的任一者。
[0009]第二方面，本申请实施例提供一种采样操作实现方法，所述方法应用于采样操作实现系统，所述系统包括具有脉动阵列加速器的第一处理单元，以及与所述第一处理单元相连接的第二处理单元，所述方法包括：通过所述第二处理单元获取待处理数据；通过所述第二处理单元将所述待处理数据的采样操作转换为卷积操作，确定所述卷积操作对应的待卷积数据和卷积核；通过所述第二处理单元分别对所述待卷积数据和所述卷积核进行处理，将所述待卷积数据转换为输入特征矩阵，将所述卷积核转换为核矩阵，将所述输入特征矩阵和所述核矩阵发送至所述第一处理单元；所述第一处理单元响应于接收到所述第二处理单元发送的所述输入特征矩阵和所述核矩阵,通过所述脉动阵列加速器对所述输入特征矩阵和所述核矩阵进行矩阵乘运算，得到矩阵乘运算结果；所述第一处理单元将所述矩阵乘运算结果发送至第二处理单元；所述第二处理单元响应于接收所述第一处理单元发送的所述输入特征矩阵和所述核矩阵的矩阵乘运算结果，将所述矩阵乘运算结果转换为所述采样操作对应的处理结果；或，在所述第一处理单元得到矩阵乘运算结果后，通过所述第一处理单元将所述矩阵乘运算结果转换为所述采样操作对应的处理结果。
[0010]第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器；所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行上述第二方面提供的方法。
[0011]第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述第二方面提供的方法。
[0012]本申请实施例采用的上述至少一个技术方案能够达到的有益效果为：通过采样操作实现系统可以将原本并不适合脉动阵列加速器执行的采样操作，转换为可以适合脉动阵列加速器执行的卷积操作，从而得到采样操作对应的处理结果，利用具有脉动阵列加速器的第一处理单元(用于执行矩阵乘)和第二处理单元(用于执行矩阵乘以外的操作)的配合使用，实现对采样操作的加速计算，大幅提高了执行采样操作的数据处理效率。
[0013]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
[0014]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
[0015]图1示出了本申请实施例提供的一种采样操作实现系统的框图。
[0016]图2示出了本申请实施例提供的一种建立输入特征与输出特征之间的对应关系的示意图。
[0017]图3示出了本申请实施例提供的一种构造卷积核的示意图。
[0018]图4示出了本申请实施例提供的一种待处理数据的维度转换示意图。
[0019]图5示出了本申请实施例提供的一种将采样操作转换为卷积操作的示意图。
[0020]图6示出了本申请实施例提供的一种将卷积操作转换为矩阵乘运算的示意图。
[0021]图7示出了本申请实施例提供的一种脉动阵列加速器的示意图。
[0022]图8示出了本申请实施例提供的一种卷积核切分示意图。
[0023]图9示出了本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采样操作实现系统，其特征在于，包括具有脉动阵列加速器的第一处理单元，以及与所述第一处理单元相连接的第二处理单元；所述第二处理单元用于：获取待处理数据；将对于所述待处理数据的采样操作转换为卷积操作，确定所述卷积操作对应的待卷积数据和卷积核；分别对所述待卷积数据和所述卷积核进行处理，将所述待卷积数据转换为输入特征矩阵，将所述卷积核转换为核矩阵；将所述输入特征矩阵和所述核矩阵发送至所述第一处理单元，以及，响应于接收所述第一处理单元发送的所述输入特征矩阵和所述核矩阵的矩阵乘运算结果，将所述矩阵乘运算结果转换为所述采样操作对应的处理结果；所述第一处理单元用于：响应于接收到所述第二处理单元发送的所述输入特征矩阵和所述核矩阵,通过所述脉动阵列加速器对所述输入特征矩阵和所述核矩阵进行矩阵乘运算，得到矩阵乘运算结果；将所述矩阵乘运算结果发送至第二处理单元，或，将所述矩阵乘运算结果转换为所述采样操作对应的处理结果。2.根据权利要求1所述的采样操作实现系统，其特征在于，将对于所述待处理数据的采样操作转换为卷积操作，确定所述卷积操作对应的待卷积数据和卷积核，包括：针对任一采样维度的采样操作，根据所述待处理数据的尺寸、所述采样操作对应的输出特征矩阵的尺寸、采样方式，建立所述输出特征矩阵中每个元素位置与所述待处理数据中每个元素位置的对应关系；根据所述对应关系，为所述待处理数据和所述采样操作对应的输出特征矩阵构造卷积核，其中，基于所述对应关系下的待处理数据的权值，为所述卷积核赋值；对所述待处理数据进行维度变换，将所述采样维度变换到通道维度，得到待卷积数据。3.根据权利要求2所述的采样操作实现系统，其特征在于，分别对所述待卷积数据和所述卷积核进行处理，将所述待卷积数据转换为输入特征矩阵，将所述卷积核转换为核矩阵，包括：对所述卷积核进行循环复制处理，依次将所述卷积核包括的数据转换为列向量或行向量，按行或列排列成二维的核矩阵；对所述待卷积数据进行循环复制处理，依次将卷积核感受野对应的待卷积数据转换为相应的列向量或行向量，按行或列排列成二维的输入特征矩阵。4.根据权利要求2所述的采样操作实现系统，其特征在于，将所述矩阵乘运算结果转换为所述采样操作对应的处理结果,包括：对所述矩阵乘运算结果进行维度变换，将所述矩阵乘运算结果的通道维度变换到采样维度，得到处理结果，作为对所述待处理数据进行所述采样操作的结果。5.根据权利要求1
‑
4中任一项所述的采样操作实现系统，其特征在于，所述第二处理单元还用于：在所述卷积核包括全零数据块的情况下，对所述卷积核进行切分处理，得到全零数据块和非零数据块；
分别确定每个非零数据块对应的待卷积数据子块；分别对所述待卷积数据子块和所述非零数据块进行循环复制处理，将每个待卷积数据子块转换为二维的输入特征子矩阵，将所述非零数据块转换为二维的核子矩阵；将每个核子矩阵和对应的所述输入特征子矩阵发送至所述第一处理单元，以及，...

【专利技术属性】
技术研发人员：陈帅，金贝贝，
申请(专利权)人：成都登临科技有限公司，
类型：发明
国别省市：