混合卷积运算制造技术

一种设备包括：一个或多个处理器，被配置为取回数据的第一块，该数据与至少沿着第一维度和第二维度排列的值的阵列相对应；提取该数据的第二块的至少部分；以及执行第一混合卷积运算，第一混合卷积运算在第一块上和第二块的至少部分上应用滤波器以生成输出数据。该输出数据包括第一累加块以及第二累加块的至少部分。一个或多个处理器还被配置为将第一累加块存储为第一输出数据。第二块的该部分沿着第一维度与第一块相邻，并且第二累加块的该部分沿着第二维度与第一累加块相邻。着第二维度与第一累加块相邻。着第二维度与第一累加块相邻。

【技术实现步骤摘要】
【国外来华专利技术】混合卷积运算
[0001]优先权要求
[0002]本申请要求享有共同拥有的于2020年2月3日提交的美国临时专利申请第62/969594号和于2021年2月2日提交的美国非临时专利申请第17/165648号的优先权，这两个申请的内容都明确地以全文引用的方式并入本文。


[0003]本公开总体上涉及用于执行卷积的计算设备和程序。

技术介绍

[0004]技术的进步使得大量的数据处理能够由便携式电子设备(诸如智能电话)来执行。例如，传统的便携式电子设备通常具有足够的处理资源来执行数据处理，诸如对图像数据滤波。当通过在输入数据上“滑动”滤波器来处理输入数据集(诸如图像像素值的二维阵列)以生成每个输入值的输出值时，执行卷积。使用图像数据作为示例，可以基于输入图像中的像素值并且还基于输入图像中该像素的邻近像素的值来为输入图像的每个像素生成输出像素值。
[0005]然而，因为使用了邻近像素值，所以需要多个输入图像数据块来生成单个输出图像数据块。例如，生成输出图像块可能由于处理块边缘处的像素时滤波器在块之间重叠而需要从至少四个、至多九个输本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种设备，包括：存储器，被配置为存储与至少沿着第一维度和第二维度排列的值的阵列相对应的数据；以及一个或多个处理器，被配置为：从所述存储器中取回所述数据的第一块和所述数据的第二块的至少部分；执行第一混合卷积运算，所述第一混合卷积运算在所述第一块上和所述第二块的至少部分上应用滤波器以生成输出数据，其中所述输出数据包括第一累加块以及第二累加块的至少部分；以及将所述第一累加块存储为第一输出数据，其中所述第二块的部分沿着所述第一维度与所述第一块相邻，并且所述第二累加块的部分沿着所述第二维度与所述第一累加块相邻。2.根据权利要求1所述的设备，其中所述第一块、所述第二块、所述第一累加块和所述第二累加块中的每一者的大小根据由所述存储器支持、用于由所述一个或多个处理器来存储器存取的存储器存取数据大小而确定。3.根据权利要求2所述的设备，其中所述第一混合卷积运算沿着所述第二维度使用零填充而不沿着所述第一维度使用零填充，以使用至多两次存储器存取来取回所述第一块和所述第二块的部分并使用至多两次存储器存取来存储所述第一累加块和所述第二累加块的部分，来使能卷积。4.根据权利要求1所述的设备，其中：所述第一块以及所述第二块的部分一起对应于所述阵列的N行和前M列，N和M是正整数，并且N大于M；所述第一累加块和所述第二累加块一起对应于输出数据的M行和N列；所述第一累加块对应于第一累加器中的累加值的M行和M列；以及所述第二累加块的部分对应于第二累加器中的局部累加值的M行和N
‑
M列。5.根据权利要求4所述的设备，其中所述一个或多个处理器还被配置为使用第一存储器存取操作来存取所述第一块以及使用第二存储器存取操作来存取所述第二块的部分，并且其中所述第一存储器存取操作和所述第二存储器存取操作中的每一个存取操作被配置为至多取回所述数据的M行和M列。6.根据权利要求4所述的设备，其中所述滤波器包括P行和P列滤波器值，并且其中P＝N
‑
M+1。7.根据权利要求4所述的设备，其中所述一个或多个处理器还被配置为：取回一起对应于所述阵列的N行和第二M列的所述数据的第三块以及第四块的至少部分；对所述第三块以及所述第四块的部分执行第二混合卷积运算，以更新所述第二累加块并生成第三累加块的至少部分，所述第三累加块的至少部分沿着所述第二维度与所述第二累加块相邻；以及将所述第二累加块存储为第二输出数据。8.根据权利要求7所述的设备，其中所述一个或多个处理器还被配置为以流水线方式执行包括所述第一混合卷积运算和第二所述混合卷积运算的混合卷积运算序列，其中所述第一累加块的存储和所述第二混合卷积运算的执行发生在相同的流水线周期期间。
9.根据权利要求7所述的设备，其中所述一个或多个处理器还被配置为：在第一累加器中生成所述第一累加块；在第二累加器中生成所述第二累加块；以及在存储所述第一累加块之后，在所述第一累加器中生成所述第三累加块。10.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为根据图像处理操作将所述数据与所述滤波器进行卷积。11.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为根据神经网络卷积层操作将所述数据与所述滤波器进行卷积。12.根据权利要求11所述的设备，其中所述存储器和所述一个或多个处理器被集成到交通工具中。13.根据权利要求11所述的设备，其中所述存储器和所述一个或多个处理器被集成到家庭自动化系统中。14.根据权利要求1所述的设备，其中所述存储器和所述一个或多个处理器被集成到移动设备中。15.根据权利要求1所述的设备，其中所述一个或多个处理器被包括在集成电路中。16.一种执行卷积的方法，包括：在一个或多个处理器处从存储器中取回数据的第一块和所述数据的第二块的至少部分，所述数据对应于至少沿着第一维度和第二维度排列的值的阵列；执行第一混合卷积运算，所述第一混合卷积运算在所述第一块上和所述第二块的至少部分上应用滤波器以生成输出数据，其中所述输出数据包括第一累加块以及第二累加块的至少部分；以及将所述第一累加块存储为第一输出数据，其中所述第二块的部分沿着所述第一维度与所述第一块相邻，并且所述第二累加块的部分沿着所述第二维度与所述第一累加块相邻。17.根据权利要求16所述的方法，其中所述第一块、所述第二块、所述第一累加块和所述第二累加块中的每一者的大小根据由所述存储器支持、用于由所述一个或多个处理器来存储器存取的存储器存取数据大小而确定。18.根据权利要求16所述的方法，其中，所述第一混合卷积运算沿着所述第...

【专利技术属性】
技术研发人员：E，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：