卷积计算方法、卷积计算装置及终端设备制造方法及图纸

本申请适用于深度学习技术领域，提供了一种卷积计算方法、卷积计算装置、终端设备及计算机可读存储介质，包括：将待处理图像输入至深度学习模型，从深度学习模型的所有卷积层中获取待分块卷积组和分块的目标尺寸；根据所述目标尺寸，对所述待分块卷积组中的第一个待分块卷积层的所有输入通道数据进行分块，每个分块的尺寸为所述目标尺寸；根据所述第一个待分块卷积层的所有输入通道数据的所有分块，获取所述待分块卷积组的输出结果；将所述待分块卷积组的输出结果输入至所述深度学习模型的指定网络。本申请可通过调整待分块卷积层的分块尺寸，调整带宽消耗，自适应深度学习模型的频繁更新升级。

Convolution calculation method, convolution calculation device and terminal equipment

【技术实现步骤摘要】
卷积计算方法、卷积计算装置及终端设备
本申请属于深度学习
，尤其涉及一种卷积计算方法、卷积计算装置、终端设备及计算机可读存储介质。
技术介绍
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得信息对诸如文字、图像和声音等数据的解释有很大的帮助。深度学习模型通常包括卷积层，卷积层的卷积计算效率的关键点之一是如何节省数据搬运和功耗，如果数据复用做的不好，容易形成带宽瓶颈。现有的卷积计算方法，一旦设计完成，数据复用方式就不可调整，功耗也随着确定，这样对于不同的深度学习模型，就会有不同的效率表现，较难适应深度学习模型频繁更新升级的现状。
技术实现思路
本申请提供了一种卷积计算方法、卷积计算装置、终端设备及计算机可读存储介质，以通过调整待分块卷积层的分块尺寸，调整带宽消耗，自适应深度学习模型的频繁更新升级。第一方面，本申请实施例提供了一种卷积计算方法，所述卷积计算方法包括：获取待处理图像；将所述待处理图像输入至深度学习模型；针对所述待处理图像，从所述深度学习模型的所有卷积层中获取待分块卷积组和分块的目标尺寸，其中，所述待分块卷积组包括N个相邻卷积层，N为大于1的整数；根据所述目标尺寸，对所述待分块卷积组中的第一个待分块卷积层的所有输入通道数据进行分块，每个分块的尺寸为所述目标尺寸；根据所述第一个待分块卷积层的所有输入通道数据的所有分块，获取所述待分块卷积组的输出结果；将所述待分块卷积组的输出结果输入至所述深度学习模型的指定网络，其中，所述指定网络是指所述深度学习模型中位于所述待分块卷积组之后的网络。第二方面，本申请实施例提供了一种卷积计算装置，所述卷积计算装置包括：图像获取模块，用于获取待处理图像；图像输入模块，用于将所述待处理图像输入至深度学习模型；参数获取模块，用于针对所述待处理图像，从所述深度学习模型的所有卷积层中获取待分块卷积组和分块的目标尺寸，其中，所述待分块卷积组包括N个相邻卷积层，N为大于1的整数；数据分块模块，用于根据所述目标尺寸，对所述待分块卷积组中的第一个待分块卷积层的所有输入通道数据进行分块，每个分块的尺寸为所述目标尺寸；结果获取模块，用于根据所述第一个待分块卷积层的所有输入通道数据的所有分块，获取所述待分块卷积组的输出结果；结果输入模块，用于将所述待分块卷积组的输出结果输入至所述深度学习模型的指定网络，其中，所述指定网络是指所述深度学习模型中位于所述待分块卷积组之后的网络。第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述卷积计算方法的步骤。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述卷积计算方法的步骤。第五方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如上述第一方面所述卷积计算方法的步骤。由上可见，本方案在通过深度学习模型对待处理图像进行处理(如识别、跟踪)时，从深度学习模型的所有卷积层中获取待分块卷积组和分块的目标尺寸，并根据目标尺寸对待分块卷积组中的第一个待分块卷积层的所有输入通道数据进行分块，根据第一个待分块卷积层的所有输入通道数据的所有分块，完成对待分块卷积组的卷积计算，在卷积计算过程中，并不需要重复从内存中读取数据，减少了对内存的数据访问，提高了卷积计算效率，进而提高了对待处理图像的处理效率，同时通过与上述深度学习模型自适应的目标尺寸对待分块卷积层进行分块，能够减少卷积计算过程中所消耗的数据带宽和参数带宽，自适应深度学习模型的频繁更新升级。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例一提供的卷积计算方法的实现流程示意图；图2a是待分块卷积层的卷积计算示例图；图2b是待分块卷积层的分块缓存示例图；图3是本申请实施例二提供的卷积实现装置的结构示意图；图4是本申请实施例三提供的终端设备的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。参见图1，是本申请实施例一提供的卷积计算方法的实现流程示意图，如图所示该卷积计算方法可以包括以下步骤：步骤S101，获取待处理图像。其中，待处理图像可以是指需通过深度学习模型进行处理(如识别、跟踪等)的图像，例如一张照片，通过深度学习模型识别该照片的类别，识别出该照片的类别为人像。步骤S102，将所述待处理图像输入至深度学习模型。步骤S103，针对所述待处理图像，从所述深度学习模型的所有卷积层中获取待分块卷积组和分块的目标尺寸。其中，所述待分块卷积组包括N个相邻卷积层，N为大于1的整数。在本申请实施例中，深度学习模型(例如卷积神经网络)通常包括至少卷积层，用于对输入通道数据进行特征提取，对输入通道数据中隐含的关联性进行抽象。至少两个卷积层中的第一个卷积层(即第一层卷积层)通常提取一些低级特征(如边缘、线条和角等)，更多层的卷积层能够从低级特征中迭代提取更复杂的特征。可选的，所述针对所述待处理图像，从所述深度学习模型的所有卷积层中获取待分块卷积组和分块的目标尺寸包括：获取M组不同的备选参数，其中，一组备选参数包括一个备选卷积组以及与该备选卷积组对应的备选尺寸，M为大于1的整数；针对所述待处理图像，获取所述M组不同的备选参数中每组备选参数在卷积计算过程中消耗本文档来自技高网...

【技术保护点】
1.一种卷积计算方法，其特征在于，所述卷积计算方法包括：/n获取待处理图像；/n将所述待处理图像输入至深度学习模型；/n针对所述待处理图像，从所述深度学习模型的所有卷积层中获取待分块卷积组和分块的目标尺寸，其中，所述待分块卷积组包括N个相邻卷积层，N为大于1的整数；根据所述目标尺寸，对所述待分块卷积组中的第一个待分块卷积层的所有输入通道数据进行分块，每个分块的尺寸为所述目标尺寸；/n根据所述第一个待分块卷积层的所有输入通道数据的所有分块，获取所述待分块卷积组的输出结果；/n将所述待分块卷积组的输出结果输入至所述深度学习模型的指定网络，其中，所述指定网络是指所述深度学习模型中位于所述待分块卷积组之后的网络。/n

【技术特征摘要】
1.一种卷积计算方法，其特征在于，所述卷积计算方法包括：
获取待处理图像；
将所述待处理图像输入至深度学习模型；
针对所述待处理图像，从所述深度学习模型的所有卷积层中获取待分块卷积组和分块的目标尺寸，其中，所述待分块卷积组包括N个相邻卷积层，N为大于1的整数；根据所述目标尺寸，对所述待分块卷积组中的第一个待分块卷积层的所有输入通道数据进行分块，每个分块的尺寸为所述目标尺寸；
根据所述第一个待分块卷积层的所有输入通道数据的所有分块，获取所述待分块卷积组的输出结果；
将所述待分块卷积组的输出结果输入至所述深度学习模型的指定网络，其中，所述指定网络是指所述深度学习模型中位于所述待分块卷积组之后的网络。


2.如权利要求1所述的卷积计算方法，其特征在于，所述针对所述待处理图像，从所述深度学习模型的所有卷积层中获取待分块卷积组和分块的目标尺寸包括：
获取M组不同的备选参数，其中，一组备选参数包括一个备选卷积组以及与该备选卷积组对应的备选尺寸，M为大于1的整数；
针对所述待处理图像，获取所述M组不同的备选参数中每组备选参数在卷积计算过程中消耗的数据带宽和参数带宽；
从所述M组不同的备选参数中获取数据带宽与参数带宽之和最小的备选参数，并确定该备选参数中的备选卷积组为所述待分块卷积组，该备选参数中的备选尺寸为所述目标尺寸。


3.如权利要求2所述的卷积计算方法，其特征在于，所述获取所述M组不同的备选参数中每组备选参数在卷积计算过程中消耗的数据带宽包括：
获取所述每组备选参数在卷积计算过程中从内存加载输入通道数据所消耗的带宽，并确定该带宽为所述每组备选参数在卷积计算过程中消耗的数据带宽。


4.如权利要求2所述的卷积计算方法，其特征在于，所述获取所述M组不同的备选参数中每组备选参数在卷积计算过程中消耗的参数带宽包括：
获取所述每组备选参数在卷积计算过程中从权重缓存或内存加载卷积核所消耗的带宽，并确定该带宽为所述每组备选参数在卷积计算过程中消耗的参数带宽，其中，所述权重缓存是指存储卷积核的缓存。


5.如权利要求1所述的卷积计算方法，其特征在于，所述根据所述第一个待分块卷积层的所有输入通道数据的所有分块，获取所述待分块卷积组的输出结果包括：
根据所述第一个待分块卷积层的所有输入通道数据的所有分块，获取所述待分块卷积组中最后一个待分块卷积层的输出结果，并确定所述最后一个待分块卷积层的输出结果为所述待分块卷积层的输出结果。


6.如权利要求5所述的卷积计算方法，其特征在于，所述根据所述第一个待分块卷积层的所有输入通道数据的所有分块，获取所述...

【专利技术属性】
技术研发人员：曹庆新，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东;44