【技术实现步骤摘要】
本公开总体上涉及硬件友好的多内核卷积网络(hardware friendly multi-kernel convolution network，hfmcn)。更具体地，本文公开的主题涉及对基于hfmcn的图像信号处理的改进。
技术介绍
1、卷积神经网络(convolutional neural network，cnn)在图像处理效率和准确度方面提供了显著的改进。超分辨率(super resolution，sr)、图像降噪(noise reduction，nr)和/或时间降噪(temporal noise reduction，tnr)均可以使用cnn来执行。
技术实现思路
1、cnn的设计可能是复杂的且计算密集型的，使得它们难以在硬件中实施。
2、图像信号处理(image signal processing，isp)设计的挑战是使计算成本最小化。这只有在单个核心网络用于所有应用的情况下才可以实现。然而，用于sr、nr和tnr的网络通常是独立开发的，其中很少有共享的设计特性。
3、例如，sr网络可以使用注意力和密集连接而不对输入图像进行下采样，而nr网络可以使用对输入图像进行下采样的u-net结构(编码器与解码器之间的u形网络连接)。
4、为了解决这个问题，公开了被称为hfmcn的通用网络，其可以高效地用于一个或多个sr任务、nr任务和tnr任务。hfmcn也可能比传统网络配置更适合硬件实施方式。
5、isp中的另一挑战是硬件感知网络的设
6、为了克服这些挑战，引入了所公开的通用网络hfmcn的基本块。这个基本块被称为硬件友好的多内核卷积块(hardware-friendly multi-kernel convolution block，hfmcb)，其包括硬件友好的运算。hfmcb通过提供一种实用的解决方案在硬件上高效地实施映像恢复(例如，isp)网络而解决了硬件感知网络设计的限制。
7、为了克服这些问题，在本文中描述了用以提供能够实现最先进的性能与复杂度的折衷的sr系统、nr系统和tnr系统的系统和方法。
8、本公开提供了一种用以获得具有不同感受野的多样特征的hfmcb。这可以改进低效的级联结构设计，并且可能更适合于高效地利用并行处理。此外，hfmcb内部的操作也可以仔细选择，使得它们是硬件友好的。
9、另外，本公开提供了一种堆叠一个或多个hfmcb的hfmcn，以实现针对多个isp处理(诸如sr任务、nr任务和tnr任务)的准确度与复杂度之间的改进的折衷。
10、在实施例中，提供了一种用于使用hfmcb来处理和组合特征图的方法。该方法包括：将输入特征图拆分成多个特征图，该多个特征图中的每个特征图都具有减少的通道数量；利用不同系列的内核来处理所述多个特征图中的每个特征图；以及组合经处理的多个特征图。
11、在实施例中，提供了一种用于使用hfmcb来处理和组合特征图的电子设备。该电子设备包括：至少一个处理器；以及可操作地与至少一个处理器连接的至少一个存储器，至少一个存储器存储指令，当指令被执行时，指示至少一个处理器通过以下操作执行一种使用hfmcb来处理和组合特征图的方法：将输入特征图拆分成多个特征图，该多个特征图中的每个特征图都具有减少的通道数量；利用不同系列的内核来处理所述多个特征图中的每个特征图；以及组合经处理的多个特征图。
12、在实施例中，提供了一种使用一个或多个hfmcb将hfmcn应用于输入图像的方法。该方法包括：对输入图像应用逐深度可分离卷积函数，该逐深度可分离卷积函数将特征图的通道大小从第一通道数量增加到第二通道数量；对具有第二通道数量的特征图应用一个或多个hfmcb，其中，应用一个或多个hfmcb包括：将特征图拆分成多个特征图，该多个特征图中的每个特征图都具有比第二通道数量少的第三通道数量，利用不同系列的内核来处理所述多个特征图中的每个特征图，以及组合经处理的多个特征图；以及使用专用层(application-specific layer，asl)处理经组合的多个特征图，以输出经处理的输出图像。
本文档来自技高网...【技术保护点】
1.一种使用硬件友好的多内核卷积块(HFMCB)来处理和组合特征图的方法，包括：
2.根据权利要求1所述的方法，其中，将所述输入特征图拆分成多个特征图包括应用1×1卷积函数来减少针对所述多个特征图中的每个特征图的通道数量。
3.根据权利要求1所述的方法，其中，针对所述多个特征图中的每个特征图的减少的通道数量是相等的。
4.根据权利要求3所述的方法，其中，组合经处理的多个特征图包括应用所述多个特征图的加权和。
5.根据权利要求1所述的方法，其中，处理所述多个特征图中的每个特征图包括将逐深度可分离卷积函数应用于所述多个特征图中包括的特征图的真子集。
6.根据权利要求1所述的方法，其中，所述多个特征图中的每个特征图利用所述不同系列的内核并行处理。
7.根据权利要求1所述的方法，其中，所述多个特征图中的每个特征图包括唯一的感受野。
8.一种用于使用硬件友好的多内核卷积块(HFMCB)来处理和组合特征图的电子设备，包括：
9.根据权利要求8所述的电子设备，其中，将所述输入特征图拆分成多个特征图包
10.根据权利要求8所述的电子设备，其中，针对所述多个特征图中的每个特征图的减少的通道数量是相等的。
11.根据权利要求10所述的电子设备，其中，组合经处理的多个特征图包括应用所述多个特征图的加权和。
12.根据权利要求8所述的电子设备，其中，处理所述多个特征图中的每个特征图包括将逐深度可分离卷积函数应用于所述多个特征图中包括的特征图的真子集。
13.根据权利要求8所述的电子设备，其中，所述多个特征图中的每个特征图利用所述不同系列的内核并行处理。
14.根据权利要求8所述的电子设备，其中，所述多个特征图中的每个特征图包括唯一的感受野。
15.一种使用一个或多个硬件友好的多内核卷积块(HFMCB)将硬件友好的多内核卷积网络(HFMCN)应用于输入图像的方法，所述方法包括：
16.根据权利要求15所述的方法，其中，使用所述ASL处理经组合的多个特征图包括将子像素上采样函数应用于经组合的多个特征图、将平方卷积函数应用于多个特征图、或者将平方卷积sigmoid函数应用于多个特征图中的至少一项，以获得经处理的输出图像。
17.根据权利要求15所述的方法，其中，对输入图像应用所述逐深度可分离卷积函数包括将平方卷积函数应用于所述输入图像以将所述特征图的通道大小从第一通道数量增加到第二通道数量。
18.根据权利要求15所述的方法，其中，处理多个特征图中的每个特征图包括将逐深度可分离卷积函数应用于多个特征图中包括的特征图的真子集。
19.根据权利要求15所述的方法，其中，组合经处理的多个特征图包括应用所述多个特征图的加权和。
20.根据权利要求15所述的方法，其中，所述多个特征图中的每个特征图包括唯一的感受野。
...【技术特征摘要】
1.一种使用硬件友好的多内核卷积块(hfmcb)来处理和组合特征图的方法，包括：
2.根据权利要求1所述的方法，其中，将所述输入特征图拆分成多个特征图包括应用1×1卷积函数来减少针对所述多个特征图中的每个特征图的通道数量。
3.根据权利要求1所述的方法，其中，针对所述多个特征图中的每个特征图的减少的通道数量是相等的。
4.根据权利要求3所述的方法，其中，组合经处理的多个特征图包括应用所述多个特征图的加权和。
5.根据权利要求1所述的方法，其中，处理所述多个特征图中的每个特征图包括将逐深度可分离卷积函数应用于所述多个特征图中包括的特征图的真子集。
6.根据权利要求1所述的方法，其中，所述多个特征图中的每个特征图利用所述不同系列的内核并行处理。
7.根据权利要求1所述的方法，其中，所述多个特征图中的每个特征图包括唯一的感受野。
8.一种用于使用硬件友好的多内核卷积块(hfmcb)来处理和组合特征图的电子设备，包括：
9.根据权利要求8所述的电子设备，其中，将所述输入特征图拆分成多个特征图包括应用1×1卷积函数来减少针对所述多个特征图中的每个特征图的通道数量。
10.根据权利要求8所述的电子设备，其中，针对所述多个特征图中的每个特征图的减少的通道数量是相等的。
11.根据权利要求10所述的电子设备，其中，组合经处理的多个特征图包括应用所述多个特征图的加权和。
12...
【专利技术属性】
技术研发人员：刘青峰，M·埃尔卡米，林石焕，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。