图像插值方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及图像处理技术领域，具体涉及一种图像插值方法、装置、电子设备及存储介质。该图像插值方法，包括：将原始图像以及缩放比例输入深度学习硬件推理加速器，其中，深度学习硬件推理加速器包括卷积层与反卷积层；深度学习硬件推理加速器用于按照缩放比例对原始图像进行缩放，以获得目标图像；卷积层根据所述缩放比例对原始图像进行卷积处理，并输出N个子图像，其中，N为大于1的整数；N个子图像分别存储了目标图像中N种相对位置的目标像素的像素值；反卷积层将N个子图像按照N种相对位置执行合并操作，获得目标图像。本申请的技术方案，可以提高计算效率与实现的灵活性，降低功耗。降低功耗。降低功耗。

【技术实现步骤摘要】
图像插值方法、装置、电子设备及存储介质


[0001]本专利技术涉及图像处理
，具体涉及一种图像插值方法、装置、电子设备及存储介质。

技术介绍

[0002]在图像处理中，图像的几何变换的操作是将一幅图像映射到另一幅图像内的操作。通常几何变换可分为缩放、翻转、仿射（平移或旋转）、透视、重映射等。
[0003]当图像进行几何变换时，势必会出现无法直接赋值的像素点，例如，将图像放大两倍时，将会多出一些无法被直接映射的像素点。当出现此种情况时，一般将采用图像插值算法解决。简单来说，图像插值算法是用已知的像素点去计算未知的点。
[0004]图像插值算法有许多种，下面介绍三种最常见的三种插值算法：（1）最近邻法（Nearest Interpolation）：将目标图像中的一个像素点对应到原图像后找到最相邻的整数坐标的像素点的像素值，作为目标图像的像素值输出。此算法计算速度最快，但是放大后的目标图像会存在严重的马赛克，出现明显的块状效应，而缩小后的目标图像会存在严重失真。
[0005]（2）双线性插值（Bilinear Interpolation）：双线性插值是用原图像中4（2*2）个像素点计算目标图像中的一个像素点。其效果和速度都介于其他两种方法之间，在许多框架中属于默认算法。
[0006]（3）双三次插值（Bicubic Interpolation）：双三次插值是用原图像中16（4*4）个像素点计算目标图像中的一个像素点。此算法在三种方法之间效果最好但是相对计算代价大。
[0007]一般图像插值是由软件、硬件或GPU（graphics processing unit，图形处理器）单独实现。由于其中涉及大量的计算，导致使用软件单独实现时延迟严重。而使用硬件单独实现则无法灵活更改计算图像插值所使用的框架或其框架的核函数，导致实现方法单一，无法完美适用于所有情况。虽然GPU实现可解决前两者的弊端，但是传统GPU计算十分昂贵，同时功耗也非常高。如上所述，使用软件、硬件或GPU单独实现图像插值算法从效率、灵活性和功耗上都非最优选。

技术实现思路

[0008]本申请的目的在于提供一种图像插值方法、装置、电子设备及存储介质，可以提高计算效率与实现的灵活性，降低功耗。
[0009]根据本申请实施例的第一方面，提供一种图像插值方法，包括：将原始图像以及缩放比例输入深度学习硬件推理加速器，其中，所述深度学习硬件推理加速器包括卷积层与反卷积层；所述深度学习硬件推理加速器用于按照所述缩放比例对所述原始图像进行缩放，以获得目标图像；所述卷积层根据所述缩放比例对所述原始图像进行卷积处理，并输出N个子图像，
其中，N为大于1的整数；N个子图像分别存储了所述目标图像中N种相对位置的目标像素的像素值；所述反卷积层将N个子图像按照N种相对位置执行合并操作，获得所述目标图像。
[0010]在一种实施方式中，所述卷积层根据所述缩放比例对所述原始图像进行卷积处理，并输出N个子图像之前，还包括：根据所述缩放比例确定目标卷积核的通道数、每个通道目标卷积核的尺寸、每个通道目标卷积核的权重参数以及每个通道目标卷积核对应的位置；其中，目标卷积核的通道数为N；将所有通道目标卷积核按照每个通道目标卷积核对应的位置进行合并，获得所述卷积层的权重参数。
[0011]在一种实施方式中，所述根据所述缩放比例确定目标卷积核的通道数、每个通道目标卷积核的尺寸、每个通道目标卷积核的权重参数以及每个通道目标卷积核对应的位置，包括：根据所述缩放比例确定初始卷积核的通道数、每个通道初始卷积核的尺寸、每个通道初始卷积核的权重参数以及每个通道初始卷积核对应的位置；其中，初始卷积核的通道数为N；根据每个通道初始卷积核的尺寸与每个通道初始卷积核对应的位置，确定每个通道目标卷积核的尺寸，其中，每个通道目标卷积核的尺寸大于每个通道初始卷积核的尺寸；针对初始卷积核的每个通道，根据该通道初始卷积核的尺寸、该通道目标卷积核的尺寸以及该通道初始卷积核对应的位置，将该通道初始卷积核转变为该通道目标卷积核，其中，该通道目标卷积核对应的位置与该通道初始卷积核对应的位置相同。
[0012]在一种实施方式中，所述根据所述缩放比例确定初始卷积核的通道数，包括：根据所述缩放比例确定所述目标图像中目标像素与所述原始图像中原始像素的相对位置；根据所述目标像素与所述原始像素的相对位置，对所有目标像素进行分类，确定目标像素的类别数目；根据目标像素的类别数目，确定初始卷积核的通道数。
[0013]在一种实施方式中，所述根据所述缩放比例确定每个通道初始卷积核的权重参数，包括：针对初始卷积核的每个通道，确定原始图像中每次参与卷积运算的初始卷积核尺寸范围内的多个原始像素；针对每个原始像素，确定目标像素与原始像素在X轴与Y轴上的距离；其中，多个原始像素沿着X轴与Y轴阵列排布，X轴与Y轴相互垂直；根据目标像素与原始像素在X轴与Y轴上的距离以及图像插值函数，计算得到初始卷积核的权重参数。
[0014]在一种实施方式中，所述根据每个通道初始卷积核的尺寸与每个通道初始卷积核对应的位置，确定每个通道目标卷积核的尺寸，包括：根据每个通道初始卷积核的尺寸与每个通道初始卷积核对应的位置，确定最小重复单元；最小重复单元为原始图像中每次参与卷积运算的目标卷积核尺寸范围内的多个原
始像素组成的单元；根据所述最小重复单元的尺寸确定每个通道目标卷积核的尺寸。
[0015]在一种实施方式中，所述针对初始卷积核的每个通道，根据该通道初始卷积核的尺寸、该通道目标卷积核的尺寸以及该通道初始卷积核对应的位置，将该通道初始卷积核转变为该通道目标卷积核，包括：针对初始卷积核的每个通道，根据该通道初始卷积核的尺寸、该通道目标卷积核的尺寸以及该通道初始卷积核对应的位置，确定填充位置；对所述填充位置填充权重参数，得到该通道目标卷积核。
[0016]在一种实施方式中，所述深度学习硬件推理加速器还包括填充层；所述卷积层根据所述缩放比例对所述原始图像进行卷积处理，并输出N个子图像之前，还包括：所述填充层围绕所述原始图像的四周填充一圈像素，填充的像素区域的宽度为1个像素。
[0017]在一种实施方式中，所述原始图像的图像格式为RGB或YUV444；所述卷积层根据所述缩放比例对所述原始图像进行卷积处理，并输出N个子图像，包括：针对所述原始图像的任意一个通道，所述卷积层根据所述缩放比例对该通道图像进行卷积处理，并输出N个子图像；所述反卷积层将N个子图像按照N种相对位置执行合并操作，获得所述目标图像，包括：针对所述原始图像的任意一个通道，所述反卷积层将N个子图像按照N种相对位置执行合并操作，得到第一中间图像；将所有通道的第一中间图像进行合并，获得所述目标图像。
[0018]在一种实施方式中，所述原始图像的图像格式为RGB或YUV444；所述卷积层根据所述缩放比例对所述原始图像进行卷积处理，并输出N个子图像，包括：针对所述原始图像的任意一个通道，所述卷积层根据所述缩放比例对该通道图像进行卷积处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像插值方法，其特征在于，包括：将原始图像以及缩放比例输入深度学习硬件推理加速器，其中，所述深度学习硬件推理加速器包括卷积层与反卷积层；所述深度学习硬件推理加速器用于按照所述缩放比例对所述原始图像进行缩放，以获得目标图像；所述卷积层根据所述缩放比例对所述原始图像进行卷积处理，并输出N个子图像，其中，N为大于1的整数；N个子图像分别存储了所述目标图像中N种相对位置的目标像素的像素值；所述反卷积层将N个子图像按照N种相对位置执行合并操作，获得所述目标图像。2.如权利要求1所述的图像插值方法，其特征在于，所述卷积层根据所述缩放比例对所述原始图像进行卷积处理，并输出N个子图像之前，还包括：根据所述缩放比例确定目标卷积核的通道数、每个通道目标卷积核的尺寸、每个通道目标卷积核的权重参数以及每个通道目标卷积核对应的位置；其中，目标卷积核的通道数为N；将所有通道目标卷积核按照每个通道目标卷积核对应的位置进行合并，获得所述卷积层的权重参数。3.如权利要求2所述的图像插值方法，其特征在于，所述根据所述缩放比例确定目标卷积核的通道数、每个通道目标卷积核的尺寸、每个通道目标卷积核的权重参数以及每个通道目标卷积核对应的位置，包括：根据所述缩放比例确定初始卷积核的通道数、每个通道初始卷积核的尺寸、每个通道初始卷积核的权重参数以及每个通道初始卷积核对应的位置；其中，初始卷积核的通道数为N；根据每个通道初始卷积核的尺寸与每个通道初始卷积核对应的位置，确定每个通道目标卷积核的尺寸，其中，每个通道目标卷积核的尺寸大于每个通道初始卷积核的尺寸；针对初始卷积核的每个通道，根据该通道初始卷积核的尺寸、该通道目标卷积核的尺寸以及该通道初始卷积核对应的位置，将该通道初始卷积核转变为该通道目标卷积核，其中，该通道目标卷积核对应的位置与该通道初始卷积核对应的位置相同。4.如权利要求3所述的图像插值方法，其特征在于，所述根据所述缩放比例确定初始卷积核的通道数，包括：根据所述缩放比例确定所述目标图像中目标像素与所述原始图像中原始像素的相对位置；根据所述目标像素与所述原始像素的相对位置，对所有目标像素进行分类，确定目标像素的类别数目；根据目标像素的类别数目，确定初始卷积核的通道数。5.如权利要求4所述的图像插值方法，其特征在于，所述根据所述缩放比例确定每个通道初始卷积核的权重参数，包括：针对初始卷积核的每个通道，确定原始图像中每次参与卷积运算的初始卷积核尺寸范围内的多个原始像素；针对每个原始像素，确定目标像素与原始像素在X轴与Y轴上的距离；其中，多个原始像素沿着X轴与Y轴阵列排布，X轴与Y轴相互垂直；
根据目标像素与原始像素在X轴与Y轴上的距离以及图像插值函数，计算得到初始卷积核的权重参数。6.如权利要求3所述的图像插值方法，其特征在于，所述根据每个通道初始卷积核的尺寸与每个通道初始卷积核对应的位置，确定每个通道目标卷积核的尺寸，包括：根据每个通道初始卷积核的尺寸与每个通道初始卷积核对应的位置，确定最小重复单元；最小重复单元为原始图像中每次参与卷积运算的目标卷积核尺寸范围内的多个原始像素组成的单元；根据所述最小重复单元的尺寸确定每个通道目标卷积核的尺寸。7.如权利要求6所述的图像插值方法，其特征在于，所述针对初始卷积核的每个通道，根据该通道初始卷积核的尺寸、该通道目标卷积核的尺寸以及该通道初始卷积核对应的位置，将该通道初始卷积核转变为该通道目标卷积核，包括：针对初始卷积核的每个通道，根据该通道初始卷积核的尺寸、该通道目标卷积核的尺寸以及该通道初始卷积核对应的位置，确定填充位置；对所述填充位置填充权重参数，得到该通道目标卷积核。8.如权利要求1所述的图像...

【专利技术属性】
技术研发人员：邱丰，徐林，
申请(专利权)人：镕铭微电子济南有限公司，
类型：发明
国别省市：