【技术实现步骤摘要】
本申请涉及终端，尤其涉及一种图像处理方法、图像处理模型的优化方法及相关设备。
技术介绍
1、卷积神经网络模型通常用于图像处理。一般而言，可以通过优化卷积神经网络模型的精度和效果，来提升图像处理的效果。然而，优化卷积神经网络模型的精度和效果很可能会增加卷积神经网络模型的复杂度，从而导致算法的性能恶化，即模型的推理速度变慢，图像处理所需的时间更长。而很多需要进行图像处理的场景，例如手机拍照、烟火检测、人脸识别等，对图像处理的效果以及图像处理所需的时间均有要求。
技术实现思路
1、本申请提供了一种图像处理方法、图像处理模型的优化方法及相关设备。根据该图像处理方法，能够使得电子设备处理图像的时间不延长的情况下，提升图像处理的效果。根据该图像处理模型的优化方法，能够在神经网络模型性能不恶化的前提下优化模型的精度和效果。
2、第一方面，提供了一种图像处理方法，应用于电子设备。该方法可以包括：获取图像；基于第一神经网络模型对图像进行处理；输出第一神经网络模型处理后的图像；其中，第一神经网络模型是根据第二神经网络模型得到的，第二神经网络模型用于图像处理，第二神经网络模型的结构与电子设备的硬件结构相适配，第一神经网络模型的结构与第二神经网络模型的结构相同，其中，第一神经网络模型是根据第二神经网络模型得到的，包括：第一神经网络模型包括y个第三卷积层，第二神经网络模型包括y个第一卷积层，第一神经网络模型是通过分别对第三神经网络模型中的y个第二卷积层的通道进行剪枝处理得到的，y个第三卷积层与y
3、在本申请提供的图像处理方法中，电子设备在获取图像后，基于根据第二神经网络模型得到的第一神经网络模型对图像进行处理。其中，先对第二神经网络模型进行通道拓展，得到比第二神经网络模型更复杂的第三神经网络模型。相比于第二神经网络模型，第三神经网络模型处理图像的效果更为优异，但是模型复杂度更高从而推理速度更慢。而对第三神经网络模型进行剪枝处理，能够在不明显降低模型精度的前提下，降低第三神经网络模型的复杂度以提升模型的推理速度。最终得到的第一神经网络模型与第二神经网络模型的结构相同，从而，通过上述方法，能够使得电子设备处理图像的时间不延长的情况下，提升图像处理的效果。另外，由于第二神经网络模型的结构与电子设备的硬件结构相适配，因此第一神经网络模型的结构也与电子设备的硬件结构相适配。上述方案，能够节省软硬件适配的过程，降低模型优化的成本，同时，保证芯片的利用率不受影响。
4、可以理解的是，第一神经网络模型处理后的图像还需要经过一系列的后续处理，才会显示在电子设备的界面上，这里的后续处理可以包括提亮、锐化、颜色矫正等，但是这些后续流程对最终输出图的清晰度和噪点的影响，相比于模型#a或第三神经网络对清晰度和噪点的影响，几乎可以忽略不计。
5、还可以理解的是，第一神经网络模型与第二神经网络模型的结构相同，即，这两个模型的卷积层数量相同，且这两个模型中相对应的卷积层内的通道数相等，例如第一神经网络模型的第i个卷积层内的通道数量等于第二神经网络模型的第i个卷积层内的通道数量。换句话说，针对第二神经网络模型的第i个卷积层增加通道数量得到第三神经网络模型，需要针对第三神经网络模型中的第i个卷积层删除掉与增加的通道数量相同的数量的通道，才能够使得一神经网络模型与第二神经网络模型的结构相同。
6、其中，本申请中涉及的第一神经模型的结构是根据部署的硬件平台的特性设计，或者说，第一神经模型的结构与电子设备的硬件结构相适配，可以参照下文的示例进行理解：电子设备中的芯片在运行卷积神经网络模型时，该芯片会针对该卷积神经网络模型中每个卷积层分配的用于处理通道的资源，该资源能够的通道数量为一个数值(例如用g来表示，g≥1且g为整数)的整数倍。g是由芯片的硬件结构设计决定的，比如这里的g可以是16、64或48。例如，某个卷积层内的通道数量为g，那么芯片调用g个通道对应的资源去处理该卷积层的通道。再例如，某个卷积层内的通道数量为2g，那么芯片调用2g个通道对应的资源去处理该卷积层的通道。再例如，某个卷积层内的通道数量为g’，且g’＜g，那么芯片仍然调用g个通道对应的资源去处理该卷积层的通道，在该情况下，芯片的利用率会降低。在第二神经网络模型中的每个卷积层的通道数量均为g的整数倍的情况下，则可以理解为，第一神经模型的结构是根据部署的硬件平台的特性设计，或者说，第一神经模型的结构与电子设备的硬件结构相适配，且该情况下，能够尽可能高的保证芯片的利用率。
7、结合第一方面，在一种可能的实现方式中，基于第一神经网络模型对图像进行处理，包括：根据图像得到图像数据，图像数据用于指示图像中的所有像素；将图像数据输入第一神经网络模型；由y个第三卷积层中的第i个第三卷积层对图像数据进行卷积计算，输出第i个计算结果；将第i个计算结果，经过其他非卷积层的计算之后，输入第i+1个第三卷积层，1≤i≤y-1且i为整数。
8、可以理解的是，由神经网络模型中的每个卷积层对图像数据#1中与每个像素对应的那部分进行卷积计算后，将计算结果输入下一层，最后由模型输出处理后的图像。网络结构还包含其他的层；比如说卷积计算的结果，先经过激活层，再输入到下一层卷积层，或者是有两个卷积层进行卷积计算得到的两个结果分别经过激活层后，将该两个结果相加再输入到下一处卷积层。
9、作为一个示例，电子设备获取图像后，根据图像得到图像数据(为了方便说明，下文称为图像数据#1)，图像数据#1用于指示图像中的所有像素。比如，该图像数据#1可以是原始(raw)格式或者红绿蓝(rgb)格式。一种可能的实现方式中，第一神经网络模型处理后的图像可以是raw格式或rgb格式的图像数据(为了方便说明，下文称为图像数据#3)。
10、示例性的，在手机拍照场景下，第一神经网络模型处理后的图像中的像素与图像数据#1指示的像素一一对应，或者说图像数据#3指示的像素与与图像数据#1指示的像素一一对应，例如，图像数据#3经过一系列后续处理后输出的图像相对于电子设备获取的图像，清晰度提升，噪点降低；在人脸识别场景下，图像数据#3为图像数据#1的所有像素组成的图像中人的五官的坐标数据；在烟火检测场景下，图像数据#3为图像数据#1的所有像素组成的图像中烟雾与火的坐标数据。
11、结合第一方面，在一种可能的实现方式中，第三神经网络模型是通过分别增加第二神经网络模型中的y个第一卷积层内的通道的数量得到的，包括：第三神经网络模型是通过基于数据集对第四神经网络模型训练至收敛得到的，其中，数据集是用于训练第二神经网络模型的数据集；第四神经网络模型是通过分别增加y个第一卷积层中的每个第一卷积层的通道的数量得到的。
12、结合第一方面，在一种可能的实现方式中，第一神经网络模型是通过对第三神经网络模型中本文档来自技高网...
【技术保护点】
1.一种图像处理方法，应用于电子设备，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述基于第一神经网络模型对所述图像进行处理，包括：
3.如权利要求1所述的方法，其特征在于，所述第一神经网络模型是通过分别对第三神经网络模型中的Y个第二卷积层的通道进行剪枝处理得到的，包括：
4.如权利要求3所述的方法，其特征在于，根据所述重要性评分分别修剪所述Y个第二卷积层内的通道，包括：
5.如权利要求4所述的方法，其特征在于，
6.如权利要求4或5所述的方法，其特征在于，
7.如权利要求6所述的方法，其特征在于，
8.如权利要求7所述的方法，其特征在于，
9.如权利要求2所述的方法，其特征在于，所述第三神经网络模型是通过分别增加所述第二神经网络模型中的Y个第一卷积层内的通道的数量得到的，包括：
10.如权利要求2或9所述的方法，其特征在于，所述第一神经网络模型是通过分别对第三神经网络模型中的Y个第二卷积层的通道进行剪枝处理得到的，包括：
11.一种图像处理模型
12.如权利要求11所述的方法，其特征在于，所述分别对所述第三神经网络模型中的所述Y个第二卷积层的通道进行剪枝处理，包括：
13.如权利要求12所述的方法，其特征在于，根据所述重要性评分分别修剪所述Y个第二卷积层内的通道，包括：
14.如权利要求13所述的方法，其特征在于，
15.如权利要求13或14所述的方法，其特征在于，
16.如权利要求15所述的方法，其特征在于，
17.如权利要求16所述的方法，其特征在于，
18.如权利要求11所述的方法，其特征在于，所述分别增加第二神经网络模型中的Y个第一卷积层内的通道的数量，得到第三神经网络模型，包括：
19.如权利要求11或18所述的方法，其特征在于，所述分别对所述第三神经网络模型中的所述Y个第二卷积层的通道进行剪枝处理，得到第一神经网络模型，包括：
20.如权利要求11所述的方法，其特征在于，在所述第二神经网络模型的结构与电子设备的硬件结构相适配的情况下，所述第一神经网络模型的结构与所述电子设备的硬件结构相适配。
21.一种电子设备，包括存储器，以及一个或多个处理器，其特征在于，所述存储器用于存储计算机程序；所述处理器用于调用所述计算机程序，使得所述电子设备执行权利要求1至10或11至20中任一项所述的方法。
22.一种计算机存储介质，其特征在于，包括：计算机指令；当所述计算机指令在电子设备上运行时，使得所述电子设备执行权利要求1至10或11至20中任一项所述的方法。
...【技术特征摘要】
1.一种图像处理方法，应用于电子设备，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述基于第一神经网络模型对所述图像进行处理，包括：
3.如权利要求1所述的方法，其特征在于，所述第一神经网络模型是通过分别对第三神经网络模型中的y个第二卷积层的通道进行剪枝处理得到的，包括：
4.如权利要求3所述的方法，其特征在于，根据所述重要性评分分别修剪所述y个第二卷积层内的通道，包括：
5.如权利要求4所述的方法，其特征在于，
6.如权利要求4或5所述的方法，其特征在于，
7.如权利要求6所述的方法，其特征在于，
8.如权利要求7所述的方法，其特征在于，
9.如权利要求2所述的方法，其特征在于，所述第三神经网络模型是通过分别增加所述第二神经网络模型中的y个第一卷积层内的通道的数量得到的，包括：
10.如权利要求2或9所述的方法，其特征在于，所述第一神经网络模型是通过分别对第三神经网络模型中的y个第二卷积层的通道进行剪枝处理得到的，包括：
11.一种图像处理模型的优化方法，其特征在于，包括：
12.如权利要求11所述的方法，其特征在于，所述分别对所述第三神经网络模型中的所述y个第二卷积层的通道进行剪枝处理，包括：
13.如权利要求12所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。