本公开涉及图像技术领域，具体公开了一种图像处理方法、装置、电子设备及存储介质。该方法包括：通过特征提取矩阵对原始图像执行特征提取操作，得到特征图像；对特征图像执行第一上采样处理，得到第一上采样图像；以及，对原始图像执行第二上采样处理，得到第二上采样图像；通过特征融合矩阵对第一上采样图像以及第二上采样图像执行通道融合处理，得到目标图像；其中，目标图像的分辨率高于原始图像。在该方式中，能够对各个像素进行重建，从而得到分辨率较高的目标图像，实现提升图像清晰度的目的。并且，先执行特征提取再进行上采样的方式，能够降低视野域，提升特征提取的准确性。提升特征提取的准确性。提升特征提取的准确性。
【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质
[0001]本公开实施例涉及图像
，具体涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
[0002]图像作为人类感知世界的视觉基础，是人类获取信息、表达信息和传递信息的重要手段。图像处理(也叫数字图像处理)，即用计算机对图像进行分析处理。数字图像包括使用工业相机、摄像机、扫描仪等多种采集设备得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩、增强和复原、匹配、描述和识别等内容。
[0003]在一些应用场景中，由于获取到的原始图像的分辨率较低，导致图像的清晰度较差，无法有效的从图像中获取信息。因此，亟需一种能够高效提升图像分辨率的处理方式。
技术实现思路
[0004]鉴于上述问题，提出了本公开以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像处理方法、装置、电子设备及存储介质。
[0005]根据本公开实施例的一个方面，提供了一种图像处理方法，包括：
[0006]通过特征提取矩阵对原始图像执行特征提取操作，得到特征图像；
[0007]对所述特征图像执行第一上采样处理，得到第一上采样图像；以及，对所述原始图像执行第二上采样处理，得到第二上采样图像；
[0008]通过特征融合矩阵对所述第一上采样图像以及所述第二上采样图像执行通道融合处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像。
[0009]在一种可选的实现方式中，所述原始图像和/或所述特征图像至少包括：第一通道以及第二通道，且所述第一通道的第一像素数量与所述第二通道的第二像素数量不同；
[0010]则所述上采样处理具体包括：针对上采样之前的图像中属于第一通道的图像像素，执行第一上采样倍数的上采样处理；以及，针对上采样之前的图像中属于第二通道的图像像素，执行第二上采样倍数的上采样处理；其中，所述第一上采样倍数与所述第二上采样倍数不同；
[0011]并且，所述第一上采样处理通过第一上采样算法实现，所述第二上采样处理通过第二上采样算法实现，所述第一上采样算法不同于所述第二上采样算法。
[0012]在一种可选的实现方式中，在所述第一上采样图像和/或所述第二上采样图像的图像尺寸与显示屏幕尺寸不匹配的情况下，所述对所述原始图像执行第二上采样处理具体包括：
[0013]响应于接收到的上采样指令，获取所述上采样指令中包含的像素范围参数；其中，所述上采样指令中包含的像素范围参数根据所述显示屏幕尺寸确定；
[0014]针对与所述像素范围参数相匹配的多个像素执行第二上采样处理。
[0015]在一种可选的实现方式中，所述图像尺寸与显示屏幕尺寸不匹配具体包括：
[0016]所述显示屏幕尺寸不是图像尺寸的整数倍；和/或，
[0017]所述显示屏幕尺寸的第一长宽比例与所述图像尺寸的第二长宽比例不同。
[0018]在一种可选的实现方式中，所述特征提取矩阵以及所述特征融合矩阵通过以下方式确定：
[0019]获取当前设备状态；其中，所述当前设备状态包括以下中的至少一项：设备运行状态、网络参数、负载量、以及设备性能参数；
[0020]从预先训练得到的多个神经网络中，选择与所述当前设备状态相匹配的目标神经网络；
[0021]根据所述目标神经网络确定所述特征提取矩阵以及所述特征融合矩阵；
[0022]其中，不同的神经网络中包含的特征提取矩阵以及特征融合矩阵的矩阵级数和/或矩阵尺寸不同。
[0023]在一种可选的实现方式中，所述方法应用于图形处理设备，且所述通过特征提取矩阵对原始图像执行特征提取操作之前，还包括：
[0024]将矩阵乘加运算转换为通过着色器语言实现的顶点运算和/或光照运算；
[0025]则所述特征提取操作以及所述通道融合处理通过所述顶点运算和/或光照运算实现。
[0026]在一种可选的实现方式中，所述图形处理设备至少包括：着色器以及采样器；
[0027]所述特征提取操作以及所述通道融合处理通过所述着色器实现；所述第一上采样处理以及所述第二上采样处理通过所述采样器实现；
[0028]其中，所述特征提取操作与所述第二上采样处理同时进行；
[0029]并且，在执行所述特征提取操作的过程中，通过所述着色器中的多个线程，对所述特征图像中包含的多个像素点并行处理；
[0030]在执行所述通道融合处理的过程中，通过所述着色器中的多个线程，对所述第一上采样图像以及所述第二上采样图像中的各个像素点并行处理。
[0031]在一种可选的实现方式中，所述通过特征提取矩阵对原始图像执行特征提取操作之前，还包括：
[0032]获取所述原始图像；其中，所述原始图像为云服务端通过串流方式传输的视频流中的任一视频图像帧，且所述视频图像帧由所述云服务端通过云渲染方式生成。
[0033]在一种可选的实现方式中，所述原始图像为云游戏应用中的游戏图像，所述云服务端为所述云游戏应用中的游戏服务端，且所述获取所述原始图像具体包括：通过所述云游戏应用中的游戏客户端获取所述原始图像；并且，所述视频图像帧为YUV格式。
[0034]在一种可选的实现方式中，所述原始图像为游戏应用中的视频图像帧，且所述视频图像帧为YUV格式；所述方法的执行主体为云游戏中的游戏客户端。
[0035]在一种可选的实现方式中，所述神经网络通过以下方式训练得到：
[0036]获取所述云游戏应用中包含的原始游戏图像，对所述原始游戏图像执行下采样处理，得到原始样本图像；将所述原始样本图像作为训练样本，将所述原始游戏图像作为样本标注结果；
[0037]通过神经网络中包含的特征提取矩阵，对所述原始样本图像执行特征提取操作，
得到样本特征图像；对所述样本特征图像执行第一上采样处理，得到第一上采样样本图像；以及，对所述原始样本图像执行第二上采样处理，得到第二上采样样本图像；
[0038]通过所述神经网络中的特征融合矩阵对所述第一上采样样本图像以及所述第二上采样样本图像执行通道融合处理，得到目标样本图像；
[0039]通过预设损失函数计算所述目标样本图像与所述原始游戏图像之间的损失值，根据计算结果对所述神经网络中包含的矩阵参数进行调整，以得到训练后的神经网络。根据本公开实施例的一个方面，提供了一种图像处理装置，所述装置包括：
[0040]提取模块，适于通过特征提取矩阵对原始图像执行特征提取操作，得到特征图像；
[0041]采样模块，适于对所述特征图像执行第一上采样处理，得到第一上采样图像；以及，对所述原始图像执行第二上采样处理，得到第二上采样图像；
[0042]融合模块，适于通过特征融合矩阵对所述第一上采样图像以及所述第二上采样图像执行通道融合处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像。
[0043]在一种可选的实现方式中，所述原始图像和/或所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，包括：通过特征提取矩阵对原始图像执行特征提取操作，得到特征图像；对所述特征图像执行第一上采样处理，得到第一上采样图像；以及，对所述原始图像执行第二上采样处理，得到第二上采样图像；通过特征融合矩阵对所述第一上采样图像以及所述第二上采样图像执行通道融合处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像。2.根据权利要求1所述的方法，其中，所述原始图像和/或所述特征图像至少包括：第一通道以及第二通道，且所述第一通道的第一像素数量与所述第二通道的第二像素数量不同；则所述上采样处理具体包括：针对上采样之前的图像中属于第一通道的图像像素，执行第一上采样倍数的上采样处理；以及，针对上采样之前的图像中属于第二通道的图像像素，执行第二上采样倍数的上采样处理；其中，所述第一上采样倍数与所述第二上采样倍数不同；并且，所述第一上采样处理通过第一上采样算法实现，所述第二上采样处理通过第二上采样算法实现，所述第一上采样算法不同于所述第二上采样算法。3.根据权利要求1
‑
2任一所述的方法，其中，在所述第一上采样图像和/或所述第二上采样图像的图像尺寸与显示屏幕尺寸不匹配的情况下，所述对所述原始图像执行第二上采样处理具体包括：响应于接收到的上采样指令，获取所述上采样指令中包含的像素范围参数；其中，所述上采样指令中包含的像素范围参数根据所述显示屏幕尺寸确定；针对与所述像素范围参数相匹配的多个像素执行第二上采样处理。4.根据权利要求3任一所述的方法，其中，所述图像尺寸与显示屏幕尺寸不匹配具体包括：所述显示屏幕尺寸不是图像尺寸的整数倍；和/或，所述显示屏幕尺寸的第一长宽比例与所述图像尺寸的第二长宽比例不同。5.根据权利要求1
‑
4任一所述的方法，其中，所述特征提取矩阵以及所述特征融合矩阵通过以下方式确定：获取当前设备状态；其中，所述当前设备状态包括以下中的至少一项：设备运行状态、网络参数、负载量、以及设备性能参数；从预先训练得到的多个神经网络中，选择与所述当前设备状态相匹配的目标神经网络；根据所述目标神经网络确定所述特征提取矩阵以及所述特征融合矩阵；其中，不同的神经网络中包含的特征提取矩阵以及特征融合矩阵的矩阵级数和/或矩阵尺寸不同。6.根据权利要求1
‑
5任一所述的方法，其中，所述方法应用于图形处理设备，且所述通过特征提取矩阵对原始图像执行特征提取操作之前，还包括：将矩阵乘加运算转换为通过着色器语言实现的顶点运算和/或光照运算；则所述特征提取操作以及所述通道融合处理通过所述顶点运算和/或光照运算实现。7.根据权利要求6所述的方法，其中，所述图形处理设备至少包括：着色器以及采样器；
所述特征提取操作以及所述通道融合处理通过所述着色器实现；所述第一上采样处理...
【专利技术属性】
技术研发人员：丁盛豪，
申请(专利权)人：上海米哈游天命科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。