本申请公开了一种图像处理方法、装置、电子设备及可读存储介质，属于通信技术领域。该方法包括：提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，目标第二图像帧为N个第二图像帧中的任一个；基于换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；根据N个第一图像帧的时序，将N个第三图像帧合成为第二视频；其中，每个第一图像帧均包括一个对应第三图像帧；第三图像帧的分辨率高于第一图像帧。一图像帧。一图像帧。
【技术实现步骤摘要】
图像处理方法、装置、电子设备及可读存储介质
[0001]本申请实施例涉及通信
，尤其涉及一种图像处理方法、装置、电子设备及可读存储介质。
技术介绍
[0002]随着互联网和多媒体技术的快速发展，视频作为一种重要的多媒体信息载体形式在实际生活中得到了越来越广泛的应用。
[0003]为了提高视频的清晰度，在相关技术中，通常采用超分辨率技术对视频进行处理。但相关技术主要基于服务器端GPU的强大算力，将服务器上存储的低分辨率视频转换为高分辨率视频，供用户观看。
[0004]然而，上述提升视频清晰度的方法，只能用在具有强大GPU算力的电子设备上，对于图像处理能力较低的移动终端，无法采用上述方法。
技术实现思路
[0005]本申请实施例的目的是提供一种图像处理方法、装置、电子设备及可读存储介质，能够解决图像处理能力较低的电子设备，无法提升播放视频清晰度的问题。
[0006]为了解决上述技术问题，本申请是这样实现的：
[0007]第一方面，本申请实施例提供一种图像处理方法，该方法包括：提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，目标第二图像帧为N个第二图像帧中的任一个；基于换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；根据N个第一图像帧的时序，将N个第三图像帧合成为第二视频；其中，每个第一图像帧均包括一个对应第三图像帧；第三图像帧的分辨率高于第一图像帧。
[0008]第二方面，本申请实施例还提供了一种图像处理装置，该装置包括：提取模块、处理模块、生成模块和合成模块；提取模块，用于提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；处理模块，用于将提取模块提取的目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，目标第二图像帧为N个第二图像帧中的任一个；生成模块，用于基于处理模块换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；合成模块，用于根据提取模块提取的N个第一图像帧的时序，将生成模块生成的N个第三图像帧合成为第二视频；其中，每个第一图像帧均包括一个对应第三图像帧；第三图像帧的分辨率高于第一图像帧。
[0009]第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令，该程序或指令被该处理器执行时实现如第一方面所述的图像处理方法的步骤。
[0010]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程
序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0011]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0012]在本申请实施例中，在用户使用电子设备播放视频时，通过提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；之后，将N个第二图像帧中的每个第二图像帧分别进行通道转换，并提取转换后的图像帧的深度特征，将原视频的图像帧进行超分辨率处理，得到清晰度较高的图像帧，最后将分辨率较高的图像帧按照其原始低分辨率图像帧的时序，合成高分辨率视频。使得图像处理能力较低的电子设备能够利用该目标模型对清晰度较低的视频进行超分辨率处理，并实时播放处理后的视频，极大的提高了图像处理能力较低的电子设备的视频超分辨率处理能力。
附图说明
[0013]图1是本申请实施例提供的一种图像处理方法流程示意图；
[0014]图2是本申请实施例提供的一种图像处理方法所应用的模型结构示意图；
[0015]图3是本申请实施例提供的一种图像处理装置结构示意图；
[0016]图4是本申请实施例提供的一种电子设备的结构示意图之一；
[0017]图5是本申请实施例提供的一种电子设备的结构示意图之二。
具体实施方式
[0018]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0019]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0020]本申请实施例提供的图像处理方法可以应用于在图像处理能力较低的电子设备上提升视频的清晰度的场景中。
[0021]示例性的，针对在图像处理能力较低的电子设备上提升视频的清晰度的场景，以上述图像处理能力较低的电子设备为移动终端为例，在相关技术中，由于受限于移动终端的存储空间大小，移动终端拍摄的视频的分辨率通常较低，清晰度较差，现有的超分辨率技术可以将分辨率较低的视频转换为分辨率较高的视频，依次来提升视频的清晰度。但受限于移动终端的存储空间，无法在移动终端上直接存储分辨率较高的视频，若想要移动终端能够播放高分辨率视频，且视频占用的存储空间也比较小，则需要移动终端在播放视频的同时，实时将低分辨率视频转换为高分辨视频。然而，现有的移动终端还无法实现上述操作。
[0022]针对这一问题，在本申请实施例提供的技术方案中，提供了一种深度模型，该模型采用早期融合、窄而深的网络设计、快速上采样等方式极大地降低现有模型的计算量，并通过优化模型结构，使得深度模型可以在图像处理能力较低的电子设备上达到对360p视频进行实时超分辨率的效果，极大的提高了播放视频的清晰度。
[0023]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
[0024]如图1所示，本申请实施例提供的一种图像处理方法，该方法可以包括下述步骤201至步骤204：
[0025]步骤201、图像处理装置提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧。
[0026]其中，N和M均为正整数、且M小于N。
[0027]示例性地，上述N个第一图像帧为第一视频的图像帧，该第一视频可以是电子设备中存储的视频，也可以是电子设备获取的网络流媒体视频。
[0028]示例性地，图像处理装置在获取到上述第一视频后，提取视频中的图像帧。图像处理装置可以提取第一视频中的所有图像帧，也可以提取将要或正在播放的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，所述目标第二图像帧为所述N个第二图像帧中的任一个；基于所述换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；根据所述N个第一图像帧的时序，将所述N个第三图像帧合成为第二视频；其中，每个第一图像帧均包括一个对应第三图像帧；所述第三图像帧的分辨率高于所述第一图像帧。2.根据权利要求1所述的方法，其特征在于，所述将所述目标第二图像帧进行通道转换，包括：将所述目标第二图像帧转换为八通道图像帧。3.根据权利要求1或2所述的方法，其特征在于，所述将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，包括：通过目标模型将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征；所述基于所述换后的图像帧的深度特征，生成第三图像帧，包括：通过所述目标模型，根据所述换后的图像帧的深度特征，生成第三图像帧。4.根据权利要求3所述的方法，其特征在于，所述将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征之前，所述方法还包括：从包含有多个高清视频的训练样本集的目标视频中提取M个高分辨率图像帧；所述目标视频为所述训练样本集中的至少一个样本；对所述M个高分辨率图像帧进行退化处理，得到M个低分辨率图像帧，一个高分辨率图像帧对应一个低分辨率图像帧；将所述M个高分辨率图像帧和所述M个低分辨率图像帧作为一组第四图像帧，生成K组第四图像帧；将所述K组第四图像帧作为训练集对目标卷积神经网络模型进行训练，得到所述目标模型；其中，所述K组第四图像帧的每组第四图像帧均包括M个高分辨率图像帧和M个低分辨率图像帧，K和M均为正整数。5.根据权利要求4所述的方法，其特征在于，所述将所述K组第四图像帧作为训练集对目标卷积神经网络模型进行训练，得到所述目标模型，包括：将目标低分辨率图像帧中的M个低分辨率图像帧转化为第一目标图像，所述第一目标图像包括：一个八通道图像；提取所述第一目标图像的深度特征；基于所述深度特征，生成第二目标图像；其中，所述目标低分辨率图像帧为所述K组第四图像帧中的任一组；与所述目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧，用于验证所述第二目标图像；所述目
标图像帧中的M个低分辨率图像帧为：与所述目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧经过图像退化处理后的图像帧。6.一种图像处理装置，其特征在于，所述装置包括：提取模块、处理模块、生成模块和合成模块；所述提取模块，用于提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；所述处理模块，用于将...
【专利技术属性】
技术研发人员：郭伟伟，夏树涛，戴涛，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。