图像处理方法及装置、设备、介质制造方法及图纸

本公开涉及图像处理技术领域，具体涉及一种图像处理方法及装置、设备、介质，所述方法应用于超分模型，超分模型包括至少一个处理单元，每个处理单元包括稀疏卷积网络和上采样网络，所述方法包括将第一采集图像输入稀疏卷积网络提取第一采集图像的空域特征以及基于采集图像序列确定第一采集图像的时域特征；基于空域特征和时域特征确定第一采集图像的时空特征；将第一采集图像的时空特征输入上采样网络得到第一采集图像对应的第一超分图像，第一超分图像的分辨率高于第一采集图像的分辨率。本公开实施例的图像处理方法及装置、设备、介质能够高效且实时处理图像超分任务的同时保证超分结果具有时空连续性，实现画面流畅及帧率稳定。率稳定。率稳定。

【技术实现步骤摘要】
图像处理方法及装置、设备、介质


[0001]本公开涉及图像处理
，尤其涉及一种图像处理方法及装置、设备、介质。

技术介绍

[0002]图像超分辨率是一类视觉生成任务（简称为图像超分任务），能够将低分辨率图像重建为高分辨率图像，通常应用于手机、数码相机以及地理信息的图像增强，或是直播视频的压缩与重建。
[0003]相关技术中，可以通过插值算法实现图像超分任务。其中，插值算法可以为三次样条插值，或者利用拉普拉斯金字塔和稀疏编码等算法。目前，还可以通过深度学习实现图像超分任务。2014年，国际计算机视觉与模式识别会议上出现了超分辨卷积神经网络（Super
‑
Resolution Convolutional Network，SRCNN）、增强深度超分（Enhanced Deep Super
‑
Resolution，EDSR）网络以及增强超分生成对抗网络（Enhanced Super
‑
Resolution Generative Adversarial Network，ESRGAN）等一系列神经网络能将单张图像放大2~4倍；2022年，VRT利用Tansfomer的注意力机制，设计出效果更好的深度学习模型，通过在大数据训练中学习到的先验知识，填补图像缺失的像素，获得清晰的纹理和图像细节，但这种深度学习模型需要耗费更大的计算量。
[0004]目前相关技术中的方法仍存在一定问题。比如，传统的超分技术无法实现更大的缩放倍率和更好的视觉效果。再者，深度学习速度慢、运行效率低，难以兼顾效果和性能。另外，目前基于深度学习重建的图像细节可能与时空信息不符，无法在连续帧中获得很好的结果，这会使得超分重建后的内容不连续，容易出现闪烁、模糊及伪影问题。

技术实现思路

[0005]有鉴于此，本公开提出了一种图像处理方法及装置、设备、介质，能够在高效且实时处理图像超分任务的同时保证超分结果具有时空连续性，实现画面流畅及帧率稳定。
[0006]根据本公开的一方面，提供了一种图像处理方法，所述方法应用于超分模型，所述超分模型包括至少一个处理单元，每个处理单元包括稀疏卷积网络和上采样网络，其中，所述稀疏卷积网络用于采用稀疏卷积核进行特征提取，所述上采样网络用于进行上采样，所述方法包括：
[0007]将第一采集图像输入所述稀疏卷积网络，提取所述第一采集图像的空域特征，以及，基于采集图像序列确定所述第一采集图像的时域特征，其中，所述第一采集图像表示所述采集图像序列中待超分处理的采集图像；
[0008]基于所述空域特征和所述时域特征确定所述第一采集图像的时空特征；
[0009]将所述第一采集图像的时空特征输入所述上采样网络，得到所述第一采集图像对应的第一超分图像，其中，所述第一超分图像的分辨率高于所述第一采集图像的分辨率。
[0010]通过超分模型的稀疏卷积网络提取待超分图像的空域特征，并根据图像采集序列确定待超分图像的时域特征，进而通过空域特征和时域特征确定待超分图像的时空特征，
并基于超分模型的上采样网络对时空特征进行上采样得到相应的超分图像，这样基于反映待超分图像在空间和时间两个维度上的特征信息进行超分处理，能够使得最终生成的超分图像保持时空连续性，避免出现闪烁、模糊及伪影问题，保持帧率稳定及画面流畅，同时超分模型具有较高的运行效率，以实现实时的图像处理。
[0011]在一种可能的实现方式中，所述超分模型中所述处理单元的数量由所述超分处理所需的放大倍率确定；在所述超分模型包括至少两个所述处理单元的情况下，所述方法还包括：以前一个所述处理单元输出的超分图像作为下一个所述处理单元的稀疏卷积网络的输入；根据前一个所述处理单元所用的时域特征和当前所述处理单元的稀疏卷积网络输出的空域特征确定输入该当前所述处理单元的上采样网络的时空特征。
[0012]通过自行设置处理单元的数量，能够方便修改缩放尺度，即有助于灵活调整图像的放大倍率，并且在处理单元不止一个的情况下，通过利用待超分图像的时域特征反复调整空域特征，在进行高倍率放大的同时能够更好地保持图像清晰度，避免出现模糊、锯齿及伪影问题。
[0013]在一种可能的实现方式中，不同应用场景下的时域特征不同。
[0014]通过在不同应用场景下确定不同的时域特征，使得在不同应用场景下输入至后续上采样网络的时空特征也有所不同，这样有利于实现具有针对性的超分任务。
[0015]在一种可能的实现方式中，在所述超分模型用于视频增强场景的情况下，所述基于采集图像序列确定所述第一采集图像的时域特征，包括：根据所述采集图像序列，确定所述第一采集图像相对于第二采集图像和第三采集图像的光流信息，所述第二采集图像表示所述采集图像序列中位于所述第一采集图像之前的采集图像，所述第三采集图像表示所述采集图像序列中位于所述第一采集图像之后的采集图像；根据所述光流信息确定所述第一采集图像的时域特征。
[0016]通过待超分图像的光流信息确定其时域特征，并利用该时域特征进行后续特征图的调整优化，有利于生成更贴合视频增强场景的超分图像，使得超分任务具有针对性。
[0017]在一种可能的实现方式中，在所述超分模型用于游戏渲染场景的情况下，所述基于采集图像序列确定所述第一采集图像的时域特征，包括：根据所述采集图像序列，确定所述第一采集图像相对于第二采集图像和第三采集图像的抖动偏移信息和运动矢量，所述第二采集图像表示所述采集图像序列中位于所述第一采集图像之前的采集图像，所述第三采集图像表示所述采集图像序列中位于所述第一采集图像之后的采集图像；根据所述抖动偏移信息和所述运动矢量确定所述第一采集图像的时域特征。
[0018]通过待超分图像的抖动偏移信息和运动矢量确定其时域特征，并利用该时域特征进行后续特征图的调整优化，有利于生成更贴合游戏渲染场景的超分图像，使得超分任务具有针对性。
[0019]在一种可能的实现方式中，所述基于所述空域特征和所述时域特征确定所述第一采集图像的时空特征，包括：利用所述时域特征调整所述空域特征得到所述第一采集图像的时空特征。
[0020]通过利用时域特征调整优化空域特征，这样能够保证时空特征同时反映待超分图像在空间和时间两个维度上的特征信息，有助于保证后续生成的超分图像保持时空连续性。
[0021]在一种可能的实现方式中，所述稀疏卷积网络至少包括第一稀疏卷积层、11卷积层以及第二稀疏卷积层。
[0022]通过在两层稀疏卷积层中设置并使用11卷积层，在具有相似归一化效果的同时能够降低计算量，有助于高效完成超分任务，同时降低运行过程中的能耗。
[0023]在一种可能的实现方式中，所述上采样网络包括亚像素卷积层。
[0024]通过亚像素卷积实现上采样，能够在低分辨率空间保留更多的纹理区域，并且能够获得更好的重建效果，同时能够实现高效、快速、无参的像素重排列。
[0025]在一种可能的实现方式中，所述超分模型的训练过程至少包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法应用于超分模型，所述超分模型包括至少一个处理单元，每个处理单元包括稀疏卷积网络和上采样网络，其中，所述稀疏卷积网络用于采用稀疏卷积核进行特征提取，所述上采样网络用于进行上采样，所述方法包括：将第一采集图像输入所述稀疏卷积网络，提取所述第一采集图像的空域特征，以及，基于采集图像序列确定所述第一采集图像的时域特征，其中，所述第一采集图像表示所述采集图像序列中待超分处理的采集图像；基于所述空域特征和所述时域特征确定所述第一采集图像的时空特征；将所述第一采集图像的时空特征输入所述上采样网络，得到所述第一采集图像对应的第一超分图像，其中，所述第一超分图像的分辨率高于所述第一采集图像的分辨率。2.根据权利要求1所述的方法，其特征在于，所述超分模型中所述处理单元的数量由所述超分处理所需的放大倍率确定；在所述超分模型包括至少两个所述处理单元的情况下，所述方法还包括：以前一个所述处理单元输出的超分图像作为下一个所述处理单元的稀疏卷积网络的输入；根据前一个所述处理单元所用的时域特征和当前所述处理单元的稀疏卷积网络输出的空域特征确定输入该当前所述处理单元的上采样网络的时空特征。3.根据权利要求1所述的方法，其特征在于，不同应用场景下的时域特征不同。4.根据权利要求3所述的方法，其特征在于，在所述超分模型用于视频增强场景的情况下，所述基于采集图像序列确定所述第一采集图像的时域特征，包括：根据所述采集图像序列，确定所述第一采集图像相对于第二采集图像和第三采集图像的光流信息，所述第二采集图像表示所述采集图像序列中位于所述第一采集图像之前的采集图像，所述第三采集图像表示所述采集图像序列中位于所述第一采集图像之后的采集图像；根据所述光流信息确定所述第一采集图像的时域特征。5.根据权利要求3所述的方法，其特征在于，在所述超分模型用于游戏渲染场景的情况下，所述基于采集图像序列确定所述第一采集图像的时域特征，包括：根据所述采集图像序列，确定所述第一采集图像相对于第二采集图像和第三采集图像的抖动偏移信息和运动矢量，所述第二采集图像表示所述采集图像序列中位于所述第一采集图像之前的采集图像，所述第三采集图像表示所述采集图像序列中位于所述第一采集图像之后的采集图像；根据所述抖动偏移信息和所述运动矢量确定所述第一采集图像的时域特征。6.根据权利要求1所述的方法，其特征在于，所述基于所述空域特征和所述时...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：