视频处理方法、存储介质及电子设备技术

本申请涉及图像处理技术领域，公开了一种视频处理方法、存储介质及电子设备，该方法包括：电子设备在对视频中每帧图像进行超分辨率重构的过程中，不是逐帧的进行超分辨率重构，而是在对某一帧进行超分辨率重构之前，先判断该帧图像与已经进行处理得到高清图像前的历史图像的相似度。如果相似度较高，则基于历史图像与该帧图像之间的像素差异，对历史图像的高清图像进行变换处理，得到该帧图像的高清图像。而同一视频中相邻帧或连续多帧的图像通常为连续性变化图像，即相邻帧或连续多帧的图像相似度较高。如此，电子设备无需对视频中每帧图像进行超分辨率重构，降低数据处理量，提高图像处理效率，实现低延迟的视频超分辨率重构。构。构。

【技术实现步骤摘要】
视频处理方法、存储介质及电子设备


[0001]本申请涉及图像处理
，尤其涉及一种视频处理方法、存储介质及电子设备。

技术介绍

[0002]电子设备通过神经网络模型可以实现图像的超分辨率(super resolution，SR)重构，通过超分辨率重构可以将低分辨率图像(low resolution，LR)转换为高分辨率图像(high resolution，HR)。其中，超分辨率重构技术应用在视频处理场景中时，电子设备通过超分辨率重构可以将视频中每一帧低分辨率图像进行重构得到高分辨率图像，然后将多帧高分辨率图像组成连续的图像帧以得到高分辨率的视频。
[0003]然而，电子设备在对视频中多帧图像进行超分辨率重构过程中，通常需要将视频中每一帧图像当作单幅图像来处理。例如，电子设备通常需要将每一帧低分辨率图像单独输入至神经网络模型进行超分辨率重构，以获取对应每一帧低分辨率图像的高分辨率图像。由于每一帧低分辨率图像都要作为神经网络模型的输入，导致电子设备运行神经网络模型的速度较慢，图像处理效率较低，难以实现低延迟的视频超分辨率重构。

技术实现思路

[0004]本申请实施例提供了一种视频处理方法、存储介质及电子设备。
[0005]第一方面，本申请提供了一种视频处理方法，应用于电子设备，该方法包括：获取视频中的待处理图像；对应于待处理图像与视频中的第一历史待处理图像的相似度满足相似条件，获取第一历史待处理图像经处理后的第一目标图像，其中，第一目标图像的分辨率大于第一历史待处理图像；基于第一历史待处理图像与待处理图像之间的像素差异，对第一目标图像进行处理，得到对应待处理图像的第二目标图像，其中，第二目标图像的分辨率大于待处理图像。
[0006]在本申请实施例中，第一历史待处理图像可以理解为已经进行处理得到高清图像前的历史图像。电子设备在对视频中每帧图像进行超分辨率重构的过程中，不是逐帧的进行超分辨率重构，而是在对某一帧进行超分辨率重构之前，先判断该帧图像（待处理图像）与已经进行处理得到高清图像前的历史图像的相似度。如果该帧图像与至少一个历史图像的相似度较高，则可以基于对应历史图像与该帧图像之间的像素差异，对该历史图像的高清图像（第一目标图像）进行变换处理，得到该帧图像的高清图像（第二目标图像）；也就是说，无需对该帧图像进行超分辨率重构，仅对历史图像的高清图像进行变换即可得到该帧图像的高清图像。如此，电子设备无需对视频中每帧图像进行超分辨率重构，降低数据处理量，提高图像处理效率，实现低延迟的视频超分辨率重构。
[0007]在上述第一方面的一种可能的实现中，对应于第一历史待处理图像为视频中的第i帧图像，待处理图像为视频中的第i+n帧图像，其中，n为大于或等于1的正整数；第i帧图像对应的第一目标图像的获取方式包括：获取第i帧图像，对第i帧图像进行第一处理，得到第
一目标图像，其中，第一处理包括超分辨率重构处理；第i+n帧图像对应的第二目标图像的获取方式包括：基于第i+n帧图像与第i帧图像之间的像素差异，对第一目标图像进行处理，得到第二目标图像。
[0008]例如，i为1，n为1，电子设备对视频中的第1帧图像进行超分辨率重构后，第2帧图像的处理方式通过第2帧图像与第1帧图像的相似度确定。若第2帧图像与第1帧图像的相似度满足预设相似条件，即第2帧图像的高清图像通过第1帧图像的高清图像变换得到。
[0009]在上述第一方面的一种可能的实现中，上述方法还包括：对应于第i+n帧图像与第i帧图像的相似度不满足相似条件，对第i+n帧图像进行第一处理，得到第二目标图像。
[0010]在上述第一方面的一种可能的实现中，对应于n为大于1的正整数；上述方法还包括：对应于第i+n帧图像与第i帧图像的相似度不满足相似条件，将第i+n帧图像与视频中第i+1帧至第i+m帧图像进行相似度判断，其中，m等于n减1；对应于第i+n帧图像与第i+1帧至第i+m帧图像中任意一帧图像的相似度满足相似条件，基于对应满足相似条件的任意一帧图像进行处理，得到第一目标图像。
[0011]例如，i为1，n为6，m为5，电子设备在处理第7帧图像时，当第7帧图像与第1帧图像不满足预设相似条件时，可以将第7帧图像与第2帧至第6帧任意一帧图像进行相似度比较。当第7帧图像与第2帧至第6帧任意一帧图像的相似度均满足预设相似条件时，即第7帧图像的高清图像可以通过第2帧至第6帧任意一帧图像的高清图像变换得到。
[0012]在上述第一方面的一种可能的实现中，上述方法还包括：对应于第i+n帧图像与第i+1帧至第i+m帧图像的相似度均不满足相似条件，对第i+n帧图像进行第一处理，得到第二目标图像。
[0013]在上述第一方面的一种可能的实现中，第一历史待处理图像为待处理图像的前预设帧数的图像。
[0014]在本申请实施例中，前预设帧数可以是任意数，如1、2、3等。例如，待处理图像为第7帧图像。电子设备在处理第7帧图像时，可以将第7帧图像与第1帧至第6帧任意一帧图像进行相似度比较。当第7帧图像与第1帧至第6帧任意一帧图像的相似度均满足预设相似条件时，即第7帧图像的高清图像可以通过第1帧至第6帧任意一帧图像的高清图像变换得到。
[0015]在上述第一方面的一种可能的实现中，上述对应于待处理图像与视频中的第一历史待处理图像的相似度满足相似条件，包括：获取待处理图像的像素点与第一历史待处理图像的像素点的像素差值；对应于像素差值小于预设阈值，待处理图像与第一历史待处理图像的相似度满足相似条件。
[0016]在上述第一方面的一种可能的实现中，上述基于第一历史待处理图像与待处理图像之间的像素差异，对第一目标图像进行处理，得到对应待处理图像的第二目标图像，包括：基于第一历史待处理图像与待处理图像之间的像素差异，确定第一历史待处理图像变换为待处理图像的第一变换矩阵；基于第一变换矩阵对第一目标图像进行图像变换处理，得到第二目标图像。
[0017]在上述第一方面的一种可能的实现中，上述基于第一变换矩阵对第一目标图像进行图像变换处理，得到第二目标图像，包括：基于第一变换矩阵对第一目标图像进行图像变换处理，得到第一变换图像；获取第一变换图像的高频信息，以及待处理图像的低频信息；基于第一变换图像的高频信息与待处理图像的低频信息，进行图像融合处理，得到第二目
标图像。
[0018]在上述第一方面的一种可能的实现中，对应于第一目标图像与第一历史待处理图像的尺寸不相同；上述方法还包括：基于第一目标图像与第一历史待处理图像的尺寸差异，确定第一变换矩阵对应的第二变换矩阵；基于第二变换矩阵对第一目标图像进行图像变换处理，得到第一变换图像，其中，第一变换图像与第一目标图像的尺寸相同；将待处理图像变换为与第一目标图像尺寸相同的第二变换图像；获取第一变换图像的高频信息，以及第二变换图像的低频信息；基于第一变换图像的高频信息与第二变换图像的低频信息，进行图像融合处理，得到第二目标图像。
[0019]第二方面，本申请实施例提供了一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，应用于电子设备，其特征在于，包括：获取视频中的待处理图像；对应于所述待处理图像与所述视频中的第一历史待处理图像的相似度满足相似条件，获取所述第一历史待处理图像经处理后的第一目标图像，其中，所述第一目标图像的分辨率大于所述第一历史待处理图像；基于所述第一历史待处理图像与所述待处理图像之间的像素差异，对所述第一目标图像进行处理，得到对应所述待处理图像的第二目标图像，其中，所述第二目标图像的分辨率大于所述待处理图像。2.根据权利要求1所述的方法，其特征在于，对应于所述第一历史待处理图像为所述视频中的第i帧图像，所述待处理图像为所述视频中的第i+n帧图像，其中，n为大于或等于1的正整数；所述第i帧图像对应的第一目标图像的获取方式包括：获取所述第i帧图像，对所述第i帧图像进行第一处理，得到所述第一目标图像，其中，所述第一处理包括超分辨率重构处理；所述第i+n帧图像对应的第二目标图像的获取方式包括：基于所述第i+n帧图像与所述第i帧图像之间的像素差异，对所述第一目标图像进行处理，得到所述第二目标图像。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对应于所述第i+n帧图像与所述第i帧图像的相似度不满足相似条件，对所述第i+n帧图像进行所述第一处理，得到所述第二目标图像。4.根据权利要求2所述的方法，其特征在于，对应于n为大于1的正整数；所述方法还包括：对应于所述第i+n帧图像与所述第i帧图像的相似度不满足相似条件，将所述第i+n帧图像与所述视频中第i+1帧至第i+m帧图像进行相似度判断，其中，m等于n减1；对应于所述第i+n帧图像与所述第i+1帧至第i+m帧图像中任意一帧图像的相似度满足相似条件，基于对应满足所述相似条件的任意一帧图像进行处理，得到所述第一目标图像。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：对应于所述第i+n帧图像与所述第i+1帧至第i+m帧图像的相似度均不满足相似条件，对所述第i+n帧图像进行所述第一处理，得到所述第二目标图像。6.根据权利要求1所述的方法，其特征在于，所述第一历史待处理图像为所述待处理图像的前预设帧数的图像。7.根据权利要求1至6任一所述的方法，其特征在于，所述对应于所述待处理图像与所述视频中的第一...

【专利技术属性】
技术研发人员：应国豪，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：