视频处理方法、装置、计算机设备及介质制造方法及图纸

本公开关于一种视频处理方法、装置、计算机设备及介质，属于互联网技术领域。本公开实施例中，通过获取样本视频中图像对的运动信息，利用该图像对的运动信息，来获取该图像对中运动信息满足运动条件的图像块对，如此，通过设置运动条件，利用图像对的两帧图像的运动信息，来判断图像对的两帧图像的运动信息是否满足运动条件，以获取到包含更多运动信息的图像块，进而基于所获取的图像块对进行模型训练，使得超分辨模型基于能够关注于相邻两帧图像之间的运动变化，丰富了模型训练所参考的信息，能够训练出准确性高的超分辨模型，进而提升了超分辨重建的准确性，也就提升了视频处理的准确性。的准确性。的准确性。

【技术实现步骤摘要】
视频处理方法、装置、计算机设备及介质


[0001]本公开涉及互联网
，尤其涉及一种视频处理方法、装置、计算机设备及介质。

技术介绍

[0002]在视频
中，超分辨重建技术有着广泛的应用范围和研究意义，其中，超分辨重建技术是利用一个图像来重建出相应时刻像素密度更高、细节更完整的高分辨率图像。且随着深度学习的发展，基于神经网络的超分辨重建技术获得了较快的发展。
[0003]目前，在基于神经网络对视频进行超分辨重建之前，需要先对神经网络进行训练，以得到具备超分辨重建功能的超分辨模型，其中，神经网络的训练数据，通常需要在多个样本视频中，采用随机截取的方式进行截取，以得到样本视频中的图像块，将这些图像块作为神经网络的训练数据，来进行模型训练。
[0004]然而，由于随机截取的不确定性，经常会截取到包含信息很少的图像块，因此，利用这些图像块训练出的超分辨模型的准确性较低，进而降低了超分辨重建的准确性，也就降低了视频处理的准确性。

技术实现思路

[0005]本公开提供一种视频处理方法、装置、计算机设备及介质，能够训练出准确性高的超分辨模型，进而提升了超分辨重建的准确性，也就提升了视频处理的准确性。本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种视频处理方法，该方法包括：
[0007]获取样本视频中图像对的运动信息，该图像对包括该样本视频中相邻的一对图像，该运动信息表示该图像对的两帧图像之间的像素运动情况；
[0008]从该图像对中，获取运动信息满足运动条件的样本图像块对，该样本图像块对中的两个样本图像块分别位于该图像对的两帧图像；
[0009]基于该样本视频中的多对该样本图像块对，进行模型训练，得到超分辨模型，该超分辨模型用于对视频进行超分辨重建。
[0010]本公开实施例中，通过获取样本视频中图像对的运动信息，利用该图像对的运动信息，来获取该图像对中运动信息满足运动条件的图像块对，如此，通过设置运动条件，利用图像对的两帧图像的运动信息，来判断图像对的两帧图像的运动信息是否满足运动条件，以获取到包含更多运动信息的图像块，进而基于所获取的图像块对进行模型训练，使得超分辨模型基于能够关注于相邻两帧图像之间的运动变化，丰富了模型训练所参考的信息，能够训练出准确性高的超分辨模型，进而提升了超分辨重建的准确性，也就提升了视频处理的准确性。
[0011]在一些实施例中，获取样本视频中图像对的运动信息包括下述任一项：
[0012]获取该样本视频中图像对的光流信息，该光流信息表示该图像对中前一帧图像的
像素移动至后一帧图像的移动量；或，获取该样本视频中图像对的时序差分信息，该时序差分信息表示该图像对的两帧图像在时序上的运动变化。
[0013]本公开实施例中，提供了光流法和时序差分法这两种获取图像对的运动信息的方式，均能够快速获取到图像对的运动信息，提高了获取运动信息的灵活性，其中，通过获取图像对的光流信息，由于该光流信息能够表示图像对中前一帧图像的像素移动至后一帧图像的移动量，也就能够表示该图像对的两帧图像之间的像素运动情况，以便后续利用该光流信息进行运动条件的判断过程，通过获取图像对的时序差分信息，由于该时序差分信息能够表示该图像对的两帧图像在时序上的运动变化，也就能够表示该图像对的两帧图像之间的像素运动情况，以便后续利用该时序差分信息进行运动条件的判断过程。
[0014]在一些实施例中，该运动信息包括运动参数，该运动参数表示该图像对的两帧图像之间的像素运动程度；从该图像对中，获取运动信息满足运动条件的样本图像块对包括：
[0015]从该图像对中，获取运动参数大于或等于第一阈值的运动图像块对以及运动参数小于第二阈值的静止图像块对，该第一阈值大于或等于该第二阈值。
[0016]本公开实施例中，通过设置运动参数，以便后续利用该运动参数，来判断图像对的两帧图像的运动信息是否满足运动条件，提高了运动条件的判断效率，也就提高了获取样本图像块对的效率，且，通过设置运动参数大于或等于第一阈值的运动条件，以获取运动图像块对，由于运动图像块对包含了处于运动状态的像素，后续利用该运动图像块对进行模型训练时，使得超分辨模型基于运动图像块对能够关注于相邻两帧图像之间的运动变化，通过设置运动参数小于第二阈值的运动条件，以获取静止图像块对，由于静止图像块对包含了处于静止状态的像素，后续利用该静止图像块对进行模型训练时，使得超分辨模型基于静止图像块对能够关注于图像本身的结构信息，如此，丰富了模型训练所参考的信息，能够训练出准确性高的超分辨模型，进而提升了超分辨重建的准确性，也就提升了视频处理的准确性。
[0017]在一些实施例中，从该图像对中，获取运动参数大于或等于第一阈值的运动图像块对以及运动参数小于第二阈值的静止图像块对包括：从该图像对中，确定该运动参数大于或等于该第一阈值的第一像素，以该第一像素为起点截取目标尺寸的图像块对，得到该运动图像块对；确定该运动参数小于该第二阈值的第二像素，以该第二像素为起点截取目标尺寸的图像块对，得到该静止图像块对。
[0018]本公开实施例中，针对获取运动图像块对的过程，通过先确定第一像素，再将第一像素作为起点来截取目标尺寸的图像块对，能够快速获取到该运动图像块对，提高了获取运动图像块对的效率，针对获取静止图像块对的过程，通过先确定第二像素，再将第二像素作为起点来截取目标尺寸的图像块对，能够快速获取到该静止图像块对，提高了获取静止图像块对的效率。
[0019]在一些实施例中，该第一阈值与该第二阈值基于该图像对中的任一帧图像所包括的多个像素的运动参数确定。
[0020]本公开实施例中，基于图像对中的任一帧图像所包括的多个像素的运动参数，来确定运动图像块对所对应的第一阈值以及静止图像块对所对应的第二阈值，以便基于第一阈值与第二阈值，来判断图像中的像素为运动像素还是静止像素，提高了判断运动条件的准确性。
[0021]在一些实施例中，该运动图像块对的数量与该静止图像块对的数量相同。
[0022]本公开实施例中，通过获取等数量的运动图像块对和静止图像块对，以便后续将等数量的运动图像块对和静止图像块对作为训练数据来进行模型训练，以得到超分辨模型，由于运动图像块对包含了处于运动状态的像素，静止图像块对包含了处于静止状态的像素，进而，基于运动图像块对与静止图像块对进行模型训练，使得超分辨模型基于运动图像块对能够关注于相邻两帧图像之间的运动变化，基于静止图像块对能够关注于图像本身的结构信息，丰富了模型训练所参考的信息，能够训练出准确性高的超分辨模型，进而提升了超分辨重建的准确性，也就提升了视频处理的准确性。
[0023]在一些实施例中，该样本视频包括第一分辨率的样本视频与第二分辨率的样本视频，该第一分辨率小于该第二分辨率；从该图像对中，获取运动信息满足运动条件的样本图像块对包括：
[0024]从该第一分辨率的样本视频的图像对中，获取该运动信息满足该运动条件的第一样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：获取样本视频中图像对的运动信息，所述图像对包括所述样本视频中相邻的一对图像，所述运动信息表示所述图像对的两帧图像之间的像素运动情况；从所述图像对中，获取运动信息满足运动条件的样本图像块对，所述样本图像块对中的两个样本图像块分别位于所述图像对的两帧图像；基于所述样本视频中的多对所述样本图像块对，进行模型训练，得到超分辨模型，所述超分辨模型用于对视频进行超分辨重建。2.根据权利要求1所述的视频处理方法，其特征在于，所述获取样本视频中图像对的运动信息包括下述任一项：获取所述样本视频中图像对的光流信息，所述光流信息表示所述图像对中前一帧图像的像素移动至后一帧图像的移动量；或，获取所述样本视频中图像对的时序差分信息，所述时序差分信息表示所述图像对的两帧图像在时序上的运动变化。3.根据权利要求1所述的视频处理方法，其特征在于，所述运动信息包括运动参数，所述运动参数表示所述图像对的两帧图像之间的像素运动程度；所述从所述图像对中，获取运动信息满足运动条件的样本图像块对包括：从所述图像对中，获取运动参数大于或等于第一阈值的运动图像块对以及运动参数小于第二阈值的静止图像块对，所述第一阈值大于或等于所述第二阈值。4.根据权利要求3所述的视频处理方法，其特征在于，所述从所述图像对中，获取运动参数大于或等于第一阈值的运动图像块对以及运动参数小于第二阈值的静止图像块对包括：从所述图像对中，确定所述运动参数大于或等于所述第一阈值的第一像素，以所述第一像素为起点截取目标尺寸的图像块对，得到所述运动图像块对；确定所述运动参数小于所述第二阈值的第二像素，以所述第二像素为起点截取目标尺寸的图像块对，得到所述静止图像块对。5.根据权利要求3或4所述的视频处理方法，其特征在于，所述第一阈值与所述第二阈值基于所述图像对中的任一帧图像所包括的多个像素的运动参数确定。6.根据权利要求3或4所述的视频处理方法，其特征在于，所述运动图像块对的数量与所述静止图像块对的数量相同。7.根据权利要求1所述的视频处理方法，其特征在于，所述样本视频包括第一分辨率的样本视频与第二分辨率的样本视频，所述第一分辨率小于所述第二分辨率；所述从所述图像对中，获取运动信息满足运动条件的样本图像块对包括：从所述第一分辨率的样本视频的图像对中，获取所述运动信息满足所述运动条件的第一样本图像块对，从所述第二分辨率的样本视频的图像对中，获取所述运动信息满足所述运动条件的第二样本图像块对，所述第一样本图像块对为所述第一分辨率的样本图像块对，所述第二样本图像块对为所述第二分辨率的样本图像块对；所述基于所述样本视频中的多对所述样本图像块对，进行模型训练，得到超分辨模型包括：基于所述第一分辨率的样本视频中的多对所述第一样本图像块对以及所述第二分辨
率的样本视频中的多对所述第二样本图像块对，进行模型训练，得到所述超分辨模型。8.根据权利要求7所述的视频处理方法，其特征在于，所述从所述第一分辨率的样本视频的图像对中，获取所述运动信息满足所述运动条件的第一样本图像块对，从所述第二分辨率的样本视频的图像对中，获取所述运动信息满足所述运动条件的第二样本图像块对包括下述任一项：基于所述第一分辨率的样本视频中图像对的运动信息，从所述第一分辨率的样本视频的图像对中获取所述第一样本图像块对，基于所述第一样本图像块对，从所述第二分辨率的样本视频的图像对中获取所述第二样本图像块对；基于所述第二分辨率的样本视频中图像对的运动信息，从所述第二分辨率的样本视频的图像对中获取所述第二样本图像块对，基于所述第二样本图像块对，从所述第一分辨率的样本视频的图像对中获取所述第一样本图像块对；基于所述第一分辨率的样本视频中图像对的运动信息，进行上采样处理，得到所述...

【专利技术属性】
技术研发人员：磯部駿，陶鑫，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：