视频超分变率的方法和装置制造方法及图纸

本申请提供了提供一种视频超分变率的方法和装置，涉及人工智能领域，具体涉及计算机视觉领域，该方法包括：获取神经网络CNN模型；根据CNN模型对低分辨率的第一视频的数据进行超分变率处理，以生成第一待处理数据；根据非神经网络模型对所述第一视频的数据进行超分辨率处理，以生成第二待处理数据；根据所述第一待处理数据和所述第二待处理数据，生成高分辨率的第二视频的数据，能够在实现视频超分辨率的前提下，减小神经网络模型的层数，降低神经网络模型的复杂度和参数数量。

The method and device of video super variation rate

【技术实现步骤摘要】
视频超分变率的方法和装置
本申请涉及计算机视觉领域，并且更具体的涉及一种视频超分变率的方法和装置，以及训练卷积神经网络模型的方法和装置。
技术介绍
超分辨率是视频播放过程的一个重要环节，例如，在支持4K分辨率的电视上，播放1080p的视频内容时，需要在视频解码之后，对视频帧进行超分辨率，提高像素点数量，以适应屏幕的分辨率。深度卷积神经网络(convolutionalneuralnetworks，CNN)是一种深度学习模型，能够用于图像超分辨率提升。但是，现有的CNN模型包括的卷积层的数量较多，对处理器和内存的要求较高，严重制约了超分辨率技术的发展和应用。因此，希望提供一种技术，能够减少用于视频超分辨率的CNN模型的卷积层数。
技术实现思路
本申请提供一种视频超分变率的方法和设备，能够降低用于视频超分辨率的神经网络模型的层数，降低神经网络模型的复杂度和参数数量。第一方面，提供一种视频超分变率的方法，包括：获取与第一分辨率对应的第一模型，所述第一模型包括神经网络模型；根据所述第一模型对第二分辨率的本文档来自技高网...

【技术保护点】
1.一种视频超分变率的方法，其特征在于，包括：/n获取与第一分辨率对应的第一模型，所述第一模型包括神经网络模型；/n根据所述第一模型对第二分辨率的第一视频的数据进行超分变率处理，以生成第一待处理数据，所述第一分辨率高于所述第二分辨率；/n根据与所述第一分辨率对应的第二模型对所述第一视频的数据进行超分辨率处理，以生成第二待处理数据，其中，所述第二模型包括非神经网络模型；/n根据所述第一待处理数据和所述第二待处理数据，生成所述第一分辨率的第二视频的数据。/n

【技术特征摘要】
1.一种视频超分变率的方法，其特征在于，包括：
获取与第一分辨率对应的第一模型，所述第一模型包括神经网络模型；
根据所述第一模型对第二分辨率的第一视频的数据进行超分变率处理，以生成第一待处理数据，所述第一分辨率高于所述第二分辨率；
根据与所述第一分辨率对应的第二模型对所述第一视频的数据进行超分辨率处理，以生成第二待处理数据，其中，所述第二模型包括非神经网络模型；
根据所述第一待处理数据和所述第二待处理数据，生成所述第一分辨率的第二视频的数据。


2.根据权利要求1所述的方法，其特征在于，所述获取与第一分辨率对应的第一模型包括：
获取第一分辨率的第二原始训练视频；
对所述第二原始训练视频进行降分辨率处理，以获取第一原始训练视频；
调节原始模型的参数，以使目标训练视频与所述第二原始训练视频之间的相似度满足预设条件，其中，所述目标训练视频是基于第一训练数据和第二训练数据生成的第一分辨率的视频，所述第一训练数据是所述第一原始训练视频的数据经过基于所述原始模型的超分辨率处理后生成的数据，所述第二训练数据时所述第一原始训练视频的数据经过基于所述第二模型的超分辨率处理后生成的数据，所述调节后的原始模型为所述第一模型。


3.根据权利要求2所述的方法，其特征在于，在调节原始模型的参数之前，所述方法还包括：
对所述第一原始训练视频进行高斯模糊处理。


4.根据权利要求2或3所述的方法，其特征在于，在调节原始模型的参数之前，所述方法还包括：
根据第一编码方式，对所述第一原始训练视频进行编码处理；
根据与所述第一编码方式对应的第一解码方式，对编码处理后的第一原始训练视频进行解码处理，其中，所述第一解码方式是解码所述第一视频时使用的解码方式。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第二模型包括朗克休斯重采样算法模型或双三次插值算法模型。


6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一模型包括k个卷积层，其中，经过所述k个卷积层中的前n个卷积层处理的数据被分为至少两路数据，所述至少两路数据中的第一路数据被输入至所述k个卷积层中的第n+1个卷积层，并经过所述第n+1个卷积层至第n+m个卷积层处理，处理后的第一路数据以及所述至少两路数据中的第二路数据合路后被输入至所述k个卷积层中的第n+m+1个卷积层，并经过所述第n+1个卷积层至第k个卷积层处理，其中，k≥3，n≥1，m≥1。


7.根据权利要求6所述的方法，其特征在于，k＝4，n＝1，m＝2。


8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：
获取多个模型，以及所述多个模型与多个视频类型之间的映射关系，其中，每个模型是由所对应的视频类型的视频训练后获得的；以及
所述获取与第一分辨率对应的第一模型包括：
根据所述映射关系，将与所述多个模型中与所述第一视频的视频类型对应的模型，确定为所述第一模型。


9.根据权利要求1至8中任一项所述的方法，其特征在于，所述第一待处理数据包括第一视频的经过基于所述第一模型的超分变率处理后的每一帧的第一Y矩阵，所述第二待处理数据包括所述第一视频的经过基于所述第一模型的超分变率处理后的每一帧的第二Y矩阵，以及
所述根据所述第一待处理数据和所述第二待处理数据，生成所述第一分辨率的第二视频的数据，包...

【专利技术属性】
技术研发人员：周川，金慕淳，
申请(专利权)人：华为技术有限公司，韩国科学技术院，
类型：发明
国别省市：广东;44