一种基于卷积神经网络的图像或视频质量增强方法技术

本发明专利技术公开了一种基于卷积神经网络的图像或视频质量增强方法，属于计算机视觉领域；首先设计两个用于视频质量增强的卷积神经网络，两个网络具有不同的计算复杂度；然后选择若干个训练图像或视频对两个卷积神经网络中的参数进行训练；根据实际需要，选择一个计算复杂度较为合适的卷积神经网络，将质量待增强的图像或视频输入到选择的网络中；最后，该网络输出经过质量增强的图像或视频。本发明专利技术可以有效增强视频质量；用户可以根据设备的计算能力或剩余电量指定选用计算复杂度较为合适的卷积神经网络来进行图像或视频的质量增强。

A method of image or video quality enhancement based on convolution neural network

The invention discloses a method for enhancing image or video quality based on convolutional neural network, belongs to the field of computer vision; the first design two for convolutional neural network video quality enhancement, with different computational complexity of the two network; and then select a number of training images or video training parameters of two convolution neural network; according to the actual needs, choose a more appropriate computational complexity convolutional neural network, the input image or video quality to be enhanced to the selected network; finally, the output of the network through improving the quality of image or video. The invention can effectively enhance the video quality, and users can specify the convolutive neural network with appropriate computation complexity to enhance the quality of image or video according to the computing power or residual power of the device.

【技术实现步骤摘要】
一种基于卷积神经网络的图像或视频质量增强方法
本专利技术属于计算机视觉领域，具体是一种基于卷积神经网络的图像或视频质量增强方法。
技术介绍
在计算机视觉领域，视频质量增强对提高视频(或图像)质量、改善视频(或图像)视觉效果的有重要影响；视频(或图像)质量增强一般是指提高质量受损的视频(或图像)的质量。在现在的通信系统中，信道带宽受限问题广泛存在，因此视频(或图像)传输需要经过压缩编码的过程，在此过程中，视频(或图像)质量会受到损失；同时，传输信道往往存在噪声，这也会导致经过信道传输后的视频(或图像)质量受损；因此，视频(或图像)质量增强成为了计算机视觉领域的一个关键问题。同时，在计算机视觉领域，越来越多的学术研究表明，卷积神经网络已经成为解决计算机视觉领域问题的一种十分有效的方法。随着当下智能终端的多样化发展，越来越多的智能终端(智能手机，平板电脑，笔记本电脑，计算机等)进入到人们的生活。计算能力的不同导致各智能终端对视频(或图像)质量增强时的计算复杂度的承受能力不同。同时，各类智能终端自带的电量也十分迥异，观看视频(或图像)的剩余电量也可能差异很大。因此，有必要根据终端设备实际计算本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的图像或视频质量增强方法，其特征在于，包括如下步骤：(1)设计卷积神经网络A，用于视频或图像的质量增强；所述的网络A中，共有5个卷积层，设i表示卷积层的序号，Fi(Y)表示第i个卷积层的输出，Y表示质量待增强的图像或视频帧，Wi表示第i个卷积层的权重矩阵，Bi表示第i个卷积层的偏置矩阵；网络A的网络结构表示如下：F0(Y)＝YFi(Y)＝PReLU(Wi*Fi‑1(Y)+Bi),i∈{1,2,3,4}F5(Y)＝W5*F4(Y)+B5其中，*为卷积运算；PReLU运算为PReLU(x)＝max(0,x)+k·min(0,x)，x可表示任意数值，max(0,x)表示取0与x中...

【技术特征摘要】
2017.08.21 CN 20171071881191.一种基于卷积神经网络的图像或视频质量增强方法，其特征在于，包括如下步骤：(1)设计卷积神经网络A，用于视频或图像的质量增强；所述的网络A中，共有5个卷积层，设i表示卷积层的序号，Fi(Y)表示第i个卷积层的输出，Y表示质量待增强的图像或视频帧，Wi表示第i个卷积层的权重矩阵，Bi表示第i个卷积层的偏置矩阵；网络A的网络结构表示如下：F0(Y)＝YFi(Y)＝PReLU(Wi*Fi-1(Y)+Bi),i∈{1,2,3,4}F5(Y)＝W5*F4(Y)+B5其中，*为卷积运算；PReLU运算为PReLU(x)＝max(0,x)+k·min(0,x)，x可表示任意数值，max(0,x)表示取0与x中的最大值，min(0,x)表示取0与x中的最小值，k为待训练的参数；定义Ki为第i个卷积层中各个节点的PReLU运算中的k组成的矩阵；网络A中，Wi、Bi和Ki都是待训练的参数；利用训练视频或图像训练网络A中所有待训练的参数；(2)基于网络A设计卷积神经网络B，用于视频或图像的质量增强；所述的网络B中，共有9个卷积层，设j表示卷积层的序号，Y表示质量待增强的图像或视频帧，Gj(Y)表示第j个卷积层的输出，在第1至第4个卷积层中，W′j表示第j个卷积层的权重矩阵；在第6至第8个卷积层中，W′j1为第j个卷积层中，用于卷积第(j-5)个卷积层的数据的权重，W′j2为第j个卷积层中，用于卷积第(j-1)个卷积层的数据的权重；在第9个卷积层中，W′91为第9个卷积层中，用于卷积第4个卷积层的数据的权重，W′92为第9个卷积层中，用于卷积第8个卷积层的数据的权重；B′j表示第j个卷积层的偏置矩阵；网络B的网络结构表示如下：G0(Y)＝YGj(Y)＝PReLU(W′j*Fj-1(Y)+B′j),j∈{1,2,3,4}G5(Y)＝PReLU(W′5*F0(Y)+B′5)Gj(Y)＝PReLU(0,W′j1*Gj-5(Y)+W′j2*Gj-1(Y)+B′j),j∈{6,7,8}G9(Y)＝W′91*G4(Y)+W′92*G8(Y)+B′9其中，K′j为第j个卷积层中各个节点的PReLU运算中的k组成的矩阵，j＝1,2,…,8；网络B中的每个W′j、W′j1、W′j2、B′j和K′j矩阵都是待训练的参数；利用训练视频或图像训练网络B中所有待训练的参数；(3)用户选择质量待增强的视频帧或图像的通道，根据设备的计算能力或剩余电量指定使用网络A还是网络B进行质量增强。2.如权利要求1所述的一种基于卷积神经网络的图像或视频质量增强方法，其特征在于，所述的网络A，采用下面步骤进行参数训练；步骤201、选取训练集，包括理想质量的视频或图像及其对应...

【专利技术属性】
技术研发人员：徐迈，杨韧，王祖林，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11