一种用于低分辨率监控视频的超分辨率重建方法技术

本发明专利技术公开了一种用于低分辨率监控视频的超分辨率重建方法，该方法将低分辨率监控视频帧使用两个不同尺寸的卷积核用于特征表示，之后将两者提取的特征结合作为下一层的输入，并通过残差学习方式使网络训练更加容易，用反卷积层来对于学习到的特征进行超分辨率的重建，然后使用随机梯度下降算法对卷积神经网络优化，获取已训练的网络模型，再将待重建的低分辨率监控图片输入到已训练好的网络模型中，进行监控视频的超分辨率重建。本发明专利技术在不提高硬件成本的前提下，提高了监控视频的图像分辨率，使得能够更多地获取辨识人脸所需的特征信息，用于辅助刑事侦查确定犯罪嫌疑人身份，提高了刑事侦查中确定犯罪嫌疑人身份的准确率和效率。

【技术实现步骤摘要】
一种用于低分辨率监控视频的超分辨率重建方法
本专利技术涉及计算机视觉方法领域，具体是一种用于低分辨率监控视频的超分辨率重建方法。
技术介绍
随着我国政府积极利用先进的安防技术用于维护社会稳定和保障人民生命财产安全，在全国城市中建立了较为完善的视频监控体系。这些视频监控系统在公安机关的刑事侦查中发挥了重要作用。但在实际的监控中，由于犯罪嫌疑人距离摄像头距离较远或是由于监控摄像头中成像效果不好，导致监控中很多为低分辨图像，难以提供辨识人脸所需的特征信息。因此对于低分辨率的监控图像进行分辨率提升处理来提高目标的可辨识度是本专利技术的出发点。图像超分辨率重建是一种通过使用软件算法的方式改善图像质量的技术，它克服了通过硬件获得高分辨率图像成本高的缺点，在改善图像视觉效果方面有着重要意义。使用图像超分辨率重建技术来对低分辨率的监控图像进行分辨率提升，在不提高硬件成本的前提下，提高了监控视频的图像分辨率，使得能够更多地获取辨识人脸所需的特征信息，用于辅助刑事侦查确定犯罪嫌疑人身份。
技术实现思路
本专利技术的目的是提供一种用于低分辨率监控视频的超分辨率重建方法，以解决现在许多监控图片为低分辨率，难以提供辨识目标人脸所需的特征信息等问题。为了达到上述目的，本专利技术所采用的技术方案为：一种用于低分辨率监控视频的超分辨率重建方法，其特征在于：将训练用的图像使用含有卷积层和残差连接的卷积神经网络方法进行特征提取，并且通过反卷积层将图像重建，使图片分辨率提高，之后使用随机梯度下降算法进行卷积神经网络的优化得到已训练的网络模型，再将待重建的图像帧输入进已训练的网络模型中，得到重建结果；其步骤如下：(1)、选取多个图片作为训练数据库，训练数据库中包含输入网络用的低分辨率图像和作为监督学习标签的相对应的高分辨率图像；(2)、将训练样本输入到卷积神经网络进行网络的训练，此卷积神经网络共包括多层卷积层和多个残差连接，，其中卷积层中处理过程为：第一层为1个含有3*3尺寸卷积核的卷积层，用于提取图像全局的特征，之后的层为多个并行的拥有2个不同卷积核的卷积层，用于提取不同大小的特征，第一个卷积层含有多个大小为3*3的卷积核，第二个卷积层含有多个大小为5*5的卷积核为，分别将卷积核与原图像进行离散卷积并加上偏置项之后，通过ReLU激活函数得出提取后的图像特征，表示如下：其中l＝1,2,...,L代表网络层数，i代表像素的位置，代表第l-1层中图像的第i个像素，代表第l层中第h个卷积层的第j个图像特征，Mj代表输入的所有图像的集合，k代表卷积核，代表第l层中的第j个卷积核中第i个值，代表第l层中的第j个偏置项。由于本专利技术中每一层中包含有2个并行的拥有不同卷积核的卷积层，故h＝1,2，f(x)代表ReLU激活函数，表示如下：f(x)＝max(0,x)(2)，卷积完成之后在合并层将2个并行的卷积层的结果合并在一起作为一整块图像特征，表示如下：其中XL代表第l层的输出，[·]代表将多个并行的卷积层的结果合并在一起作为一整块图像特征的操作。(3)、将第l层的输出作为第l+1层的输入，重复步骤(2)中的并行卷积层的计算，直到传至网络的最后一层。本网络共L层卷积层，在第L层卷积完之后，将第L层的输出特征与第一层的输入特征进行残差操作，表示如下：X＝XL+X1(4)其中X代表残差操作完成之后的特征。之后将X特征输入进反卷积层中将X特征的尺寸放大，再将放大的特征通过一个含有3*3尺寸卷积核的卷积层，最终得到分辨率提升后的输出图像。(4)、将作为监督学习标签的相对应的高分辨率图像与输出图像对比，使用随机梯度下降法优化卷积神经网络，经过至少十万次迭代后得到已训练的网络；(5)、已知有一待超分辨率重建的低分辨率监控图像，将待重建图像输入进步骤(4)中得到的已训练的网络中去，由卷积神经网络输出已超分重建后的高分辨率监控图像。所述的一种用于低分辨率监控视频的超分辨率重建方法，其特征在于：使用卷积神经网络来进行低分辨率监控图像的特征提取，其中使用不同尺寸大小的卷积核来提取不同大小的特征，之后将两者特征结合，并使用残差的连接方式优化网络的训练，使用反卷积层来对于学习到的特征进行超分辨率的重建，从而得到分辨率提升的重建图像。最后使用随机梯度下降法进行网络优化得到已训练的网络，进而进行低分辨率监控图像的超分辨率重建。本专利技术通过对低分辨率的监控图像进行超分辨率重建，得到重建后的高分辨率图像，在不提高硬件成本的前提下，提高了监控视频的图像分辨率，使得能够更多地获取辨识人脸所需的特征信息，用于辅助刑事侦查确定犯罪嫌疑人身份。本专利技术中，随机梯度下降算法是一种优化算法，比较适用于控制变量较多，受控系统比较复杂的最优化控制过程。在训练网络过程中目标是使网络的输出结果与正确结果的误差最小，经过多次迭代，得到目标函数的极小值。本专利技术使用卷积神经网络的方法进行特征提取和超分辨率重建。该方法从提取低层次特征逐步到提取高层次抽象的特征，并且通过使用不同尺寸大小的卷积核来提取不同大小的特征，从而更好的提取了有效的特征信息，提高了重建的效果，并且卷积神经网络有很高的灵活性，可以根据不同的实际情况进行不同参数的调整，再应用到不同的场合中去。本专利技术的有益效果是：本专利技术将卷积神经网络对于图片的超分辨重建用于提高低分辨率监控图片的分辨率，从而更多地获取辨识人脸所需的特征信息，实现了将图片的超分辨率重建运用到刑事侦查中去，提高了刑事侦查中确定犯罪嫌疑人身份的准确率和效率。附图说明图1是本专利技术的实现流程框架图。图2是本专利技术使用的卷积网络结构。图3是本专利技术监控视频中的效果对比图。具体实施方式如图1所示，一种用于低分辨率监控视频的超分辨率重建方法，过程如下：(1)、选取700张图片作为训练数据库，训练数据库中包含输入网络用的低分辨率图像和作为监督学习标签的相对应的高分辨率图像；(2)、将训练样本输入到卷积神经网络进行网络的训练，此卷积神经网络共包括多层卷积层和多个残差连接，这里的卷积操作包括拥有2个不同卷积核的卷积层，其中卷积层中处理过程为：第一层为1个含有3*3尺寸卷积核的卷积层，用于提取图像全局的特征，之后的层为多个并行的拥有2个不同卷积核的卷积层，用于提取不同大小的特征，第一个卷积层含有多个大小为3*3的卷积核，第二个卷积层含有多个大小为5*5的卷积核为，分别将卷积核与原图像进行离散卷积并加上偏置项之后，通过ReLU激活函数得出提取后的图像特征，表示如下：其中l＝1,2,...,L代表网络层数，i代表像素的位置，代表第l-1层中图像的第i个像素，代表第l层中第h个卷积层的第j个图像特征，Mj代表输入的所有图像的集合，k代表卷积核，代表第l层中的第j个卷积核中第i个值，代表第l层中的第j个偏置项。由于本专利技术中每一层中包含有2个并行的拥有不同卷积核的卷积层，故h＝1,2，f(x)代表ReLU激活函数，表示如下：f(x)＝max(0,x)(2)，卷积完成之后在合并层将2个并行的卷积层的结果合并在一起作为一整块图像特征，表示如下：其中XL代表第l层的输出，[·]代表将多个并行的卷积层的结果合并在一起作为一整块图像特征的操作。(3)、将第l层的输出作为第l+1层的输入，重复步骤(2)中的并行卷积层的计算，直到传至网络的最后一层本文档来自技高网...

【技术保护点】
1.一种用于低分辨率监控视频的超分辨率重建方法，其特征在于：将训练用的图像使用含有卷积层和残差连接的卷积神经网络方法进行特征提取，并且通过反卷积层将图像重建，使图片分辨率提高，之后使用随机梯度下降算法进行卷积神经网络的优化得到已训练的网络模型，再将待重建的图像帧输入进已训练的网络模型中，得到重建结果；其步骤如下：(1)、选取多个图片作为训练数据库，训练数据库中包含输入网络用的低分辨率图像和作为监督学习标签的相对应的高分辨率图像；(2)、将训练样本输入到卷积神经网络进行网络的训练，此卷积神经网络共包括多层卷积层和多个残差连接，其中卷积层中处理过程为：第一层为1个含有3*3尺寸卷积核的卷积层，用于提取图像全局的特征，之后的层为多个并行的拥有2个不同卷积核的卷积层，用于提取不同大小的特征，第一个卷积层含有多个大小为3*3的卷积核，第二个卷积层含有多个大小为5*5的卷积核为，分别将卷积核与原图像进行离散卷积并加上偏置项之后，通过ReLU激活函数得出提取后的图像特征，表示如下：

【技术特征摘要】
1.一种用于低分辨率监控视频的超分辨率重建方法，其特征在于：将训练用的图像使用含有卷积层和残差连接的卷积神经网络方法进行特征提取，并且通过反卷积层将图像重建，使图片分辨率提高，之后使用随机梯度下降算法进行卷积神经网络的优化得到已训练的网络模型，再将待重建的图像帧输入进已训练的网络模型中，得到重建结果；其步骤如下：(1)、选取多个图片作为训练数据库，训练数据库中包含输入网络用的低分辨率图像和作为监督学习标签的相对应的高分辨率图像；(2)、将训练样本输入到卷积神经网络进行网络的训练，此卷积神经网络共包括多层卷积层和多个残差连接，其中卷积层中处理过程为：第一层为1个含有3*3尺寸卷积核的卷积层，用于提取图像全局的特征，之后的层为多个并行的拥有2个不同卷积核的卷积层，用于提取不同大小的特征，第一个卷积层含有多个大小为3*3的卷积核，第二个卷积层含有多个大小为5*5的卷积核为，分别将卷积核与原图像进行离散卷积并加上偏置项之后，通过ReLU激活函数得出提取后的图像特征，表示如下：其中l＝1,2,...,L代表网络层数，i代表像素的位置，代表第l-1层中图像的第i个像素，代表第l层中第h个卷积层的第j个图像特征，Mj代表输入的所有图像的集合，k代表卷积核，代表第l层中的第j个卷积核中第i个值，代表第l层中的第j个偏置项；由于本发明中每一层中包含有2个并行的拥有不同卷积核的卷积层，故h＝1,2，f(x)代表ReLU激活函数，表示如下：f(x)＝max(0,x)(2)...

【专利技术属性】
技术研发人员：詹曙，臧怀娟，朱磊磊，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34