视频噪点识别方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了视频噪点识别方法，包括：从待识别视频中采样多组连续视频帧，分别计算每组连续视频帧所对应的帧差图；将计算得到的帧差图输入深度神经网络进行噪点预测，输出视频分类结果；其中，深度神经网络为利用视频的帧差图作为训练神经网络的输入而训练得到的神经网络；深度神经网络输出的不同的分类结果对应不同的视频噪点严重程度；根据所述视频分类结果输出噪点识别结果。采用本发明专利技术，通过深度神经网络自适应地学习噪点不同于其他纹理密集型区域的特征，实现了排除纹理密集区域的干扰，从而大大的提升噪点视频严重程度分类的准确性。

Video Noise Recognition Method, Device, Equipment and Computer Readable Storage Media

【技术实现步骤摘要】
视频噪点识别方法、装置、设备及计算机可读存储介质
本专利技术涉及计算机领域，尤其涉及一种视频噪点识别方法、一种视频噪点识别装置、一种视频噪点识别设备及一种计算机可读存储介质。
技术介绍
近些年短视频应用逐渐兴起壮大，现有技术中的短视频平台每日会接受用户上万的视频更新量，但其中很多视频由于用户的拍摄光线、设备等缘故受到严重的视频噪点，这些视频会严重影响其他用户的观看体验。现有技术对视频噪点的识别或检测主要分为两步，首先提取视频帧并利用人工提取特征分析视频帧的噪点，然后整合所有提取帧来估计视频的噪点水平。这种仅利用视频帧信息估计视频帧的噪点强度，再利用图像噪点检测算法来估计的方式，往往是建立在“噪点是频域的高频信息”或者“噪点区域在空域上有高方差”的假设的特性上。但是根据对大量视频数据的观测发现，纹理密集型视频帧，例如草坪、沥青路面、美食上的油盐颗粒等视频帧，同样具有以上假设的特性，因而现有技术中的检测技术无法准确分辨出纹理密集型视频帧是否存在噪点问题，准确率大大降低。
技术实现思路
本专利技术实施例所要解决的技术问题在于，提供一种视频噪点识别方法、一种视频噪点识别装置、一种视频噪点识别设备及一种计算机可读存储介质，能够区分噪点和密集纹理，解决现有技术中的检测技术准确率低的技术问题。为了解决上述技术问题，本专利技术实施例一方面公开了一种视频噪点识别方法，包括从待识别视频中采样多组连续视频帧，分别计算每组连续视频帧所对应的帧差图；将计算得到的所述帧差图输入深度神经网络进行噪点预测，输出视频分类结果；其中，所述深度神经网络为利用视频的帧差图作为训练神经网络的输入而训练得到的神经网络；所述深度神经网络输出的不同的分类结果对应不同的视频噪点严重程度；根据所述视频分类结果输出噪点识别结果。结合该一方面，在其中一种可能的实现方式中，在所述分别计算每组连续视频帧所对应的帧差图的过程中，针对一组连续视频帧，包括：确定所述一组连续视频帧中的中间视频帧，并计算所述一组连续视频帧的平均帧；将所述中间视频帧与所述平均视频帧进行差值运算，得到所述一组连续视频帧所对应的帧差图。结合该一方面，在其中一种可能的实现方式中，所述将所述中间视频帧与所述平均视频帧进行差值运算，得到所述一组连续视频帧所对应的帧差图，包括：将所述中间视频帧减去所述平均视频帧后，进行截断处理；将截断处理后的帧差像素值平移到目标像素区间，得到所述一组连续视频帧所对应的帧差图。结合该一方面，在其中一种可能的实现方式中，所述将所述中间视频帧与所述平均视频帧进行差值运算，得到所述一组连续视频帧所对应的帧差图，包括：将所述中间视频帧减去所述平均视频帧后取绝对值，得到所述一组连续视频帧所对应的帧差图。结合该一方面，在其中一种可能的实现方式中，所述一组连续视频帧包括n帧；所述将所述中间视频帧减去所述平均视频帧后，进行截断处理；将截断处理后的帧差像素值平移到目标像素区间，得到所述一组连续视频帧所对应的帧差图，包括：通过公式计算得到所述一组连续视频帧所对应的帧差图；其中，fi,0为中间视频帧，μi为平均视频帧，κ为截断阈值，1≤i≤n，n为正整数。结合该一方面，在其中一种可能的实现方式中，所述将计算得到的所述帧差图输入深度神经网络进行噪点预测，包括：将所述帧差图按照预定比例进行收缩，收缩后帧差图的第一边长像素个数在第一范围值中，收缩后帧差图的第二边长像素个数在第二范围值中；将收缩后的帧差图输入深度神经网络进行噪点预测。结合该一方面，在其中一种可能的实现方式中，所述第一边长像素个数为400；所述第二边长像素个数为280。结合该一方面，在其中一种可能的实现方式中，所述利用视频的帧差图作为训练神经网络的输入而训练，包括：对视频训练集中的每个视频进行采样，采样出视频的多组连续视频帧，分别计算每组连续视频帧所对应的帧差图；将计算得到的所述帧差图以及所述视频对应的人工标签输入预训练神经网络进行训练；所述人工标签用于指示所述视频的噪点严重程度；通过视频验证集来确定出训练后的预测模型的神经网络。结合该一方面，在其中一种可能的实现方式中，所述通过视频验证集来确定训练后的预测模型的神经网络之后，还包括：通过确定出的所述预测模型的神经网络对视频测试集进行噪点预测，根据预测结果以及所述视频测试集对应的人工标签生成视频分类的混淆矩阵。结合该一方面，在其中一种可能的实现方式中，所述深度神经网络包括通过深度可分离卷积来构建的深度神经网络；所述深度神经网络的输出为3个视频分类结果。本专利技术实施例另一方面公开了一种视频噪点识别装置，包括：采样计算单元，用于从待识别视频中采样多组连续视频帧，分别计算每组连续视频帧所对应的帧差图；预测单元，用于将计算得到的所述帧差图输入深度神经网络进行噪点预测，输出视频分类结果；其中，所述深度神经网络为利用视频的帧差图作为训练神经网络的输入而训练得到的神经网络；所述深度神经网络输出的不同的分类结果对应不同的视频噪点严重程度；识别结果输出单元，用于根据所述视频分类结果输出噪点识别结果。本专利技术实施例另一方面公开了一种视频噪点识别设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储数据处理代码，所述处理器被配置用于调用所述程序代码，执行上述视频噪点识别方法。本专利技术实施例另一方面公开了一种计算机可读存储介质，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行上述视频噪点识别方法。实施本专利技术实施例，通过从待识别视频中采样多组连续帧，分别计算每组连续帧所对应的帧差图，将计算得到的该帧差图输入深度神经网络进行噪点预测，输出视频分类结果，其中，该深度神经网络为利用视频的帧差图作为训练神经网络的输入而训练得到的神经网络；因而利用了视频不同帧的时间信息，考虑到噪点视频中噪点存在浮动的现象，将视频帧差的残差图作为深度神经网络的输入，通过深度神经网络自适应地学习噪点不同于其他纹理密集型区域的特征，可以更加好地区分帧差信息中残余像素是噪声还是密集纹理的位移信息，实现了排除纹理密集区域的干扰，从而大大的提升噪点视频严重程度分类的准确性。另外，利用视频帧差的方法可以极大的减小神经网络的学习难度，使得神经网络的训练更容易收敛。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的视频噪点识别方法的整体架构图；图2是本专利技术实施例提供的视频噪点识别方法的流程示意图；图3是本专利技术实施例提供的深度神经网络训练的流程示意图；图4是本专利技术实施例提供的轻量神经网络的基本结构图；图5是本专利技术提供的改进的网络结构图；图6是本专利技术实施例提供的视频噪点识别方法的应用场景示意图；图7是本专利技术提供的另一实施例的视频噪点识别方法的应用场景示意图；图8是本专利技术实施例提供的视频噪点识别装置的结构示意图；图9是本专利技术提供的视频噪点识别装置的另一实施例的结构示意图；图10是本专利技术实施例提供的视频噪点识别设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实本文档来自技高网...

【技术保护点】
1.一种视频噪点识别方法，其特征在于，包括：从待识别视频中采样多组连续视频帧，分别计算每组连续视频帧所对应的帧差图；将计算得到的所述帧差图输入深度神经网络进行噪点预测，输出视频分类结果；其中，所述深度神经网络为利用视频的帧差图作为训练神经网络的输入而训练得到的神经网络；所述深度神经网络输出的不同的分类结果对应不同的视频噪点严重程度；根据所述视频分类结果输出噪点识别结果。

【技术特征摘要】
1.一种视频噪点识别方法，其特征在于，包括：从待识别视频中采样多组连续视频帧，分别计算每组连续视频帧所对应的帧差图；将计算得到的所述帧差图输入深度神经网络进行噪点预测，输出视频分类结果；其中，所述深度神经网络为利用视频的帧差图作为训练神经网络的输入而训练得到的神经网络；所述深度神经网络输出的不同的分类结果对应不同的视频噪点严重程度；根据所述视频分类结果输出噪点识别结果。2.如权利要求1所述的方法，其特征在于，在所述分别计算每组连续视频帧所对应的帧差图的过程中，针对一组连续视频帧，包括：确定所述一组连续视频帧中的中间视频帧，并计算所述一组连续视频帧的平均帧；将所述中间视频帧与所述平均视频帧进行差值运算，得到所述一组连续视频帧所对应的帧差图。3.如权利要求2所述的方法，其特征在于，所述将所述中间视频帧与所述平均视频帧进行差值运算，得到所述一组连续视频帧所对应的帧差图，包括：将所述中间视频帧减去所述平均视频帧后，进行截断处理；将截断处理后的帧差像素值平移到目标像素区间，得到所述一组连续视频帧所对应的帧差图。4.如权利要求2所述的方法，其特征在于，所述将所述中间视频帧与所述平均视频帧进行差值运算，得到所述一组连续视频帧所对应的帧差图，包括：将所述中间视频帧减去所述平均视频帧后取绝对值，得到所述一组连续视频帧所对应的帧差图。5.如权利要求3所述的方法，其特征在于，所述一组连续视频帧包括n帧；所述将所述中间视频帧减去所述平均视频帧后，进行截断处理；将截断处理后的帧差像素值平移到目标像素区间，得到所述一组连续视频帧所对应的帧差图，包括：通过公式计算得到所述一组连续视频帧所对应的帧差图；其中，fi,0为中间视频帧，μi为平均视频帧，κ为截断阈值，1≤i≤n，n为正整数。6.如权利要求1所述的方法，其特征在于，所述将计算得到的所述帧差图输入深度神经网络进行噪点...

【专利技术属性】
技术研发人员：谯睿智，高永强，蓝玉海，张怀选，徐颖，賈佳亞，戴宇榮，沈小勇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44