视频处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了视频处理方法、装置、设备及存储介质。该方法包括获取当前视频帧，并确定当前视频帧与上一视频帧的视频帧相似度；根据视频帧相似度及设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对当前视频帧的卷积处理权限，深度全卷积神经网络预先训练获得，卷积处理权限包括允许处理和拒绝处理；根据各卷积处理权限，通过深度全卷积神经网络处理当前视频帧，获得当前视频帧对应的目标视频帧。该方法在保证已有深度全卷积神经网络拓扑结构不变的前提下，通过确定卷积层的卷积处理权限来限制了参与视频处理的卷积层的数量以此来降低深度全卷积神经网络处理时的运算量，进而在保证语义分割处理精度的前提下有效降低了处理时延。

【技术实现步骤摘要】
视频处理方法、装置、设备及存储介质
本专利技术实施例涉及计算机视觉
，尤其涉及视频处理方法、装置、设备及存储介质。
技术介绍
视频语义分割处理是计算机视觉
中一种常见的视频处理方式，具体来说，视频语义分割相当于对视频中各视频帧内的目标元素和背景元素进行抠分的操作，该技术在长/短视频特效、自动驾驶、视频监控以及虚拟现实等场景中有较广泛的应用前景。一般的，不同应用场景下进行视频语义分割处理的时延要求不同，比如在直播应用场景下，需要能够实时的对各视频帧进行视频语义分割处理。目前，常见的视频语义分割处理主要基于深度全卷积网络的方式来实现，该种方式因所采用深度神经网络本身具备的特征表达能力、所提供待分割图像中有标签的数据越来越多、所依赖计算机设备中图像处理器的大规模应用，使得其在视频语义分割精准度方面有了较大提升。然而，深度全卷积神经网络实现视频语义分割具备的运算量很大，由此会产生较高的时延，不适合直播等对视频语义分割处理速度有要求的应用场景，且高运算量需要耗费较多的计算资源，当计算机设备(如低配移动手机)本身计算资源不足时，将会影响视频语义分割的正常实现。
技术实现思路
有鉴于此，本专利技术实施例提供了视频处理方法、装置、设备及存储介质，以降低进行视频语义分割处理的处理时延。第一方面，本专利技术实施例提供了一种视频处理方法，包括：获取当前视频帧，并确定所述当前视频帧与上一视频帧的视频帧相似度；根据所述视频帧相似度及设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对所述当前视频帧的卷积处理权限，所述深度全卷积神经网络预先训练获得，所述卷积处理权限包括允许处理和拒绝处理；根据各所述卷积处理权限，通过所述深度全卷积神经网络处理所述当前视频帧，获得所述当前视频帧对应的目标视频帧。第二方面，本专利技术实施例提供一种视频处理装置，包括：相似度确定模块，用于获取当前视频帧，并确定所述当前视频帧与上一视频帧的视频帧相似度；权限确定模块，用于根据所述视频帧相似度及设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对所述当前视频帧的卷积处理权限，所述深度全卷积神经网络预先训练获得，所述卷积处理权限包括允许处理和拒绝处理；视频处理模块，用于根据各所述卷积处理权限，通过所述深度全卷积神经网络处理所述当前视频帧，获得所述当前视频帧对应的目标视频帧。第三方面，本专利技术实施例提供了一种计算机设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术第一方面实施例提供的视频处理方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术第一方面实施例提供的视频处理方法。本专利技术实施例提供的视频处理方法、装置、设备及存储介质中，对视频进行语义分割处理时，首先确定所获取当前视频帧与上一视频帧的视频帧相似度；然后根据视频帧相似度与设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对该当前视频帧的卷积处理权限，卷积处理权限包括了允许处理和拒绝处理，最终根据各卷积处理权限，通过深度全卷积神经网络处理该当前视频帧，由此获得当前视频帧进行语义分割后的目标视频帧。上述技术方案，并未直接对现有用于视频语义分割的深度全卷积神经网络的拓扑结构进行改进，而是通过上一视频帧与当前视频帧的视频帧相似度，来确定深度全卷积神经网络中各卷积层的卷积处理权限，通过该卷积处理权限来限制参与处理的卷积层的数量，以此来降低深度全卷积神经网络处理时的运算量，由此在保证语义分割处理精度的前提下，有效降低处理时延。附图说明图1给出了本专利技术实施例一提供的一种视频处理方法的流程示意图；图2给出了通过深度全卷积神经网络对视频帧进行常规分割处理的一种示意图；图3给出了本专利技术实施例二提供的一种视频处理方法的流程示意图；图4给出了本专利技术所提供视频处理方法中上采样处理获得目标视频帧的一种实现流程图；图5给出了本专利技术实施例二所提供视频处理方法中通过深度全卷积神经网络进行视频处理的另一种示意图；图6给出了本专利技术所提供视频处理方法中上采样处理获得目标视频帧的另一种实现流程图；图7给出了本专利技术实施例三提供的一种视频处理装置的结构框图；图8给出了本专利技术实施例四提供的一种计算机设备的硬件结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施例方式作进一步地详细描述。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。实施例一图1给出了本专利技术实施例一提供的一种视频处理方法的流程示意图，该方法适用于对视频中各视频帧实时进行语义分割处理的情况，该方法可以由视频处理装置执行，其中，该装置可以由软件和/或硬件实现，并一般可集成在计算机设备上。需要说明的是，本实施例可将所提供方法可以作为插件集成在直播应用软件或视频播放软件等能够对视频进行个性化或特效设置的多媒体应用类软件中，安装上述应用软件的执行主体可以通过可以对实时接收或者预先存储的视频进行语义分割处理。如图1所示，本专利技术实施例一提供的一种视频处理方法，具体包括如下操作：S101、获取当前视频帧，并确定所述当前视频帧与上一视频帧的视频帧相似度。在本实施例中，可认为本实施例所提供方法能够实时接收所播放视频的视频帧，所述当前视频帧可认为是当前捕获到的视频中的视频帧。上一视频帧可认为是与当前视频帧相邻的前一视频帧。本步骤可以采用感知哈希算法来获得当前视频帧与上一视频帧的相似度值，并将该相似度值记为视频帧相似度。S102、根据所述视频帧相似度及设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对所述当前视频帧的卷积处理权限。在本实施例中，所述深度全卷积神经网络预先训练获得，所述卷积处理权限包括允许处理和拒绝处理，其中，所述深度全卷积神经网络用于对当前视频帧的视频语义分割处理，该深度全卷积神经网络的网络拓扑结构可以与现有用于视频语义分割处理的神经网络的拓扑结构相同，并预先进行训练。可以理解的是，该深度全卷积神经网络的网络拓扑结构中可以包括一定数量通过卷积连接形成的卷积层，采用该深度全卷积神经网络常规进行语义分割处理时，所输入的当前视频帧将以数据流的形式流经各卷积层，即相当于常规情况下，各卷积层的卷积处理权限均为允许处理，由此可使得各卷积层均参与卷积处理，进而占用较多的运算耗时，增加语义分割处本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：/n获取当前视频帧，并确定所述当前视频帧与上一视频帧的视频帧相似度；/n根据所述视频帧相似度及设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对所述当前视频帧的卷积处理权限，所述深度全卷积神经网络预先训练获得，所述卷积处理权限包括允许处理和拒绝处理；/n根据各所述卷积处理权限，通过所述深度全卷积神经网络处理所述当前视频帧，获得所述当前视频帧对应的目标视频帧。/n

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：
获取当前视频帧，并确定所述当前视频帧与上一视频帧的视频帧相似度；
根据所述视频帧相似度及设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对所述当前视频帧的卷积处理权限，所述深度全卷积神经网络预先训练获得，所述卷积处理权限包括允许处理和拒绝处理；
根据各所述卷积处理权限，通过所述深度全卷积神经网络处理所述当前视频帧，获得所述当前视频帧对应的目标视频帧。


2.根据权利要求1所述的方法，其特征在于，所述深度全卷积神经网络包括：用于视频帧特征下采样的编码器和用于视频帧特征上采样的解码器；
所述编码器及所述解码器中分别包括所述设定个数的下采样卷积层和上采样卷积层，且一个下采样卷积层对应一个上采样卷积层并建立有跳连接；
各所述判定阈值分别对应所述编码器中的一个下采样卷积层，且各所述判定阈值按照各下采样卷积层的连接顺序依次降低。


3.根据权利要求2所述的方法，其特征在于，所述根据所述视频帧相似度及设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对所述当前视频帧的卷积处理权限，包括：
按照所述编码器中各下采样卷积层的连接顺序，从各所述判定阈值中选取一个作为当前判定阈值；
如果所述视频帧相似度小于或等于所述当前判定阈值，则确定所述当前判定阈值所对应目标下采样卷积层的卷积处理权限为允许处理，并返回执行新的当前判定阈值的选取操作直至当前判定阈值为末个判定阈值。


4.根据权利要求3所述的方法，其特征在于，还包括：
如果所述视频帧相似度大于所述当前判定阈值，则确定所述当前判定阈值所对应当前下采样卷积层及所述目标下采样卷积层之后各下采样卷积层的卷积处理权限均为拒绝处理。


5.根据权利要求4所述的方法，其特征在于，根据各所述卷积处理权限，通过所述深度全卷积神经网络处理所述当前视频帧，获得所述当前视频帧对应的目标视频帧，包括：
通过所述编码器接收作为输入数据的所述当前视频帧，并记为首个待下采样的待下采样特征图；
通过所述编码器中各下采样卷积层的连接顺序，选定一个下采样卷积层作为当前下采样卷积层；
通过在所述当前下采样卷积层上对所述待下采样特征图的下采样处理，获得对应的当前下采样特征图；
通过所述当前下采样卷积层与所述解码器上所对应目标上采样卷积层的跳连接，处理所述当前下采样特征图，获得所述目标上采样卷积层对应的跳连接特征图；
如果所述当前下采样卷积层的卷积处理权限为拒绝处理，则从所述目标上采样卷积层开始，按照预设的第一上采样策略对所述跳连接特征图进行上采样处理，将输出的灰度特征图作为所述当前视频帧的目标视频帧。


6.根据权利要求5所述的方法，其特征在于，还包括：
如果所述当前下采样卷积层的卷积处理权限为允许处理，则当所述当前下采样卷积层为非末尾下采样卷积层时，将所述当前下采样特征图作为新的待下采样特征图，返回执行当前下采样卷积层的选取操作。


7.根据权利要求6所述的方法，还包括：
当所述当前下采样卷积层为末尾下采样卷积层时，从所述目标上采样卷积层开始，按照预设的第二上采样策略对所述当前下采样特征图进行上采样处理，将输出的灰度特征图作为所述当前视频帧的目标视频帧；
其中，所述第一上采样策略与所述第二上采样策略为预先设定的不同策略。<...

【专利技术属性】
技术研发人员：张树业，项伟，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44