一种已知背景先验信息的视频分割方法、终端和存储介质技术

本发明专利技术涉及一种已知背景先验信息的视频分割方法，先将视频当前帧与背景先验信息匹配，预测得到当前帧的完整背景，再对当前帧的目标前景进行分割。本发明专利技术在镜头出现大幅度移动时能够准确的进行分割，保证视频分割的效果。

【技术实现步骤摘要】
一种已知背景先验信息的视频分割方法、终端和存储介质
本专利技术涉及视频处理
，特别是涉及一种已知背景先验信息的视频分割方法、终端和存储介质。
技术介绍
现有的视频前景背景分割方式，一般是通过摄像头采集图像，然后在图像中使用人工抠图或色键抠图的方式抠出前景区域，实现视频前景与背景的分割。但是，人工抠图的方式操作繁琐，分割视频的便捷性低。色键抠图虽能直接在图像中抠出前景区域，但是该方法需要依靠和前景对比较大的纯色的背景。
技术实现思路
本专利技术所要解决的技术问题是提供一种已知背景先验信息的视频分割方法、终端和存储介质，其便捷且适用任意背景的视频前景和背景分割，且在镜头出现大幅度移动时也能够准确的进行分割，保证视频分割的效果。本专利技术解决其技术问题所采用的技术方案是：提供一种已知背景先验信息的视频分割方法，将视频当前帧与背景先验信息匹配，预测得到当前帧的完整背景，再对当前帧的目标前景进行分割。所述视频分割方法，包括以下步骤：(1)设定背景帧，并对背景帧进行保存；(2)提取视频流的当前帧；(3)判断当前帧与所述的背景帧是否匹配，若不匹配则进入步骤(3)，否则进入步骤(4)；(4)通过修正的方式将所述的背景帧匹配到所述当前帧的背景上；(5)对当前帧进行分割得到当前帧的前景。所述步骤(1)中的背景帧为全景图片，所述全景图片通过多张不同角度的图片合成得到。所述步骤(3)具体为：计算当前帧和背景帧的分割掩膜区域以外区域的相似度，如果所述相似度低于阈值时，则进入步骤(4)，否则进入步骤(5)。所述相似度可以是图片差值、结构相似度和特征图相似度等。所述步骤(4)具体为：使用关键点匹配算法分别对预存的背景帧以及当前帧进行关键点提取以及匹配，并选取其中部分匹配良好的关键点，计算出变换矩阵，将预存的背景帧中对应的背景部分切割出来，使用所述变换矩阵变换到与所述当前帧相同的视觉角度，并作为当前帧的新的背景输入。所述步骤(4)具体为：将预存的背景帧和当前帧输入卷积神经网络，所述卷积神经网络的输出为一系列空间变换关系映射图，然后将所述预存的背景帧中对应的背景部分切割出来并使用所述空间变换关系映射图变换到与当前帧相同的视觉角度，并作为当前帧的新的背景输入。所述步骤(5)具体为：将预存的背景帧输入编码模型得到背景特征图；将当前帧输入至所述编码模型进行特征分解得到当前帧特征图；将所述当前帧特征图与所述背景特征图进行融合，并通过解码模型对融合后的特征图进行特征解码，输出alpha遮罩图；基于所述alpha遮罩图对当前帧进行分割得到当前帧的前景。本专利技术解决其技术问题所采用的技术方案是：提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的视频处理程序，所述视频处理程序被所述处理器执行时实现上述的视频分割方法的步骤。本专利技术解决其技术问题所采用的技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频处理程序，所述视频处理程序被处理器执行时实现上述的视频分割方法的步骤。有益效果由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术通过检测当前帧与背景帧特征点匹配情况，并在两者不匹配时，通过修正的方式自动将背景帧匹配到当前帧的背景上，从而保证镜头在大幅度移动时能够准确的进行分割，确保了视频分割的效果。附图说明图1是本专利技术实施方式的流程图；图2是本专利技术实施方式中涉及的硬件运行环境的终端结构示意图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种已知背景先验信息的视频分割方法，将视频当前帧与背景先验信息匹配，预测得到当前帧的完整背景，再对当前帧的目标前景进行分割。如图1所示，包括以下步骤：设定背景帧，并对背景帧进行保存；提取视频流的当前帧；判断当前帧与所述的背景帧是否匹配，若不匹配则通过修正的方式将所述的背景帧匹配到所述当前帧的背景上；对当前帧进行分割得到当前帧的前景；将所述前景与背景视频进行合成。图2所示的是本实施方式中涉及的硬件运行环境的终端结构示意图。本实施方式的终端可以是智能手机、平板电脑、PC端等具有视频拍摄功能的终端设备。该终端包括：处理器(例如CPU)，通信总线，用户接口，网络接口和存储器。其中，通信总线用于实现这些组件之间的连接通信。用户接口可以包括用于连接输入设备和输出设备的接口。网络接口可以包括标准的有线接口和无线接口。存储器可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。存储器还可以是独立于处理器的存储装置。该终端还可以包括摄像头、RF电路、传感器、音频电路和WIFI模块等等。作为一种计算机可读存储介质的存储器中可以包括操作系统、网络通信模块、用户接口模块以及视频处理程序。其中，操作系统是管理和控制终端与软件资源的程序，支持网络通信模块、用户接口模块、视频处理程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口；用户接口模块用于管理和控制用户接口。在该终端中，网络接口主要用于连接服务器或外接设备，与服务器或外界设备进行数据通信；用户接口主要用于连接终端界面；所述终端通过处理器调用存储器中存储的视频处理程序，以实现以下步骤：步骤1，设定背景帧，并对背景帧进行保存。其中，是人离开背景拍摄的一张干净的背景图片或者是通过多张不同角度的图片合成得到的全景图片。步骤2，提取视频流的当前帧，该视频流为带有前景的视频流，该视频流也可以是带有前景的乱序的图片序列；步骤3，判断当前帧与预存的背景帧是否匹配，若不匹配则进入步骤4，否则进入步骤5。具体为：计算当前帧和预存的背景帧的分割掩膜区域以外区域的相似度，如果所述相似度低于设置的阈值时，则表示两者不匹配，因此需要进入步骤4进行修正，否则表示两者匹配，可以直接进入步骤5进行分割。本实施方式中相似度可以是图片的差值，也可以是图片的结构相似度，还可以是图片的特征图相似度。步骤4，通过修正的方式将所述预存的背景帧匹配到所述当前帧的背景上。本步骤中可以采用关键点匹配算法和卷积神经网络来实现修正的目的，具体如下：使用关键点匹配算法时，分别对预存的背景帧以及当前帧进行关键点提取以及匹配，并选取其中部分匹配良好的关键点，计算出变换矩阵，将预存的背景帧中对应的背景部分切割出来，使用所述变换矩阵变换到与所述当前帧相同的视觉角度，并将切割出来的背景部分作为当前帧的新的背景输入。使用卷积神经网络时，将预存的背景帧和当前帧输入卷积神经网络，所述卷积神经网络的输出为一系列空间变换关系映射图，然后将所述预存的背景帧中对应的背景部分切割出来并使用所述空间变换关系映射图变换到与当本文档来自技高网...

【技术保护点】
1.一种已知背景先验信息的视频分割方法，其特征在于，将视频当前帧与背景先验信息匹配，预测得到当前帧的完整背景，再对当前帧的目标前景进行分割。/n

【技术特征摘要】
1.一种已知背景先验信息的视频分割方法，其特征在于，将视频当前帧与背景先验信息匹配，预测得到当前帧的完整背景，再对当前帧的目标前景进行分割。


2.根据权利要求1所述的视频分割方法，其特征在于，包括以下步骤：
(1)设定背景帧，并对背景帧进行保存；
(2)提取视频流的当前帧；
(3)判断当前帧与所述的背景帧是否匹配，若不匹配则进入步骤(3)，否则进入步骤(4)；
(4)通过修正的方式将所述的背景帧匹配到所述当前帧的背景上；
(5)对当前帧进行分割得到当前帧的前景。


3.根据权利要求2所述的视频分割方法，其特征在于，所述步骤(1)中的背景帧为全景图片，所述全景图片通过多张不同角度的图片合成得到。


4.根据权利要求2所述的视频分割方法，其特征在于，所述步骤(3)具体为：计算当前帧和背景帧的分割掩膜区域以外区域的相似度，如果所述相似度低于阈值时，则进入步骤(4)，否则进入步骤(5)。


5.根据权利要求2所述的视频分割方法，其特征在于，所述步骤(4)具体为：使用关键点匹配算法分别对预存的背景帧以及当前帧进行关键点提取以及匹配，并选取其中部分匹配良好的关键点，计算出变换矩阵，将预存的背景帧中对应的背景部分切割出来，使用所述变...

【专利技术属性】
技术研发人员：赵维杰，富宸，徐孝成，王晨宇，
申请(专利权)人：上海卫莎网络科技有限公司，
类型：发明
国别省市：上海;31