视频处理以及在视频中嵌入目标对象的方法、装置和设备制造方法及图纸

本申请公开了一种视频处理以及在视频中嵌入目标对象的方法、装置和设备，属于计算机技术领域，用于提供一种从视频中提取出前景区域的方式，为视频的后续分析和加工奠定基础。该方法包括：获取待处理视频中参考帧图片以及所述参考帧图片的前景掩码图片；根据所述参考帧图片和所述参考帧图片的前景掩码图片，以及非参考帧图片的相邻一帧图片和所述相邻一帧图片的前景掩码图片，从所述参考帧相邻的非参考帧开始，分别预测非参考帧图片的前景掩码图片；分别根据各前景掩码图片对应的图片在所述待处理视频中的位置，将所有前景掩码图片合成得到所述待处理视频的前景掩码视频。

Methods, devices and devices for video processing and embedding target objects in video

【技术实现步骤摘要】
视频处理以及在视频中嵌入目标对象的方法、装置和设备
本申请涉及计算机
，特别涉及一种视频处理以及在视频中嵌入目标对象的方法、装置和设备。
技术介绍
前景检测(videoforegrounddetection)，是指通过特定的算法和模型将感兴趣的前景区域从视频图像序列中提取出来，以便后续对视频进行分析与加工。其中，背景是指场景中非兴趣物体组成的较为稳定的场景结构，前景是指场景中感兴趣的运动目标组成的场景结构。前景与背景是相对的概念，以高速公路场景为例，如果对高速公路上来往的汽车感兴趣，则汽车是前景，而路面以及周围的环境是背景；如果仅对闯入高速公路的行人感兴趣，则闯入者是前景，而包括汽车在内的其他事物均为背景。前景检测在视频广告、视频美化、安防监控和交通监控等领域中被广泛使用，例如针对视频广告来说，若是直接在视频中插入广告，广告可能会遮挡住前景物体，例如走动的行人，影响用户观看体验，而若是对视频进行前景检测，将前景区域从场景中提取出来，进而后续在插入广告时则可以选择避开前景区域。可见，从视频场景中提取前景区域是后续应用的基础，因此如何实现视频的前景检测是目前亟待解决的问题。
技术实现思路
本申请实施例提供一种视频处理以及在视频中嵌入目标对象的方法、装置和设备，用于提供一种从视频中提取出前景区域的方式，为视频的后续分析和加工奠定基础。一方面，提供一种视频处理方法，所述方法包括：获取待处理视频中参考帧图片以及所述参考帧图片的前景掩码图片；根据所述参考帧图片和所述参考帧图片的前景掩码图片，以及非参考帧图片的相邻一帧图片和所述相邻一帧图片的前景掩码图片，从所述参考帧相邻的非参考帧开始，分别预测非参考帧图片的前景掩码图片；分别根据各前景掩码图片对应的图片在所述待处理视频中的位置，将所有前景掩码图片合成得到所述待处理视频的前景掩码视频。一方面，提供一种在视频中嵌入目标对象的方法，所述方法包括：采用上述方面所述的方法获取待嵌套目标对象的视频对应的前景掩码视频；在位于所述前景掩码视频的后侧，将所述目标对象嵌套至所述视频中。一方面，提供一种视频处理装置，所述装置包括：掩码图片获取单元，用于获取待处理视频中参考帧图片以及所述参考帧图片的前景掩码图片；掩码图片预测单元，根据所述参考帧图片和所述参考帧图片的前景掩码图片，以及非参考帧图片的相邻一帧图片和所述相邻一帧图片的前景掩码图片，从所述参考帧相邻的非参考帧开始，分别预测非参考帧图片的前景掩码图片；视频合成单元，用于分别根据各前景掩码图片对应的图片在所述待处理视频中的位置，将所有前景掩码图片合成得到所述待处理视频的前景掩码视频。可选的，所述掩码图片获取单元，具体用于：通过预先训练的前景掩码提取模型，提取所述参考帧图片中包括的各前景物体的前景掩码；所述前景掩码提取模型是通过多个图片训练样本训练得到的，每一个图片训练样本标注了图片的前景掩码和包围前景掩码所在位置的边框；根据各所述前景掩码在所述参考帧图片中的位置，将各所述前景掩码进行融合，获得所述前景掩码图片。可选的，所述掩码图片获取单元，具体用于：对所述参考帧图片进行特征提取，得到所述参考帧图片在N个尺度上的初始特征图；基于在所述N个尺度上的所述初始特征图，获取在所述N个尺度上的含框特征图，其中，每一个尺度对应多个含框特征图，每一个框内包括一个或者多个候选前景物体；将不同尺度且框的位置相同的含框特征图进行融合，得到多个融合特征图；基于多个所述融合特征图获取所述参考帧图片中包括的各前景物体的前景掩码。可选的，所述掩码图片获取单元，具体用于：按照尺度从高到低的顺序，依次提取在所述N个尺度上的第一特征图，其中，在进行每一次特征提取时，对第i尺度的第一特征图进行特征提取，得到第i+1尺度的第一特征图，1＜i≤N，且i的值越大，尺度越小；从尺度最小的第一特征图开始，通过逐级叠加的方式得到在所述N个尺度上的所述初始特征图；其中，在进行每一级叠加时，对第i尺度的第一特征图进行上采样，使得上采样得到的特征图与第i-1尺度的第一特征图的尺度相同后，将上采样得到的特征图与所述第i-1尺度的第一特征图进行叠加，得到第i-1尺度的初始特征图，1＜i≤N。可选的，所述掩码图片获取单元，具体用于：对尺度最大的初始特征图进行画框操作，得到多个尺度最大的含框特征图；针对每一个尺度最大的含框特征图，通过逐级叠加的方式得到在所述N个尺度上的含框特征图；其中，在进行每一级叠加时，将每个第i尺度的含框特征图缩小至与第i+1尺度的初始特征图的尺度相同后，将缩小后的含框特征图与所述第i+1尺度的初始特征图进行叠加，得到第i+1尺度的含框特征图，1＜i≤N。可选的，所述掩码图片获取单元，具体用于：分别从各尺度的所述含框特征图中提取出边框特征图，并对不同尺度对应的边框特征图进行池化操作，以使得各尺度对应的池化后的边框特征图的大小相同；将各尺度对应的池化后的边框特征图进行融合，得到所述融合特征图。可选的，所述掩码图片获取单元，具体用于：针对每一个融合特征图，基于所述融合特征图对所述边框内的物体进行分类，得到所述融合特征图对应的物体类别掩码；以及，基于所述融合特征图对所述边框内的区域进行分类，且确定所述边框内的区域类型为前景时，获取所述融合特征图对应的前背景类别掩码；将所述物体类别掩码与所述前背景类别掩码进行叠加，以得到所述前景掩码。可选的，所述掩码图片预测单元，具体用于：通过包含多个特征图尺度逐渐减小的特征提取层的特征提取模块，逐级提取所述参考帧图片和所述参考帧图片的前景掩码图片的多种尺度的第一特征图集合；通过所述特征提取模块，逐级提取非参考帧图片的相邻一帧图片和该相邻一帧图片的前景掩码图片的多种尺度的第二特征图集合；将尺度最小的第一特征图集合与尺度最小的第二特征图集合进行级联后，通过包含多个特征图尺度逐渐增大的掩码预测层的掩码预测模块，逐级将级联得到的特征图集合恢复至与所述待处理视频中原始图片的尺度相同的图片，以得到非参考帧图片的前景掩码图片。可选的，所述特征提取模块包括的任意相邻两个特征提取层的尺度缩小倍数，与所述掩码预测模块包括的任意两个相邻掩码预测层的放大倍数相同。可选的，所述掩码图片预测单元，具体用于：按照所述掩码预测层设定的放大倍数将输入的特征图集合进行放大，将放大的特征图集合与相同尺度的第二特征图集合进行叠加。可选的，所述参考帧图片为首帧图片，所述非参考帧图片的相邻一帧图片为所述非参考帧图片的前一帧图片。一方面，提供一种在视频中嵌入目标对象的装置，所述装置包括：掩码视频获取单元，用于采用上述方面所述的方法获取待嵌套目标对象的视频对应的前景掩码视频；目标对象嵌入单元，用于在位于所述前景掩码视频的后侧，将所述目标对象嵌套至所述视频中。一方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方面所述的方法。一方面，提供一种计算机可读存储介质，存储有处理器可执行指令，所述处理器可执行指令用于执行上述方面所述的方法。本申请实施例中，首先获取视频中参考帧图片的前景掩码图片，而在获取后续的非参考帧图片的前景掩码图片时，则可以根据参考帧图片的前景掩码图片以及该非参考帧图片的相邻一帧图片的前景本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，所述方法包括：获取待处理视频中参考帧图片以及所述参考帧图片的前景掩码图片；根据所述参考帧图片和所述参考帧图片的前景掩码图片，以及非参考帧图片的相邻一帧图片和所述相邻一帧图片的前景掩码图片，从所述参考帧相邻的非参考帧开始，分别预测非参考帧图片的前景掩码图片；分别根据各前景掩码图片对应的图片在所述待处理视频中的位置，将所有前景掩码图片合成得到所述待处理视频的前景掩码视频。

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：获取待处理视频中参考帧图片以及所述参考帧图片的前景掩码图片；根据所述参考帧图片和所述参考帧图片的前景掩码图片，以及非参考帧图片的相邻一帧图片和所述相邻一帧图片的前景掩码图片，从所述参考帧相邻的非参考帧开始，分别预测非参考帧图片的前景掩码图片；分别根据各前景掩码图片对应的图片在所述待处理视频中的位置，将所有前景掩码图片合成得到所述待处理视频的前景掩码视频。2.如权利要求1所述的方法，其特征在于，所述获取待处理视频中参考帧图片以及所述参考帧图片的前景掩码图片，包括：通过预先训练的前景掩码提取模型，提取所述参考帧图片中包括的各前景物体的前景掩码；所述前景掩码提取模型是通过多个图片训练样本训练得到的，每一个图片训练样本标注了图片的前景掩码和包围前景掩码所在位置的边框；根据各所述前景掩码在所述参考帧图片中的位置，将各所述前景掩码进行融合，获得所述前景掩码图片。3.如权利要求2所述的方法，其特征在于，所述通过预先训练的前景掩码提取模型，提取所述参考帧图片中包括的各前景物体的前景掩码，包括：对所述参考帧图片进行特征提取，得到所述参考帧图片在N个尺度级别上的初始特征图；基于在所述N个尺度级别上的所述初始特征图，获取在所述N个尺度级别上的含框特征图，其中，每一个尺度级别对应多个含框特征图，每一个框内包括一个或者多个候选前景物体；将不同尺度级别且框的位置相同的含框特征图进行融合，得到多个融合特征图；基于多个所述融合特征图获取所述参考帧图片中包括的各前景物体的前景掩码。4.如权利要求3所述的方法，其特征在于，所述对所述参考帧图片进行特征提取，得到所述参考帧图片在N个尺度上的初始特征图，包括：按照尺度从高到低的顺序，依次提取在所述N个尺度上的第一特征图，其中，在进行每一次特征提取时，对第i尺度的第一特征图进行特征提取，得到第i+1尺度的第一特征图，1＜i≤N，且i的值越大，尺度越小；从尺度最小的第一特征图开始，通过逐级叠加的方式得到在所述N个尺度上的所述初始特征图；其中，在进行每一级叠加时，对第i尺度的第一特征图进行上采样，使得上采样得到的特征图与第i-1尺度的特征图的尺度相同后，将上采样得到的特征图与所述第i-1尺度的第一特征图进行叠加，得到第i-1尺度的初始特征图，1＜i≤N。5.如权利要求3所述的方法，其特征在于，所述基于在N个尺度上的初始特征图，获取在N个尺度上的含框特征图，包括：对尺度最大的初始特征图进行画框操作，得到多个尺度最大的含框特征图；针对每一个尺度最大的含框特征图，通过逐级叠加的方式得到在所述N个尺度上的含框特征图；其中，在进行每一级叠加时，将每个第i尺度的含框特征图缩小至与第i+1尺度的初始特征图的尺度相同后，将缩小后的含框特征图与所述第i+1尺度的初始特征图进行叠加，得到第i+1尺度的含框特征图，1＜i≤N。6.如权利要求3所述的方法，其特征在于，所述将不同尺度且框的位置相同的含框特征图进行融合，得到多个融合特征图，包括：分别从各尺度的所述含框特征图中提取出边框特征图，并对不同尺度对应的边框特征图进行池化操作，以使得各尺度对应的池化后的边框特征图的大小相同；将各尺度对应的池化后的边框特征图进行融合，得到所述融合特征图。7.如权利要求6所述的方...

【专利技术属性】
技术研发人员：陈博恒，殷泽龙，李文俊，谢年华，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44