地面区域的特效展示方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种地面区域的特效展示方法、装置、设备及计算机可读存储介质；方法包括：在采集视频的过程中，获取当前视频帧图像中地面区域对应的第一掩膜图像、以及历史视频帧图像中地面区域对应的第二掩膜图像；将第二掩膜图像投影到当前视频帧图像中，得到历史视频帧图像对应的投影掩膜图像；将第一掩膜图像与投影掩膜图像进行图像融合，得到当前视频帧图像中地面区域对应的目标掩膜图像；对所采集的视频帧图像中的地面区域进行跟踪处理，以确定地面区域在所采集视频中的移动轨迹；在所采集的视频中地面区域按照所述移动轨迹移动的过程中，将所采集的视频帧图像中地面区域对应的目标掩膜图像替换为特效元素进行展示。的目标掩膜图像替换为特效元素进行展示。的目标掩膜图像替换为特效元素进行展示。

【技术实现步骤摘要】
地面区域的特效展示方法、装置、设备及存储介质


[0001]本申请涉及计算机技术，尤其涉及一种地面区域的特效展示方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]用户在采集视频的过程中，若采集的视频画面中存在地面区域，则会将地面区域替换为相应的特效元素进行展示，以增加趣味性。然而，在对视频中地面区域进行识别分割的过程中，相关技术对每一帧图像进行独立分割，然而此种方式得到的每帧图像的分割结果会有一定的跳动，影响了地面区域分割的帧间一致性，导致所展示的特效元素与地面区域之间存在分离现象。

技术实现思路

[0003]本申请实施例提供一种地面区域的特效展示方法、装置、设备及计算机可读存储介质，能够保证地面区域分割时帧间的一致性，进而使得所展示的特效元素与地面区域的紧密贴合。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供一种地面区域的特效展示方法，包括：
[0006]在采集视频的过程中，获取当前视频帧图像中地面区域对应的第一掩膜图像、以及历史视频帧图像中地面区域对应的第二掩膜图像；
[0007]将所述第二掩膜图像投影到所述当前视频帧图像中，得到所述历史视频帧图像对应的投影掩膜图像；
[0008]将所述第一掩膜图像与所述投影掩膜图像进行图像融合，得到所述当前视频帧图像中地面区域对应的目标掩膜图像；
[0009]对所采集的视频帧图像中的地面区域进行跟踪处理，以确定所述地面区域在所采集视频中的移动轨迹；
[0010]在所采集的视频中地面区域按照所述移动轨迹移动的过程中，将所采集的视频帧图像中地面区域对应的目标掩膜图像替换为特效元素进行展示。
[0011]本申请实施例提供一种地面区域的特效展示方法，包括：
[0012]采集包含地面区域的视频，并在采集所述视频的过程中，对所述视频中的地面区域采用相应的特效元素进行展示；
[0013]其中，所述特效元素，为对采集的视频帧图像中地面区域对应的目标掩膜图像替换得到；所述目标掩膜图像，为将当前视频帧图像中地面区域对应的第一掩膜图像与历史视频帧图像中地面区域对应的第二掩膜图像，投影到所述当前视频帧图像中得到的投影掩膜图像进行图像融合得到；
[0014]伴随所述视频对应的采集姿态的变化，同步调整所展示视频中所述特效元素的姿态。
[0015]本申请实施例提供一种地面区域的特效展示装置，包括：
[0016]获取模块，用于在采集视频的过程中，获取当前视频帧图像中地面区域对应的第一掩膜图像、以及历史视频帧图像中地面区域对应的第二掩膜图像；
[0017]投影模块，用于将所述第二掩膜图像投影到所述当前视频帧图像中，得到所述历史视频帧图像对应的投影掩膜图像；
[0018]融合模块，用于将所述第一掩膜图像与所述投影掩膜图像进行图像融合，得到所述当前视频帧图像中地面区域对应的目标掩膜图像；
[0019]跟踪模块，用于对所采集的视频帧图像中的地面区域进行跟踪处理，以确定所述地面区域在所采集视频中的移动轨迹；
[0020]替换模块，用于在所采集的视频中地面区域按照所述移动轨迹移动的过程中，将所采集的视频帧图像中地面区域对应的目标掩膜图像替换为特效元素进行展示。
[0021]上述方案中，所述获取模块，还用于对当前视频帧图像的旋转角度进行重力校正，得到所述当前视频帧图像对应的校正图像；
[0022]对所述校正图像进行地面区域检测，并对检测出的地面区域进行分割处理，得到所述当前视频帧图像中地面区域对应的分割图像；
[0023]对所述分割图像进行非地面区域过滤，得到所述当前视频帧图像中地面区域对应的第一掩膜图像。
[0024]上述方案中，所述获取模块，还用于获取视频采集设备采集所述当前视频帧图像时的姿态旋转矩阵；
[0025]基于所述姿态旋转矩阵，确定相应的重力方向的旋转角度；
[0026]根据所述旋转角度将所述当前视频帧图像进行重力方向旋转，得到所述当前视频帧图像对应的校正图像。
[0027]上述方案中，所述获取模块，还用于获取视频采集设备采集所述当前视频帧图像时的姿态旋转矩阵，并基于所述姿态旋转矩阵，获取与所述视频采集设备处于同一水平面的第一参考点和第二参考点，以及位于所述视频采集设备的垂直平面的第三参考点；
[0028]基于所述第一参考点和所述第二参考点，确定所述当前视频帧图像的水平消逝线，并基于所述第三参考点，确定所述当前视频帧图像的重力方向；
[0029]基于所述水平消逝线及所述重力方向，对所述分割图像进行非地面区域过滤，得到所述当前视频帧图像中地面区域对应的第一掩膜图像。
[0030]上述方案中，所述获取模块，还用于分别将所述第一参考点、所述第二参考点和所述第三参考点投影到所述当前视频帧图像中，得到所述第一参考点对应的第一目标点、所述第二参考点对应的第二目标点，及所述第三参考点对应的第三目标点；
[0031]将所述第一目标点与所述第二目标点之间的连线，确定为所述当前视频帧图像的水平消逝线；
[0032]将从所述第三目标点出发且垂直于所述水平消逝线的射线所指示的方向，确定为所述当前视频帧图像的重力方向。
[0033]上述方案中，所述获取模块，还用于获取所述水平消逝线与所述当前视频帧图像的交点的数量；
[0034]基于所述交点的数量及所述重力方向，确定所述当前视频帧图像中的非地面区
域；
[0035]当所述分割图像对应的地面区域中含有所述非地面区域时，对所述分割图像进行非地面区域过滤，得到所述当前视频帧图像中地面区域对应的第一掩膜图像。
[0036]上述方案中，所述获取模块，还用于当所述交点的数量为0或1、且所述重力方向指示的第三目标点与所述当前视频帧图像位于所述水平消逝线的同一侧时，确定所述当前视频帧图像为非地面区域；
[0037]当所述交点的数量为2时，将与所述当前视频帧图像中所述重力方向所指示的第三目标点处于所述水平消逝线同一侧的部分区域确定为非地面区域。
[0038]上述方案中，所述投影模块，还用于获取所述历史视频帧图像与所述当前视频帧图像之间的光流场；
[0039]基于所述光流场，得到所述历史视频帧图像与所述当前视频帧图像之间的变换矩阵；
[0040]基于所述变换矩阵，将所述第二掩膜图像投影到所述当前视频帧图像中，得到所述历史视频帧图像对应的投影掩膜图像。
[0041]上述方案中，所述融合模块，还用于分别获取所述第一掩膜图像与所述投影掩膜图像对应的权重；
[0042]基于获取的权重，对所述第一掩膜图像与所述投影掩膜图像进行加权处理，得到所述当前视频帧图像中地面区域对应的目标掩膜图像。
[0043]上述方案中，所述跟踪模块，还用于获取视频采集设备采集视频时的姿态旋转矩阵，并基于所述姿态旋转矩阵确定所述地面区域在所采集视频中相对重力方向的姿态旋转角度；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种地面区域的特效展示方法，其特征在于，所述方法包括：在采集视频的过程中，获取当前视频帧图像中地面区域对应的第一掩膜图像、以及历史视频帧图像中地面区域对应的第二掩膜图像；将所述第二掩膜图像投影到所述当前视频帧图像中，得到所述历史视频帧图像对应的投影掩膜图像；将所述第一掩膜图像与所述投影掩膜图像进行图像融合，得到所述当前视频帧图像中地面区域对应的目标掩膜图像；对所采集的视频帧图像中的地面区域进行跟踪处理，以确定所述地面区域在所采集视频中的移动轨迹；在所采集的视频中地面区域按照所述移动轨迹移动的过程中，将所采集的视频帧图像中地面区域对应的目标掩膜图像替换为特效元素进行展示。2.如权利要求1所述的方法，其特征在于，所述获取当前视频帧图像中地面区域对应的第一掩膜图像，包括：对当前视频帧图像的旋转角度进行重力校正，得到所述当前视频帧图像对应的校正图像；对所述校正图像进行地面区域检测，并对检测出的地面区域进行分割处理，得到所述当前视频帧图像中地面区域对应的分割图像；对所述分割图像进行非地面区域过滤，得到所述当前视频帧图像中地面区域对应的第一掩膜图像。3.如权利要求2所述的方法，其特征在于，所述对当前视频帧图像的旋转角度进行重力校正，得到所述当前视频帧图像对应的校正图像，包括：获取视频采集设备采集所述当前视频帧图像时的姿态旋转矩阵；基于所述姿态旋转矩阵，确定相应的重力方向的旋转角度；根据所述旋转角度将所述当前视频帧图像进行重力方向旋转，得到所述当前视频帧图像对应的校正图像。4.如权利要求2所述的方法，其特征在于，所述对所述分割图像进行非地面区域过滤，得到所述当前视频帧图像中地面区域对应的第一掩膜图像，包括：获取视频采集设备采集所述当前视频帧图像时的姿态旋转矩阵，并基于所述姿态旋转矩阵，获取与所述视频采集设备处于同一水平面的第一参考点和第二参考点，以及位于所述视频采集设备的垂直平面的第三参考点；基于所述第一参考点和所述第二参考点，确定所述当前视频帧图像的水平消逝线，并基于所述第三参考点，确定所述当前视频帧图像的重力方向；基于所述水平消逝线及所述重力方向，对所述分割图像进行非地面区域过滤，得到所述当前视频帧图像中地面区域对应的第一掩膜图像。5.如权利要求4所述的方法，其特征在于，所述基于所述第一参考点和所述第二参考点确定所述当前视频帧图像的水平消逝线，并基于所述第三参考点，确定所述当前视频帧图像的重力方向，包括：分别将所述第一参考点、所述第二参考点和所述第三参考点投影到所述当前视频帧图像中，得到所述第一参考点对应的第一目标点、所述第二参考点对应的第二目标点，及所述
第三参考点对应的第三目标点；将所述第一目标点与所述第二目标点之间的连线，确定为所述当前视频帧图像的水平消逝线；将从所述第三目标点出发且垂直于所述水平消逝线的射线所指示的方向，确定为所述当前视频帧图像的重力方向。6.如权利要求4所述的方法，其特征在于，所述基于所述水平消逝线及所述重力方向，对所述分割图像进行非地面区域过滤，得到所述当前视频帧图像中地面区域对应的第一掩膜图像，包括：获取所述水平消逝线与所述当前视频帧图像的交点的数量；基于所述交点的数量及所述重力方向，确定所述当前视频帧图像中的非地面区域；当所述分割图像对应的地面区域中含有所述非地面区域时，对所述分割图像进行非地面区域过滤，得到所述当前视频帧图像中地面区域对应的第一掩膜图像。7.如权利要求6所述的方法，其特征在于，所述基于所述交点的数量及所述重力方向，确定所述当前视频帧图像中的非地面区域，包括：当所述交点的数量为0或1、且所述重力方向指示的第三目标点与所述当前视频帧图像位于所述水平消逝线的同一侧时，确定所述当前视频帧图像为非地面区域；当所述交点的数量为2时，将与所述当前视频帧图像中所述重力方向所指示的第三目标点处于所述水平消逝线的同一侧的部分区域确定为非地面区域。8.如权利要求1所述的方法，其特征在于，所述将所述第二掩膜图像投影到所述当前视频帧图像中，得到所述历史视频帧图像对应的投影掩膜图像，包括：获取所述历史视频帧图像与所述当前视频帧图像之间的光流场；基于所述光流场，将所述第二掩膜图像投影到所述当前视频帧图像中，得到所述历史视频帧图像对应的投影掩膜图像。9.如权利要求1所述的方法，其特征在于，所述将...

【专利技术属性】
技术研发人员：毛曙源，李思远，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：