视频处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种视频处理方法、装置、电子设备及存储介质，该视频处理方法包括通过对视频流数据中的目标帧原始图像进行特效处理，得到目标帧特效图像；根据区域置信度信息，分别对目标帧原始图像和视频流数据中的当前帧原始图像进行区域划分处理，对应得到多个置信子区域；基于目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对多个置信子区域进行特效变换处理，得到当前帧特效图像。从而在只对少量目标帧计算特效的情况下，通过分区域特效变换的方法高效且高质量地获取全部视频帧的特效结果，同时降低了计算量和延迟，提高了鲁棒性。

【技术实现步骤摘要】
视频处理方法、装置、电子设备及存储介质
本公开涉及计算机
，尤其涉及一种视频处理方法、装置、电子设备及存储介质。
技术介绍
特效处理是计算机视觉与计算机图形学领域的一项重要应用，其可应用于各种娱乐化内容生成等场景中。通过对视频图像进行特效处理，以输出带有特殊效果的图像，该特殊效果比如可以为风格化、美妆、美颜等等，从而给用户带来了更好的体验。相关技术中，在视频特效处理时，通常对视频中每个单独帧进行逐帧计算其特效图像，以达到展示视频全部帧的特效效果。然而，通过视频逐帧特效计算的方式，会大大增加特效处理的计算量，从而降低了特效处理效率，且尤其在一些场景下(比如实时特效场景)会由于设备难以达到正常帧率，导致用户感到强烈卡顿感，严重影响用户体验。此外，现有的特效处理方法的特效处理效果并不理想，极易出现不稳定、重影、扭曲等问题。
技术实现思路
本公开提供一种视频处理方法、装置、电子设备及存储介质，以至少解决相关技术中特效处理效率低、易出现卡顿以及特效处理效果不理想中至少一种问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种视频处理方法，包括：获取视频流数据和特效素材，所述视频流数据包括目标帧原始图像和当前帧原始图像；所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象；基于所述特效素材，对所述目标帧原始图像进行特效处理，得到目标帧特效图像；根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域；所述区域置信度信息表征区域包含稳定关键点和稳定光流点的概率；所述稳定关键点表征图像中抖动幅度小于预设幅度阈值的关键点，所述稳定光流点表征图像中抖动幅度小于预设幅度阈值的像素点；基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像，所述当前帧特效图像与所述目标帧特效图像是基于相同的所述特效素材处理得到。作为一种可选的实施方式，所述根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域步骤包括：分别获得所述目标帧原始图像的第一前景区域以及所述当前帧原始图像的第二前景区域；根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域。作为一种可选的实施方式，所述根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域步骤包括：分别对所述第一前景区域和所述第二前景区域进行关键点检测，并根据检测到稳定关键点的概率大小，分别从所述第一前景区域和所述第二前景区域中划分出高置信度子区域；所述高置信度子区域表征包含稳定关键点的概率大于等于第一预设概率阈值的区域；在检测到所述第一前景区域的区域面积大于所述目标帧原始图像的高置信度子区域的区域面积时，确定目标区域；所述目标区域为所述第一前景区域中除掉所述高置信度子区域之外的第一剩余区域，以及所述第二前景区域中除掉所述高置信度子区域之外的第二剩余区域；对所述目标区域进行光流检测，并根据检测到稳定光流点的概率大小，分别对所述第一剩余区域和所述第二剩余区域进行区域划分处理，对应得到至少一个置信子区域，所述第一前景区域和所述第二前景区域分别对应的置信子区域的数量相匹配。作为一种可选的实施方式，在检测所述当前帧原始图像中存在低置信度子区域的情况下，所述低置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率小于等于第二预设概率阈值；所述基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像步骤包括：基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像；在检测到所述当前帧原始图像中存在除低置信度子区域以外的其他置信度子区域时，基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像；融合目标特效图像以及所述当前帧原始图像中的背景图像，得到当前帧特效图像；所述目标特效图像包括所述第一特效图像、所述第二特效图像中至少一种。作为一种可选的实施方式，所述基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像步骤包括：获取所述目标帧原始图像与所述目标帧特效图像之间的颜色映射关系；基于所述颜色映射关系中包含的原始图像与特效图像之间的特效映射关系，确定所述当前帧原始图像和当前帧特效图像之间的第一目标变换参数；基于所述第一目标变换参数，对所述当前帧原始图像中低置信度子区域中各像素点进行特效变换处理，得到第一特效图像。作为一种可选的实施方式，所述基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像步骤包括：基于所述目标帧原始图像与当前帧原始图像之间的图像对齐关系，确定所述目标帧特效图像与当前帧特效图像之间的第一变换子参数；根据所述第一变换子参数，对所述目标帧特效图像中的中置信度子区域进行特效变换处理，得到第一变换特效图像；所述中置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率大于等于第二预设概率阈值的区域；所述第一变换特效图像用于反映所述当前帧原始图像中的中置信度子区域的特效图像；基于所述目标帧原始图像与当前帧原始图像之间的像素点变换矩阵关系，确定所述目标帧特效图像与当前帧特效图像之间的第二变换子参数；根据所述第二变换子参数，对所述目标帧特效图像中的高置信度子区域进行特效变换处理，得到第二变换特效图像；所述第二变换特效图像用于反映所述当前帧原始图像中的高置信度子区域的特效图像；基于所述第一变换特效图像和所述第二变换特效图像，得到所述第二特效图像。作为一种可选的实施方式，所述基于所述目标帧原始图像与当前帧原始图像之间的图像对齐关系，确定所述目标帧特效图像与当前帧特效图像之间的第一变换子参数步骤包括：获取所述目标帧原始图像对应的第一网格图像，以及获取所述当前帧原始图像对应的第二网格图像；每个网格图像中各网格的顶点为光流点；计算将所述第一网格图像中各像素点与所述第二网格图像中对应像素点对齐的光度损失；计算所述第一网格图像中各网格变形到所述第二网格图像中对应网格的网格形变损失；最小化所述光度损失与所述网格形变损失之和，获得所述目标帧原始图像对应的目标网格图像；根据所述第一网格图像中各光流点的初始位置变换至所述目标网格图像中各光流点的目标位置，确定第一目标变换矩阵；本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：/n获取视频流数据和特效素材，所述视频流数据包括目标帧原始图像和当前帧原始图像；所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象；/n基于所述特效素材，对所述目标帧原始图像进行特效处理，得到目标帧特效图像；/n根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域；所述区域置信度信息表征区域包含稳定关键点和稳定光流点的概率；所述稳定关键点表征图像中抖动幅度小于预设幅度阈值的关键点，所述稳定光流点表征图像中抖动幅度小于预设幅度阈值的像素点；/n基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像，所述当前帧特效图像与所述目标帧特效图像是基于相同的所述特效素材处理得到。/n

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：
获取视频流数据和特效素材，所述视频流数据包括目标帧原始图像和当前帧原始图像；所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象；
基于所述特效素材，对所述目标帧原始图像进行特效处理，得到目标帧特效图像；
根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域；所述区域置信度信息表征区域包含稳定关键点和稳定光流点的概率；所述稳定关键点表征图像中抖动幅度小于预设幅度阈值的关键点，所述稳定光流点表征图像中抖动幅度小于预设幅度阈值的像素点；
基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像，所述当前帧特效图像与所述目标帧特效图像是基于相同的所述特效素材处理得到。


2.根据权利要求1所述的视频处理方法，其特征在于，所述根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域步骤包括：
分别获得所述目标帧原始图像的第一前景区域以及所述当前帧原始图像的第二前景区域；
根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域。


3.根据权利要求2所述的视频处理方法，其特征在于，所述根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域步骤包括：
分别对所述第一前景区域和所述第二前景区域进行关键点检测，并根据检测到稳定关键点的概率大小，分别从所述第一前景区域和所述第二前景区域中划分出高置信度子区域；所述高置信度子区域表征包含稳定关键点的概率大于等于第一预设概率阈值的区域；
在检测到所述第一前景区域的区域面积大于所述目标帧原始图像的高置信度子区域的区域面积时，确定目标区域；所述目标区域为所述第一前景区域中除掉所述高置信度子区域之外的第一剩余区域，以及所述第二前景区域中除掉所述高置信度子区域之外的第二剩余区域；
对所述目标区域进行光流检测，并根据检测到稳定光流点的概率大小，分别对所述第一剩余区域和所述第二剩余区域进行区域划分处理，对应得到至少一个置信子区域，所述第一前景区域和所述第二前景区域分别对应的置信子区域的数量相匹配。


4.根据权利要求1-3任一所述的视频处理方法，其特征在于，在检测所述当前帧原始图像中存在低置信度子区域的情况下，所述低置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率小于等于第二预设概率阈值；所述基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像步骤包括：
基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像；
在检测到所述当前帧原始图像中存在除低置信度子区域以外的其他置信度子区域时，基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像；
融合目标特效图像以及所述当前帧原始图像中的背景图像，得到当前帧特效图像；所述目标特效图像包括所述第一特效图像、所述第二特效图像中至少一种。


5.根据权利要求4所述的视频处理方法，其特征在于，所述基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像步骤包括：
获取所述目标帧原始图像与所述目标帧特效图像之间的颜色映射关系；
基于所述颜色映射关系中包含的原始图像与特效图像之间的特效映射关系，确定所...

【专利技术属性】
技术研发人员：李梦天，张维一，黄海斌，马国壮，肖逸，郑屹，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11