视频帧图像处理方法及电子设备技术

本申请实施例提供一种视频帧图像处理方法及电子设备，涉及图像处理技术领域。本实施例中，首先，采用第一观察视角下相邻两视频帧图像的第一深度图像，对第一目标视频帧图像的第一深度图像进行时域平滑得到第二深度图像；接着，根据第二深度图像得到第二观察视角下的第二目标视频帧图像；最后，将第一目标视频帧图像与第二目标视频帧图像进行合成，得到双目视频帧图像。一方面，以单目视频帧图像为基础合成双目视频帧图像，可以减小对硬件设备的要求，降低制作成本；另一方面，对第一目标视频帧图像的深度图像进行时域平滑可以确保深度图像在视频帧之间具有连续性，使得双目视频帧图像在播放时具有稳定的画面显示效果。像在播放时具有稳定的画面显示效果。像在播放时具有稳定的画面显示效果。

【技术实现步骤摘要】
视频帧图像处理方法及电子设备


[0001]本申请涉及图像处理
，具体而言，涉及一种视频帧图像处理方法及电子设备。

技术介绍

[0002]双目视频帧图像由左右两个带有一定视差的图像组成，需要佩戴特定的设备观看，与单目视频帧图像相比具有更强的立体感和临场感。
[0003]在现有技术中，制作双目视频帧图像一般需要两台按照人眼眼距架设的摄像机，对同一场景进行拍摄，在这种情况下，两台摄像机拍摄的两个画面之间具有最为精确的视差关系，能产生最接近临场体验的立体效果，但采用上述方式制作双目视频帧图像所需硬件设备较多，制作成本较高。

技术实现思路

[0004]为了至少克服现有技术中的上述不足，本申请的目的在于提供一种视频帧图像处理方法及电子设备。
[0005]第一方面，本申请实施例提供一种视频帧图像处理方法，所述方法包括：
[0006]获取待处理的单目视频中各视频帧图像的第一深度图像；
[0007]针对各所述视频帧图像中的每个第一目标视频帧图像，基于所述第一目标视频帧图像的第一深度图像及该第一目标视频帧图像的前一视频帧图像的第一深度图像对所述第一目标视频帧图像的第一深度图像进行时域平滑，得到所述第一目标视频帧图像的第二深度图像，其中，所述第一目标视频帧图像为第一观察视角下的视频图像；
[0008]根据所述第一目标视频帧图像的第二深度图像，得到所述第一目标视频帧图像在第二观察视角下的第二目标视频帧图像；
[0009]将所述第一目标视频帧图像与所述第二目标视频帧图像进行合成，得到双目视频帧图像。
[0010]在上述方案中，首先，采用第一观察视角下的单目视频中相邻两视频帧图像的第一深度图像，对单目视频中第一目标视频帧图像的第一深度图像进行时域平滑得到第二深度图像；接着，根据第一目标视频帧图像的第二深度图像得到第二观察视角下的第二目标视频帧图像；最后，将第一目标视频帧图像与第二目标视频帧图像进行合成，得到双目视频帧图像。一方面，以单目视频帧图像为基础合成双目视频帧图像，可以减小对硬件设备的要求(只需一台摄像机)，降低制作成本；另一方面，对第一目标视频帧图像的深度图像进行时域平滑可以确保深度图像在视频帧之间具有连续性，并采用平滑后的深度图像确定第二观察视角下的第二目标视频帧图像，在播放由第一目标视频帧图像及第二目标视频帧图像组成的双目视频帧图像时不会存在因深度图像时域不连续而导致的画面抖动问题，确保画面的稳定显示。
[0011]在一种可能的实现方式中，所述获取待处理的单目视频中各视频帧图像的第一深
度图像的步骤，包括：
[0012]通过深度计算模型计算所述单目视频中各视频帧图像的第一深度图像；
[0013]其中，所述深度计算模型包括卷积神经网络、特征融合子模型及输出子模型；
[0014]所述通过深度计算模型计算所述单目视频中各视频帧图像的第一深度图像的步骤包括：
[0015]采用所述卷积神经网络分别对所述单目视频中的各视频帧图像进行特征提取得到各视频帧图像对应的图像深度特征；
[0016]通过所述特征融合子模型分别对各视频帧图像的图像深度特征进行特征融合得到融合特征；
[0017]将所述融合特征输入所述输出子模型进行处理，得到所述单目视频中各视频帧图像的第一深度图像。
[0018]在上述方案中，基于卷积神经网络的深度图像获取方法相对于传统的基于运动恢复结构的深度图像获取方法，可以对视频帧图像中的全像素进行深度计算，且不受运动物体影响，具有更强的鲁棒性且场景的适应能力更强。
[0019]在一种可能的实现方式中，所述基于所述第一目标视频帧图像的第一深度图像及该第一目标视频帧图像的前一视频帧图像的第一深度图像对所述第一目标视频帧图像的第一深度图像进行时域平滑，得到所述第一目标视频帧图像的第二深度图像的步骤，包括：
[0020]通过运动对象分隔网络获取所述第一目标视频帧图像中的第一运动对象区域掩膜，及所述第一目标视频帧图像的前一视频帧图像中的第二运动对象区域掩膜；
[0021]基于所述第一运动对象区域掩膜及所述第二运动对象区域掩膜，得到所述第一目标视频帧图像和所述第一目标视频帧图像的前一视频帧图像之间的帧间运动区域掩膜、所述第一目标视频帧图像的背景掩膜及所述第一目标视频帧图像的前景掩膜；
[0022]基于所述帧间运动区域掩膜、所述第一目标视频帧图像的背景掩膜、所述第一目标视频帧图像的前景掩膜及所述第一目标视频帧图像的第一深度图像得到所述第一目标视频帧图像的第二深度图像。
[0023]在一种可能的实现方式中，所述基于所述帧间运动区域掩膜、所述第一目标视频帧图像的背景掩膜、所述第一目标视频帧图像的前景掩膜及所述第一目标视频帧图像的第一深度图像得到所述第一目标视频帧图像的第二深度图像的步骤，包括：
[0024]基于所述第一目标视频帧图像的前景掩膜及所述第一目标视频帧图像的第一深度图像得到所述第一目标视频帧图像中前景区域的深度图像，并基于所述第一目标视频帧图像中前景区域的深度图像与所述第一目标视频帧图像的前一视频帧图像在该前景区域的深度图像，对所述第一目标视频帧图像中前景区域的深度图像进行更新得到所述第一目标视频帧图像的前景深度图像；
[0025]基于所述第一目标视频帧图像的背景掩膜及所述第一目标视频帧图像的第一深度图像得到所述第一目标视频帧图像中背景区域的深度图像，并基于所述第一目标视频帧图像中背景区域的深度图像与所述第一目标视频帧图像的前一视频帧图像在该背景区域的深度图像，对所述第一目标视频帧图像中背景区域的深度图像进行平滑得到所述第一目标视频帧图像的背景深度图像；
[0026]基于所述帧间运动区域掩膜及所述第一目标视频帧图像的第一深度图像对所述
第一目标视频帧图像的前景深度图像的前景区域与所述第一目标视频帧图像的背景深度图像的背景区域之间的区域进行平滑处理，得到所述第一目标视频帧图像的第二深度图像。
[0027]在一种可能的实现方式中，所述基于所述帧间运动区域掩膜及所述第一目标视频帧图像的第一深度图像对所述第一目标视频帧图像的前景深度图像的前景区域与所述第一目标视频帧图像的背景深度图像的背景区域之间的区域进行平滑处理，得到所述第一目标视频帧图像的第二深度图像的步骤，包括：
[0028]基于所述帧间运动区域掩膜与所述第一目标视频帧图像的第一深度图像得到所述第一目标视频帧图像中所述帧间运动区域的深度图像；
[0029]将所述第一目标视频帧图像的前景深度图像与所述第一目标视频帧图像的背景深度图像进行合成，得到合成后的深度图像；
[0030]采用所述帧间运动区域的深度图像替换所述合成后的深度图像中的相应区域的深度图像，得到所述第一目标视频帧图像的第二深度图像。
[0031]在一种可能的实现方式中，所述基于所述第一目标视频帧图像中前景区域的深度图像与所述第一目标视频帧图像的前一视频帧图像在该前景区域的深度图像，对所述第一目标视频帧图像中前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频帧图像处理方法，其特征在于，所述方法包括：获取待处理的单目视频中各视频帧图像的第一深度图像；针对各所述视频帧图像中的每个第一目标视频帧图像，基于所述第一目标视频帧图像的第一深度图像及该第一目标视频帧图像的前一视频帧图像的第一深度图像对所述第一目标视频帧图像的第一深度图像进行时域平滑，得到所述第一目标视频帧图像的第二深度图像，其中，所述第一目标视频帧图像为第一观察视角下的视频图像；根据所述第一目标视频帧图像的第二深度图像，得到所述第一目标视频帧图像在第二观察视角下的第二目标视频帧图像；将所述第一目标视频帧图像与所述第二目标视频帧图像进行合成，得到双目视频帧图像。2.如权利要求1所述视频帧图像处理方法，其特征在于，所述获取待处理的单目视频中各视频帧图像的第一深度图像的步骤，包括：通过深度计算模型计算所述单目视频中各视频帧图像的第一深度图像；其中，所述深度计算模型包括卷积神经网络、特征融合子模型及输出子模型；所述通过深度计算模型计算所述单目视频中各视频帧图像的第一深度图像的步骤包括：采用所述卷积神经网络分别对所述单目视频中的各视频帧图像进行特征提取得到各视频帧图像对应的图像深度特征；通过所述特征融合子模型分别对各视频帧图像的图像深度特征进行特征融合得到融合特征；将所述融合特征输入所述输出子模型进行处理，得到所述单目视频中各视频帧图像的第一深度图像。3.如权利要求1所述视频帧图像处理方法，其特征在于，所述基于所述第一目标视频帧图像的第一深度图像及该第一目标视频帧图像的前一视频帧图像的第一深度图像对所述第一目标视频帧图像的第一深度图像进行时域平滑，得到所述第一目标视频帧图像的第二深度图像的步骤，包括：通过运动对象分隔网络获取所述第一目标视频帧图像中的第一运动对象区域掩膜，及所述第一目标视频帧图像的前一视频帧图像中的第二运动对象区域掩膜；基于所述第一运动对象区域掩膜及所述第二运动对象区域掩膜，得到所述第一目标视频帧图像和所述第一目标视频帧图像的前一视频帧图像之间的帧间运动区域掩膜、所述第一目标视频帧图像的背景掩膜及所述第一目标视频帧图像的前景掩膜；基于所述帧间运动区域掩膜、所述第一目标视频帧图像的背景掩膜、所述第一目标视频帧图像的前景掩膜及所述第一目标视频帧图像的第一深度图像得到所述第一目标视频帧图像的第二深度图像。4.如权利要求3所述的视频帧图像处理方法，其特征在于，所述基于所述帧间运动区域掩膜、所述第一目标视频帧图像的背景掩膜、所述第一目标视频帧图像的前景掩膜及所述第一目标视频帧图像的第一深度图像得到所述第一目标视频帧图像的第二深度图像的步骤，包括：基于所述第一目标视频帧图像的前景掩膜及所述第一目标视频帧图像的第一深度图
像得到所述第一目标视频帧图像中前景区域的深度图像，并基于所述第一目标视频帧图像中前景区域的深度图像与所述第一目标视频帧图像的前一视频帧图像在该前景区域的深度图像，对所述第一目标视频帧图像中前景区域的深度图像进行更新得到所述第一目标视频帧图像的前景深度图像；基于所述第一目标视频帧图像的背景掩膜及所述第一目标视频帧图像的第一深度图像得到所述第一目标视频帧图像中背景区域的深度图像，并基于所述第一目标视频帧图像中背景区域的深度图像与所述第一目标视频帧图像的前一视频帧图像在该背景区域的深度图像，对所述第一目标视频帧图像中背景区域的深度图像进行平滑得到所述第一目标视频帧图像的背景深度图像；基于所述帧间运动区域掩膜及所述第一目标视频帧图像的第一深度图像对所述第一目标视频帧图像的前景深度图像的前景区域与所述第一目标视频帧图像的背景深度图像的背景区域之间的区域进行平滑处理，得到所述第一目标视频帧图像的第二深度图像。5.如权利要求4所述的视频帧图像处理方法，其特征在于，所述基于所述帧间运动区域掩膜及所述第一目标视频帧图像的第一深度图像对所述第一目标视频帧图像的前景深度图像的前景区域与所述第一目标视频帧图像的背景深度图像的背景区域之间的区域进行平滑处理，得到所述第一目标视频帧图像的第二深度图像的步骤，包括：基于所述帧间运动区域掩膜与所述第一目标视频帧图像的第一深度图像得到所述第一目标视频帧图像中所述帧间运动区域的深度图像；将所述第一目标视频帧图像的前...

【专利技术属性】
技术研发人员：李亮，王文斓，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：