基于光场相机的实时视频流融合处理方法与系统技术方案

本发明专利技术提出基于光场相机的实时视频流融合处理方法与系统，属于视频监测与融合技术领域。方法包括如下步骤：S1：在第一角度下通过光场相机获取目标区域的第一视频图像信息；S2：在第二角度下通过光场相机获取目标区域的第二点云信息和第二视频图像信息；S3：根据第一视频图像信息对第二点云信息包含的目标对象进行体素化；S4：根据体素化的结果，融合第一视频图像信息和第二视频图像信息。系统包括视频采集子系统、点云生成子系统、体素化子系统以及视频融合子系统。本发明专利技术能够实现基于光场相机的实时视频流融合处理。机的实时视频流融合处理。机的实时视频流融合处理。

【技术实现步骤摘要】
基于光场相机的实时视频流融合处理方法与系统


[0001]本专利技术属于视频监测与融合
，尤其涉及一种基于光场相机的实时视频流融合处理方法与系统、实现所述方法的计算机终端设备以及存储介质。

技术介绍

[0002]世界是三维的，但是传统照相机只能记录它某个二维平面上的信息。为了能够同时记录下光线的位置信息和方向信息，提出了光场成像技术。光场成像技术是对获得的光场数据(光场信息)进行计算处理，恢复三维世界的视觉信息，弥补了传统成像的不足。
[0003]光场成像把传统的成像过程划分为两个子过程，第一个过程是利用光场成像设备对光场信息进行采集，第二个过程是对采集到的光场信息进行处理，根据不同需求获得不同的图像效果。光场成像设备的一个典型例子就是光场相机。光场相机可记录成像空间中的光场信息,再对光场进行计算处理,能够实现数字对焦、景深延拓甚至像差校正等功能,与传统成像方式相比有很大优势。
[0004]随着技术的发展，由光场相机也可以实现视频的拍摄，获得具有多维光场信息的光场视频监控图像。例如，申请号为CN201310331566的中国专利技术专利申请提出一种基于光场视频摄像机的内窥方法，包括：将工业和医学等内窥设备的核心部件替换为光场视频摄像机，利用光场视频摄像机先拍摄后对焦功能完成内窥。后期可以对视频进行重新视角的对焦观察，从内窥视频中高清还原并场景的每一个角落，让用户能任意视角的观察。
[0005]然而，专利技术人在实际应用中发现，虽然光场信息提供了很多视图，可以在很多方面得以应用，例如重聚焦，深度估计等这些需要更多光的维度信息的应用方面，但为了获取来自不同视角的光线，有时需要牺牲图像的分辨率来提升角度分辨率(获取不同角度光线的能力)，因此影响视频(图片)融合效果，尤其是不同角度下的视频或者图片的融合效果。

技术实现思路

[0006]为解决上述技术问题，本专利技术提出一种基于光场相机的实时视频流融合处理方法与系统、实现所述方法的计算机终端设备以及存储介质。
[0007]在本专利技术的第一个方面，提出一种基于光场相机的实时视频流融合处理方法，所述针对光场相机阵列对于目标区域监测产生的多角度实时视频流进行融合处理，所述方法包括如下步骤：
[0008]S1：在第一角度下通过光场相机获取目标区域的第一视频图像信息；
[0009]S2：在第二角度下通过光场相机获取所述目标区域的第二点云信息和第二视频图像信息；
[0010]S3：根据所述第一视频图像信息对所述第二点云信息包含的目标对象进行体素化；
[0011]S4：根据所述体素化的结果，融合所述第一视频图像信息和所述第二视频图像信息；
[0012]其中，所述目标对象位于所述目标区域，所述第二角度由所述第一角度直接变化得到。
[0013]这里的直接变化，是指由第一角度连续变化为第二角度。在拍摄角度存在多个的情况下，先以第一角度进行视频监测，再以第二角度进行视频监测，然后以第三角度进行视频监测，此时，称“所述第二角度由所述第一角度直接变化得到”，也可以称“所述第三角度由所述第二角度直接变化得到”。
[0014]作为进一步的改进，在第二角度下通过光场相机获取所述目标区域的第二点云信息和第二视频图像信息，具体包括：
[0015]在第二角度下通过光场相机获取所述目标区域的第二视频图像信息；
[0016]识别所述第二视频图像信息中包含所述目标对象的多个第二关键帧图像；
[0017]基于所述多个第二关键帧图像对应的深度图信息，生成所述第二点云信息。
[0018]作为进一步的改进，根据所述第一视频图像信息对所述第二点云信息包含的目标对象进行体素化。
[0019]进一步的，作为本专利技术的优点之一，所述体素化包括基于所述光场相机成像时的空间角度信息，确定多个体素化视角；
[0020]分别在所述多个体素化视角下对所述第二点云信息包含的目标对象进行体素化。
[0021]作为上述改进的具体实现方式，所述多个体素化视角包括以下任意一项及其组合：与笛卡尔坐标系的坐标轴平行的视角、柱坐标系的视角、球坐标系的视角。
[0022]在上述方法技术方案中，本专利技术充分利用光场信息提供的多种图像信息，包括平面图像信息和点云图像信息，在多角度视频融合过程中执行多视角体素化，然后执行边缘体素增强，使得融合后的视频效果更佳，更能突出体现目标区域的目标人物；同时，上述融合过程中考虑到了云信息对应的深度特征信息与广度特征信息，能够在视频深度和广度上得到增强。
[0023]在本专利技术的第二个方面，提供一种基于光场相机的实时视频流融合处理系统，所述系统包括视频采集子系统、点云生成子系统、体素化子系统以及视频融合子系统，可用于实现第一个方面所述的实时视频流融合处理方法。
[0024]具体的，各个子系统的具体功能实现如下：
[0025]所述视频采集子系统用于通过所述光场相机采集不同角度下的视频图像信息；
[0026]所述点云生成子系统基于所述视频图像信息，生成对所述不同角度下的视频图像信息对应的点云信息；
[0027]所述体素化子系统对所述点云信息包含的目标对象进行体素化；
[0028]所述视频融合子系统基于所述体素化子系统输出的体素化结果，对所述不同角度下的视频图像信息进行融合；
[0029]其中，所述不同角度包括第一角度和第二角度，所述光场相机分别在所述第一角度和第二角度下拍摄目标区域获得所述视频图像信息，所述目标对象位于所述目标区域。
[0030]更具体的，所述点云生成子系统基于所述视频图像信息，生成对所述不同角度下的视频图像信息对应的点云信息，具体包括：
[0031]所述点云生成子系统识别所述视频图像信息中包含所述目标对象的多个关键帧图像；基于所述多个关键帧图像对应的深度图信息，生成视频图像信息对应的点云信息。
[0032]所述体素化子系统对所述点云信息包含的目标对象进行体素化，具体包括：
[0033]分别在多个体素化视角下对所述点云信息包含的目标对象进行体素化；
[0034]所述多个体素化视角基于所述视频图像信息中包含所述目标对象的多个关键帧图像的空间角度信息确定。
[0035]所述多个体素化视角包括以下任意一项及其组合：与笛卡尔坐标系的坐标轴平行的视角、柱坐标系的视角、球坐标系的视角；
[0036]所述分别在所述多个体素化视角下对点云信息包含的目标对象进行体素化，具体包括：
[0037]所述多个体素化视角包括第一体素化视角和第二体素化视角；
[0038]基于所述点云信息对应的深度特征信息，在所述第一体素化视角下对所述目标对象进行体素化，以得到多个第一体素；
[0039]基于所述点云信息对应的广度特征信息，在所述第二体素化视角下对所述目标对象进行体素化，以得到多个第二体素；
[0040]确定所述多个第一体素与所述多个第二体素的边缘体素。
[0041]所述视频融合子系统基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光场相机的实时视频流融合处理方法，其特征在于，所述方法包括如下步骤：S1：在第一角度下通过光场相机获取目标区域的第一视频图像信息；S2：在第二角度下通过光场相机获取所述目标区域的第二点云信息和第二视频图像信息；S3：根据所述第一视频图像信息对所述第二点云信息包含的目标对象进行体素化；S4：根据所述体素化的结果，融合所述第一视频图像信息和所述第二视频图像信息；其中，所述目标对象位于所述目标区域，所述第二角度由所述第一角度直接变化得到。2.如权利要求1所述的一种基于光场相机的实时视频流融合处理方法，其特征在于:所述步骤S2具体包括：在第二角度下通过光场相机获取所述目标区域的第二视频图像信息；识别所述第二视频图像信息中包含所述目标对象的多个第二关键帧图像；基于所述多个第二关键帧图像对应的深度图信息，生成所述第二点云信息。3.如权利要求1所述的一种基于光场相机的实时视频流融合处理方法，其特征在于:所述步骤S3具体包括：识别所述第一视频图像信息中包含所述目标对象的多个第一关键帧图像；获取所述光场相机生成所述多个第一关键帧图像时对应的光线的空间角度信息；基于所述空间角度信息，确定多个体素化视角；分别在所述多个体素化视角下对所述第二点云信息包含的目标对象进行体素化。4.如权利要求3所述的一种基于光场相机的实时视频流融合处理方法，其特征在于:所述分别在所述多个体素化视角下对所述第二点云信息包含的目标对象进行体素化，具体包括：所述多个体素化视角包括第一体素化视角和第二体素化视角；基于所述第二点云信息对应的深度特征信息，在所述第一体素化视角下对所述目标对象进行体素化，以得到多个第一体素；基于所述第二点云信息对应的广度特征信息，在所述第二体素化视角下对所述目标对象进行体素化，以得到多个第二体素；确定所述多个第一体素与所述多个第二体素的边缘体素。5.如权利要求4所述的一种基于光场相机的实时视频流融合处理方法，其特征在于:所述步骤S4具体包括：基于所述边缘体素，确定所述第一视频图像信息和所述第二视频图像信息中需要进行融合的多个边缘帧；基于所述边缘体素，增强所述多个边缘帧后融合所述第一视频图像信息和所述第二视频图...

【专利技术属性】
技术研发人员：袁潮，温建伟，邓迪旻，
申请(专利权)人：北京拙河科技有限公司，
类型：发明
国别省市：