双焦距视频的拍摄、处理和显示方法技术

本发明专利技术公开的双焦距视频拍摄、处理、显示方法，运用了单目运动视差、双镜头协同防抖、非对称清晰度3D以及图像模糊弱化技术，增加了2D视频立体感、沉浸感，改善了非对称清晰度3D视频质量劣化问题。本发明专利技术公开的智能手机大视差镜头组，解决了手机多镜头模组之间视差过小的问题，可以手持移动便捷拍摄双焦距视频、3D视频、3D照片，方便手机进行分享、传播。与现有的照片和视频媒介相比，双焦距视频具有沉浸显示、立体生动的优势；与VR全景、常规3D视频相比，除了具备交代环境和记录细节的双重刻画优点，更大的优势在于双焦距视频的拍摄更加简单，节目来源近乎无限，对于5G网络环境下的应用场景及生态天然具有完备性，实施推广难度小。小。小。

【技术实现步骤摘要】
双焦距视频的拍摄、处理和显示方法

：
[0001]本专利技术涉及一种改进的双焦距视频的拍摄、处理和显示方法。

技术介绍
：
[0002]视频节目常采用多机位摄录、切换、剪辑，观看节目内容的主动选择权不在观众手中，播放什么样的画面观众只能被动接受。另外，具有立体感、同时涵盖整体环境和主体细节的视频拍摄更是困难，往往在专业的制作中经过精心的准备才能实现。采用双机的3D视频拍摄需要有更好的稳定措施，一般采用云台支撑定点拍摄，轨道、摇臂移动拍摄，三轴稳定仪移动拍摄的方法，在专业的应用中这是没有问题的。这个人日常的3D拍摄中，受限于精力和成本，经常采用三脚架支撑云台定点拍摄解决稳定性问题，这样的视频往往缺少运动视差，不利于我们后面要应用的单目立体显示。另外，在2D视频移动拍摄中采用的稳定性措施中在双焦距视频或3D视频拍摄中往往是无效的，因为2D视频的防抖措施都是针对一个镜头优化的。对于双焦距视频来说，无论采用三轴稳定、光学防抖、电子防抖技术以及后期编辑软件Pr处理，因两个记录设备焦距不同、果冻效应程度不同、算法不同，其防抖之间缺乏协同性，导致左右视图内容产生较大的位置偏离，组合成3D图像时产生眩晕症状。
[0003]本专利技术是专利申请202010044619.8的后续专利技术，在其基础上简化、改进，进一步提升立体感、沉浸感，改善显示效果，使智能手机作为双焦距视频的拍摄工具，更适合个人消费者应用。

技术实现思路
：
[0004]本专利技术公开了一种双焦距视频的拍摄、处理和显示方法。两个不同等效焦距镜头拍摄的视频，通过时间戳将同一时刻记录的帧图像上下或左右拼接成新的帧图像，重新链接形成双焦距视频。其中较短焦距镜头A拍摄整体场景，较长焦距镜头B拍摄主体细节，A镜头和B镜头之间有大于50mm的水平视差，分别记录左眼视图和右眼视图，两者之间没有垂直视差。B镜头的视野范围包含在A镜头的视野之中，两者重叠的部分通过插值缩放可以组成3D图像对。在一段双焦距视频中，既可以A为左眼视图，B为右眼视图，也可以B为左眼视图，A为右眼视图，还可以A、B混合组成单眼视图，好处在于不同时刻3D视频的低分辨率图像在左右眼中均有分布，有利于缓解双目显示非对称清晰度3D视频时产生的视疲劳。A、B等效焦距并不特指某个值，一般A为广角镜头，B为中长焦镜头，或者B是包含中长焦段的变焦镜头，或者B是包含中长焦镜头在内的定焦镜头组，如超广镜头(4)、主摄标广镜头(5)、中长焦镜头(6)组成的手机多镜头模组(3)。
[0005]在合适的水平视差位置上，等效焦距A的广角镜头与等效焦距B的中长焦镜头同时拍摄两个视频，镜头A(1)拍摄整体场景(8)，镜头B(2)拍摄主体特写(9)，如图1所示。视频A和视频B具有共同的时间戳，组成双焦距视频，双焦距视频将同一时刻的2幅帧图像上下或左右拼合在一起，按时序组合成新的双焦距视频帧存储，如图2所示。同样，两个视频文件A和B作为一组双焦距视频独立存储也是可行的，它们之间由共同的时间戳链接在一起。视频
A、视频B都属于2D视频，只要视频内容中存在运动视差，就可以通过封闭性单目视觉显示形成立体感觉。通过视频A帧图像(14)截取视频A裁切图像(16)，将视频A裁切放大图像(17)与同时刻的视频B帧图像(15)组成非对称清晰度的双目3D视频，如图3所示。一般来说组成3D视频的左右视图分辨率是相同的，但是，当两者清晰度不同，甚至其中一个图像的分辨率不到另一个的1/2，仍能实现3D显示，清晰度由分辨率高的图像决定，这一特性被本专利技术称为3D视频的非对称清晰度，利用非对称清晰度3D技术将不同焦距的镜头组合在一起，使手机拍摄双焦距视频和3D视频成为可能。为了解释双焦距视频、非对称清晰度3D、运动视差、单目立体的由来，本段引用了专利申请202010044619.8的描述。
[0006]本专利技术中拍摄双焦距视频的便携式设备，是指两台定焦或变焦镜头相机的组合，也可以是能同时录制两个视频、具有不同焦距的多镜头智能手机。行进、平移、围绕等移动拍摄可以增加视频的运动视差，运动视差在双焦距视频中是十分重要的，可以显著增强单目立体显示的立体感和沉浸感。可自由移动拍摄、应用最广泛的摄录器材是多镜头智能手机，本专利技术的目的之二是公开一种可拍摄双焦距视频的智能手机大视差镜头组。
[0007]双焦距视频的防抖是难点，果冻效应、电子或光学防抖对长、短焦距视频的影响是不相同的，各自输出的稳定性视频在裁切组合成3D视频的时候，因防抖平滑方向不一致导致3D左右视图融合失调产生眩晕感，因此，对于无附件手持移动拍摄来说，首先需要解决双焦距视频的协同稳定性问题。本专利技术公开的双焦距视频稳定性方法为：先稳定处理较长焦距的视频B，再用较短焦距视频A帧图像通过放大、平移、旋转等处理后，去图像识别、匹配视频B对应帧，将视频A帧图像进行重定位及等大裁切，与视频B组合成非对称清晰度3D视频；经过了放大、平移及旋转、图像匹配处理后的视频A具备了稳定性，进行最小裁切并缩图处理，形成稳定视频A。
[0008]双焦距视频的协同防抖对于3D视频来说是必要的，但对于视频A、视频B单目立体显示来说不是必要条件。具体来说，对于拍摄时视频防抖功能均关闭的双焦距视频，按上述的稳定性方法来处理；对于拍摄时视频防抖功能均打开的双焦距视频，上述的稳定性方法可以简化，仅需要完成视频A和视频B帧图像匹配、等大裁切、组合成3D视频等步骤；对于拍摄时仅打开视频A防抖功能的双焦距视频，可以省略视频A最小裁切获得稳定性视频A的过程；对于拍摄时仅打开视频B防抖功能的双焦距视频，可以省略第一步视频B的稳定化过程。对于多镜头智能手机来说，因同时录制双焦距视频的两个摄像头在关闭所有防抖功能后，属于刚性链接，可以利用手机陀螺仪数据稳定视频A和视频B，再将视频A帧图像通过放大、平移、旋转等处理后，去匹配视频B对应帧图像，对视频A进行等大裁切，与视频B组合成非对称清晰度3D视频。
[0009]在双焦距视频组成的非对称清晰度3D视频中，低分辨率图像A放大倍率较大时，会出现3D显示劣质化问题。具体表现在2倍放大倍率之内，3D视频具有较好的视觉清晰度和舒适度；在更大倍率的3D视频中，视频A因插值放大添加大量错误的高反差细节和轮廓，与视频B在3D融合的视野争斗中处于有利地位，导致3D显示劣化严重，显示清晰度倾向于低分辨率图像。本专利技术公开了提高非对称清晰度3D视频显示质量的方法：模糊处理视频A裁切放大帧图像(17)，使其在双目视野争斗中处于弱势，仅起到强化立体感的作用，使3D显示清晰度倾向于高分辨率视频B，如图4所示。模糊处理可以采用多种算法，镜头散焦、高斯模糊是更佳的模糊算法。另外，结合视频B利用AI技术提高视频A的分辨率，避免视频A补充的细节出
现不匹配的情况，也是改善3D视频清晰度可行的方法。
[0010]本专利技术所述的双目视野争斗，对用户选择双焦距视频的显示模式有明显的影响。常规对称式双目3D两眼视觉均衡，双目2D两眼视觉均衡，单目立体睁开的一只眼获胜，非对称清晰度3D视频高分辨率图像占据优势。闭眼、黑暗、模糊属于弱势，明亮、清晰、高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双焦距视频拍摄、处理和显示方法，两个不同等效焦距镜头拍摄的视频，通过共同的时间戳将同一时刻记录的帧图像，上下或左右拼接成新的帧图像，重新链接形成双焦距视频，其中较短焦距镜头A拍摄整体场景，较长焦距镜头B拍摄主体细节，其特征在于，A镜头和B镜头之间具有大于50mm的水平视差，分别记录左眼视图和右眼视图，两者之间没有垂直视差，B镜头的视野范围包含在A镜头的视野之中，两者重叠的部分通过插值放大视频A裁切帧图像可以组成非对称清晰度3D图像；在一段双焦距视频中，既可以A为左眼视图、B为右眼视图，也可以B为左眼视图、A为右眼视图，还可以A、B混合组成单眼视图，使不同时刻3D视频的低分辨率图像在左右眼中均有分布，有利于缓解双目显示非对称清晰度3D视频时产生的视疲劳。2.如权利要求1所述的方法，其特征还在于，双焦距视频拍摄之后稳定性处理的步骤包括，先稳定处理较长焦距的视频B，再将较短焦距视频A帧图像按比例放大后与视频B对应帧图像识别匹配，将视频A帧图像进行平移、旋转等重定位处理以及等大裁切，与视频B组合成非对称清晰度3D视频；经过了放大、平移及旋转等重定位处理的视频A具备了稳定性，进行最小裁切并缩图成稳定视频A。3.如权利要求2所述的方法，其特征还在于，模糊处理视频A裁切放大帧图像(17)，使其在双目视野争斗中处于弱势，仅起到强化立体感的作用，使3D显示清晰度倾向于高分辨率视频B，模糊处理具有多种算法，优先采用镜头散焦、高斯模糊处理。4.如权利要求1或3所述的方法，其特征还在于，双焦距视频的视频A和视频B通过数字变焦技术融合可组成2D变焦视频，焦段范围包括广角到长焦，视频A和多焦距镜头组合拍摄的视频B可组成3D变焦视频，焦段范围从广角到中长焦；双焦距视频应用单目双目可切换VR显示可提供如下视觉体验：(1)双目显示非对称清晰度3D视频，立体感最强，优于单目立体，特别是运动视差较少的准静态视频，立体感的优势更加明显，主观上3D视频不能感受到“极近”的体验，往往是放大、推远的感觉；以及(2)单目立体显示2D视频，没有视觉辐辏调节冲突，立体感更合理更有亲和感，特别是运动视差显著的动态视频，立体感非常强烈，对于视频特写镜头还可获得“触目可及”的极近感觉，让人失去距离感体验到无限“近”和真实，没有“被放大”和压缩感，单目立体的观看舒适度不如常规对称性双目3D和双目2D显示，单目双目可切换VR眼镜提供左右眼交替切换功能来提高观看舒适度，以及(3)双目显示...

【专利技术属性】
技术研发人员：邓云天，
申请(专利权)人：邓云天，
类型：发明
国别省市：