双摄像头视频融合的方法和电子设备技术

一种双摄像头视频融合的方法和电子设备，可以实现在视频录制过程中融合不同摄像头的优势，提高视频的质量。包括：获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像；将第一图像和第二图像进行处理，以得到处理后的第一图像和处理后的第二图像；将处理后的第一图像和处理后的第二图像融合，以得到第一时刻的第一融合图像；获取第一摄像头在第三时刻拍摄的第三图像；将第三图像进行处理，以得到处理后的第三图像；获取第一时刻和第三时刻之间的单应矩阵；根据第一融合图像和单应矩阵获取第四图像；将处理后的第三图像和第四图像融合，以得到第三时刻的第二融合图像。二融合图像。二融合图像。

【技术实现步骤摘要】
双摄像头视频融合的方法和电子设备


[0001]本申请涉及计算机视觉领域，并且更具体地，涉及一种双摄像头视频融合的方法和电子设备。

技术介绍

[0002]随着用户对移动设备成像功能需求的提高，现在的智能手机往往具有多个摄像头，包括广角、长焦、主摄等镜头，其分别在动态范围、颜色和清晰度等不同的方面存在不同的优势，通常不同的摄像头在工作时按照用户设置的不同焦段分别单独启用。多摄融合技术在近年的学术研究中已有涉及，通常需要较为复杂的算法来实现不同摄像头获取的两帧图像的融合，而受制于手机本身的算力，相关的算法仅能应用于拍摄图像的场景，无法应用于视频录制，目前的双景录像功能也仅涉及两个摄像头的画面拼接，不涉及效果融合的功能。因此，如何在视频录制的过程中融合不同摄像头的优势具有重要意义。

技术实现思路

[0003]本申请提供一种双摄像头视频融合的方法和电子设备，可以实现在视频录制过程中融合不同摄像头的优势，提高视频的质量。
[0004]第一方面，提供了一种双摄像头视频融合的方法，包括：获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像；将第一图像和第二图像进行处理，以得到处理后的第一图像和处理后的第二图像；将处理后的第一图像和处理后的第二图像融合，以得到第一时刻的第一融合图像；获取第一摄像头在第三时刻拍摄的第三图像；将第三图像进行处理，以得到处理后的第三图像；获取第一时刻和第三时刻之间的单应矩阵；根据第一融合图像和单应矩阵获取第四图像；将处理后的第三图像和第四图像融合，以得到第三时刻的第二融合图像。
[0005]本申请的双摄像头视频融合的方法，可以对视频拍摄过程中的每一帧图像进行处理，从而获取融合了第一摄像头和第二摄像头优势的视频，提高视频拍摄的质量。
[0006]结合第一方面，在一种可能的实现方式中，第一时刻与第二时刻相同。
[0007]第一摄像头和第二摄像头在获取图像时可以同时拍摄，也可以在一段预设时间内先后拍摄，可以根据具体情况灵活设定。
[0008]结合第一方面，在一种可能的实现方式中，将第一图像和第二图像进行处理是将第一图像和第二图像经过图像信号处理器进行处理，将第三图像进行处理是将第三图像经过图像信号处理器进行处理。
[0009]结合第一方面，在一种可能的实现方式中，将第一图像和第二图像进行处理，和将第三图像进行处理，包括：第一图像和第二图像为RAW格式；根据图像信号处理器将第一图像和第二图像由RAW格式转换为RGB格式，和第三图像为RAW格式；根据图像信号处理器将第三图像由RAW格式转换为RGB格式。
[0010]本申请的双摄像头视频融合的方法，只需将获取的真实图像经过图像信号处理器
处理，而生成的图像无需经过图像信号处理器处理，极大减小了图像信号处理器处理图像对设备性能的要求和内存的消耗。
[0011]结合第一方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合之前，方法还包括：将处理后的第一图像和处理后的第二图像进行图像配准。
[0012]结合第一方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：将处理后的第一图像和处理后的第二图像中的对齐区域融合。
[0013]结合第一方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：根据局部配准方法将处理后的第一图像和处理后的第二图像中的非对齐区域对齐；将处理后的第一图像和处理后的第二图像中的对齐区域融合。
[0014]本申请的双摄像头视频融合的方法，只需对获取的真实图像进行图像配准，而生成的第四图像与第一摄像头获取的真实图像是对齐的，因此第四图像和第三图像融合前无需再进行图像配准，减少了图像处理的时间，实现了视频拍摄过程中图像处理的实时性。
[0015]结合第一方面，在一种可能的实现方式中，获取第一时刻和第三时刻之间的单应矩阵，包括：获取第一时刻的惯性测量单元的第一数据；获取第三时刻的惯性测量单元的第二数据；根据第一数据和第二数据得到单应矩阵。
[0016]结合第一方面，在一种可能的实现方式中，第一摄像头和第二摄像头的清晰度或动态范围或颜色不同。
[0017]第一摄像头和第二摄像头在清晰度、动态范围或颜色方面各有优势，本申请的双摄像头视频融合的方法可以实现将第一摄像头和第二摄像头的优势融合，从而获取清晰度、动态范围或颜色更好的视频。
[0018]结合第一方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：使用图像融合算法或图像融合神经网络将处理后的第一图像和处理后的第二图像融合，图像融合神经网络为预先训练好的神经网络。
[0019]第二方面，提供了一种电子设备，包括：一个或多个处理器；存储器，存储器中包括指令；当指令被一个或多个处理器执行时，使得电子设备执行以下步骤：获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像；将第一图像和第二图像进行处理，以得到处理后的第一图像和处理后的第二图像；将处理后的第一图像和处理后的第二图像融合，以得到第一时刻的第一融合图像；获取第一摄像头在第三时刻拍摄的第三图像；将第三图像进行处理，以得到处理后的第三图像；获取第一时刻和第三时刻之间的单应矩阵；根据第一融合图像和单应矩阵获取第四图像；将处理后的第三图像和第四图像融合，以得到第三时刻的第二融合图像。
[0020]结合第二方面，在一种可能的实现方式中，第一时刻与第二时刻相同。
[0021]结合第二方面，在一种可能的实现方式中，将第一图像和第二图像进行处理是将第一图像和第二图像经过图像信号处理器进行处理，将第三图像进行处理是将第三图像经过图像信号处理器进行处理。
[0022]结合第二方面，在一种可能的实现方式中，处理单元将第一图像和第二图像进行处理，和将第三图像进行处理，包括：第一图像和第二图像为RAW格式；根据图像信号处理器将第一图像和第二图像由RAW格式转换为RGB格式，和第三图像为RAW格式；根据图像信号处理器将第三图像由RAW格式转换为RGB格式。
[0023]结合第二方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合之前，电子设备还用于：将处理后的第一图像和处理后的第二图像进行图像配准。
[0024]结合第二方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：将处理后的第一图像和处理后的第二图像中的对齐区域融合。
[0025]结合第二方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：根据局部配准方法将处理后的第一图像和处理后的第二图像中的非对齐区域对齐；将处理后的第一图像和处理后的第二图像中的对齐区域融合。
[0026]结合第二方面，在一种可能的实现方式中，获取第一时刻和第三时刻之间的单应矩阵，包括：获取第一时刻的惯性测量单元的第一数据；获取第三时刻的惯性测量单元的第二数据；根据第一数据和第二数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双摄像头视频融合的方法，其特征在于，包括：获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像；将所述第一图像和所述第二图像进行处理，以得到处理后的第一图像和处理后的第二图像；将所述处理后的第一图像和所述处理后的第二图像融合，以得到所述第一时刻的第一融合图像；获取所述第一摄像头在第三时刻拍摄的第三图像；将所述第三图像进行处理，以得到处理后的第三图像；获取所述第一时刻和所述第三时刻之间的单应矩阵；根据所述第一融合图像和所述单应矩阵获取第四图像；将所述处理后的第三图像和所述第四图像融合，以得到所述第三时刻的第二融合图像。2.根据权利要求1所述的方法，其特征在于，所述第一时刻与所述第二时刻相同。3.根据权利要求1或2所述的方法，其特征在于，所述将所述第一图像和所述第二图像进行处理是将所述第一图像和所述第二图像经过图像信号处理器进行处理，所述将所述第三图像进行处理是将所述第三图像经过图像信号处理器进行处理。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述将所述第一图像和所述第二图像进行处理，和所述将所述第三图像进行处理，包括：所述第一图像和所述第二图像为RAW格式；根据图像信号处理器将所述第一图像和所述第二图像由RAW格式转换为RGB格式；所述第三图像为RAW格式；根据图像信号处理器将所述第三图像由RAW格式转换为RGB格式。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合之前，所述方法还包括：将所述处理后的第一图像和所述处理后的第二图像进行图像配准。6.根据权利要求5所述的方法，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合，包括：将所述处理后的第一图像和所述处理后的第二图像中的对齐区域融合。7.根据权利要求5所述的方法，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合，包括：根据局部配准方法将所述处理后的第一图像和所述处理后的第二图像中的非对齐区域对齐；将所述处理后的第一图像和所述处理后的第二图像中的对齐区域融合。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述获取所述第一时刻和所述第三时刻之间的单应矩阵，包括：获取所述第一时刻的惯性测量单元的第一数据；获取所述第三时刻的惯性测量单元的第二数据；根据所述第一数据和所述第二数据得到所述单应矩阵。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述第一摄像头和所述第二摄像头的清晰度或动态范围或颜色不同。10.根据权利要求1至9中任一项所述的方法，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合，包括：使用图像融合算法或图像融合神经网络将所述处理后的第一图像和所述处理后的第二图像融合，所述图像融合神经网络为预先训练好的神经网络。11.一种电子设备，其特征在于，包括：一个或多个处理器；存储器，所述存储器中包括指令；当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行以下步骤：获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像；将所述第一图像和所述第二图像进行处...

【专利技术属性】
技术研发人员：张运超，吕飞帆，杨发盛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：