多镜头视频录制方法及相关设备技术

本申请涉及图像处理领域，具体涉及一种多镜头视频录制方法及相关设备，方法包括：通过多摄像头的协同拍摄，并基于拍摄得到的图像中主体对象的信息及摄像头的运动信息确定目标运镜方式，然后基于目标运镜方式对多摄像头拍摄得到的图像进行融合，实现对多路视频流图像进行在线运镜融合。进行在线运镜融合。进行在线运镜融合。

【技术实现步骤摘要】
多镜头视频录制方法及相关设备


[0001]本申请涉及视频录制领域，尤其涉及一种多镜头视频录制方法及相关设备。

技术介绍

[0002]用视频记录生活、交流体验、展示才艺、卖货带货是当下非常典型的社交方式，视频形式上包括但不限于短视频、微视频、微电影、vlog、网页中内嵌视频、GIF图等。为了创作成像质量好、主题突出、背景干净、运镜和谐的高质量视频，首先需要搭配价格昂贵的单发/微单/手持稳定器/收音麦克风等专业设备，其次需要在拍摄前期写好脚本、理清故事线，此外需要在拍摄过程中利用专业的手法提升内容表现力，最后还需要在拍摄后期进行繁杂的剪辑工作，可见人力、物力、财力、时间消耗巨大。近些年来，手机在画质、防抖、对焦等基础成像质量上得到了飞跃式提升，通过手机创作视频并进行分享成为新趋势。比较流行的手机视频制作软件如大片/一闪/猫饼等属于后期离线编辑方式，主要是通过模板化手段对预先采集的视频源实现滤镜/转场/配乐等功能。
[0003]另一方面，随着手机芯片和摄像头软硬件能力的提升，利用多摄提高视频基础质量成为各大手机厂商发布会上必不可少的亮点。iPhone 11Pro的Filmic pro应用支持广角/超广角/长焦/前置镜头同时录制，并以多窗口形式预览，存储多路视频流。Huawei P30 Pro/Mate30 Pro等机型具有Dual View录像功能，支持广角/长焦同时录制，并以两宫格形式预览和存储视频。可见，无论是现有的手机视频制作软件，还是现有主流多摄同时录像，均不能满足用户利用手机在线就能创作运镜和谐的高质量视频的广泛需求。

技术实现思路

[0004]本申请实施例提供了一种多镜头视频录制方法及相关设备，通过第一摄像头采集的多张第一图像的主体对象信息和第一摄像头的运动信息确定目标运镜方式，再基于目标运镜方式对多张第一图像和第二摄像头采集的多张第二图像进行融合，得到目标视频，采用本申请不再是对各路视频流的图像帧经过简单转场或排序的输出，而是综合主体信息及运动信息对各路视频图像帧进行编辑，修改，融合之后输出具有主体突出、背景干净、平滑过渡特点的视频，能够帮助用户利用手机在线创作成像质量好、运镜和谐的高质量视频供后续分享。
[0005]第一方面，本申请实施例提供一种多镜头视频录制方法，包括：
[0006]获取多张第一图像和多张第二图像，多张第一图像和多张第二图像分别为第一摄像头和第二摄像头针对同一拍摄对象拍摄得到的，第一摄像头的参数与第二摄像头的参数不相同；并获取第一摄像头在拍摄得到多张第一图像过程中的运动信息；获取多张第一图像中的每张第一图像中的主体对象信息；根据第一摄像头的运动信息及多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式；根据目标运镜方式对多张第一图像和所述多张第二图像进行融合，得到目标视频，目标视频的运镜效果与采用目标运镜方式获取的视频的运镜效果相同。
[0007]其中，第一摄像头的参数与第二摄像头的参数不相同，具体包括：
[0008]第一摄像头的视场角(field of view,FOV)大于第二摄像头的FOV，或者；第一摄像头的焦距小于第二摄像头的焦距。
[0009]可选地，第一摄像头可以为广角摄像头或主摄像头，第二摄像头可以为主摄像头或长焦摄像头。
[0010]通过多摄像头的协同拍摄，并基于拍摄得到的图像中主体对象的信息及摄像头的运动信息确定目标运镜方式，然后基于目标运镜方式对多摄像头拍摄得到的图像进行融合，实现对多路视频流图像进行在线运镜融合，并且并不是对各路视频流的图像帧经过简单转场或排序。
[0011]结合第一方面及上述任一种可能的实现方式，根据第一摄像头的运动信息及多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式，包括：
[0012]根据第一摄像头的运动信息判断在拍摄得到多张第一图像过程中，第一摄像头是否发生位移；当判断第一摄像头未发生位移时，根据多张第一图像中每张第一图像的主体对象信息确定目标运镜方式；当判断第一摄像头发生位移时，根据第一摄像头的运动方式和多张第一图像中每张第一图像的主体对象信息确定目标运镜方式。
[0013]基于确定第一摄像头在拍摄得到多张第一图像过程中是否运动，来选择合适的运镜方式，从而实现为后续得到运镜和谐的高质量视频提供依据。
[0014]结合第一方面及上述任一种可能的实现方式，根据多张第一图像中每张第一图像的主体对象信息确定目标运镜方式，包括：
[0015]当多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中每张第一图像中包含主体对象，且多张第一图像中每张第一图像的第一比例均小于第一预设比例时，将目标运镜方式确定为推镜头；其中，每张第一图像的第一比例为该第一图像中主体对象所在的感兴趣区域(region of interest,ROI)的面积与该第一图像的面积之比，或者；每张第一图像的第一比例为该第一图像中主体对象所在的ROI的宽与该第一图像的宽之比，或者每张第一图像的第一比例为该第一图像中主体对象所在的ROI的高与该第一图像的高之比；当多张第一图像中每张第一图像的主体对象信息用于指示每张第一图像中默认ROI区域内未包含主体对象，且每张第一图像中默认ROI内的图像为该第一图像的部分时，将目标运镜方式确定为拉镜头。
[0016]可选地，默认ROI可以为第一图像中的中心区域，或者其他区域。
[0017]在确定第一摄像头在静止的，根据第一摄像头采集的第一图像的主体对象的信息进一步确定目标运镜方式，进而为后续得到主体突出、运镜和谐的高质量视频提供依据。
[0018]结合第一方面及上述任一种可能的实现方式，根据第一摄像头的运动方式和多张第一图像中每张第一图像的主体对象信息确定目标运镜方式，包括：
[0019]当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头往同一方向运动，且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时，将目标运镜方式确定为移镜头；第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头在两个相反的方向上往复运动，且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时，将目标运镜方式确定为摇镜头；当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头
发生运动，且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象未发生变化时，将目标运镜方式确定为跟镜头。
[0020]在确定第一摄像头在运动的，根据第一摄像头采集的第一图像的主体对象的信息和第一摄像头的运动方式进一步确定目标运镜方式，进而为后续得到运镜和谐的高质量视频提供依据。
[0021]结合第一方面及上述任一种可能的实现方式，当目标运镜方式为推镜头或拉镜头时，根据目标运镜方式对多张第一图像和多张第二图像进行融合，得到目标视频，包括：
[0022]获取多张第一图像中每张第一图像的预设区域，多张第一图像中每张第一图像的预设区域内均本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多镜头视频录制方法，其特征在于，包括：获取多张第一图像和多张第二图像，所述多张第一图像和所述多张第二图像分别为第一摄像头和第二摄像头针对同一拍摄对象拍摄得到的，所述第一摄像头的参数和所述第二摄像头的参数不相同；获取所述第一摄像头在拍摄得到所述多张第一图像过程中的运动信息；获取所述多张第一图像中的每张第一图像中的主体对象信息；根据所述第一摄像头的运动信息及所述多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式；根据所述目标运镜方式对所述多张第一图像和所述多张第二图像进行融合，得到所述目标视频。2.根据权利要求1所述的方法，其特征在于，所述第一摄像头的参数和所述第二摄像头的参数不相同，具体包括：所述第一摄像头的FOV大于所述第二摄像头的FOV，或者；所述第一摄像头的焦距小于所述第二摄像头的焦距。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一摄像头的运动信息及所述多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式，包括：根据所述第一摄像头的运动信息判断在获取所述多张第一图像过程中，所述第一摄像头是否发生位移；当判断所述第一摄像头未发生位移时，根据所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式；当判断所述第一摄像头发生位移时，根据所述第一摄像头的运动方式和所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式。4.根据权利要求3所述的方法，其特征在于，所述根据所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式，具体包括：当所述多张第一图像中每张第一图像的主体对象信息指示所述多张第一图像中每张第一图像中包含主体对象，且所述多张第一图像中每张第一图像的第一比例均小于第一预设比例时，将所述目标运镜方式确定为推镜头；其中，所述每张第一图像的第一比例为该第一图像中主体对象所在的感兴趣区域ROI的面积与该第一图像的面积之比，或者；所述每张第一图像的第一比例为该第一图像中主体对象所在的ROI的宽与该第一图像的宽之比，或者所述每张第一图像的第一比例为该第一图像中主体对象所在的ROI的高与该第一图像的高之比；当所述多张第一图像中每张第一图像的主体对象信息指示所述每张第一图像中默认ROI区域内未包含主体对象，且所述每张第一图像中所述默认ROI内的图像为该第一图像的部分时，将所述目标运镜方式确定为拉镜头。5.根据权利要求3所述的方法，其特征在于，所述根据所述第一摄像头的运动方式和所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式，具体包括：当所述第一摄像头的运动方式指示在获取所述多张第一图像过程中所述第一摄像头往同一方向运动，且所述多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时，将所述目标运镜方式确定为移镜头；
当所述第一摄像头的运动方式指示在拍摄得到所述多张第一图像过程中所述第一摄像头在两个相反的方向上往复运动，且所述多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时，将所述目标运镜方式确定为摇镜头；当所述第一摄像头的运动方式指示在获取所述多张第一图像过程中所述第一摄像头发生运动，且所述多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象未发生变化时，将所述目标运镜方式确定为跟镜头。6.根据权利要求4所述的方法，其特征在于，当所述目标运镜方式为所述推镜头或拉镜头时，所述根据所述目标运镜方式对所述多张第一图像和所述多张第二图像进行融合，得到所述目标视频，包括：获取所述多张第一图像中每张第一图像的预设区域，所述多张第一图像中每张第一图像的预设区域内均包括所述主体对象，且，当所述目标运镜方式为所述推镜头时，所述多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的；当所述目标运镜方式为所述拉镜头时，所述多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的；从所述多张第一图像和所述多张第二图像获取多个第一图像对，所述多个第一图像对中的每个第一图像对中均包括时间戳相同的第一图像和第二图像；从所述多个第一图像对中获取多张第一目标图像，所述多张第一目标图像与所述多个第一图像对一一对应；其中，所述多张第一目标图像中的每张第一目标图像为其对应的第一图像对中视角范围最小的，且包含所述第一图像的预设区域内的图像；从所述多张第一目标图像中的每张第一目标图像中裁剪出与该第一目标图像所属的第二图像对内的第一图像的预设区域内图像重叠的部分，以得到多张第三图像；对所述多张第三图像中的每张第三图像进行处理，以得到多张处理后的第三图像，所述多张处理后的第三图像中每张图像的分辨率均为预设分辨率，其中，所述目标视频包括所述多张处理后的第三图像。7.根据权利要求5所述的方法，其特征在于，当所述目标运镜方式为所述移镜头、所述摇镜头或者跟镜头时，所述根据所述目标运镜方式对所述多张第一图像和所述多张第二图像进行融合，得到所述目标视频，包括：对所述多张第一图像进行主体检测和提取，获取多张第一图像中每张第一图像的ROI，并对所述多张第一图像中每张第一图像的ROI进行裁剪，得到多张第四图像，其中，所述多张第四图像中的每张第四图像中均包括主体对象；所述多张第一图像和所述多张第四图像一一对应，所述多张第四图像中每张第四图像的时间戳与该第四图像对应的第一图像的时间戳相同；对所述多张第四图像中的每张第四图像进行处理，得到多张第五图像，所述多张第五图像中每张第五图像的分辨率为预设分辨率；所述多张第四图像和所述多张第五图像一一对应，所述多张第五图像中每张第五图像的时间戳与该第五图像对应的第四图像的时间戳相同从所述多张第二图像和所述多张第五图像中获取多个第二图像对，所述多个第二图像对中每个第二图像对包括时间戳相同的第五图像和第二图像；从所述多个第二图像对中获取多张第二目标图像，所述多张第二目标图像与所述多个图像对一一对应；其中，对于所述多个第二图像对中的每个第二图像对，当该第二图像对中
第五图像的内容与第二图像的内容重合时，该第二图像对所对应的第二目标图像为所述第二图像；当该第二图像对中第五图像的内容与第二图像的内容不重合时，该图像对所对应的第二目标图像为所述第五图像；其中，所述目标视频包括所述多张第二目标图像。8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：在显示界面上显示所述第一摄像头采集的图像、所述第二摄像头采集的图像和所述目标视频；其中，所述显示界面包括第一区域、第二区域和第三区域，所述第一区域显示所述第一摄像头采集的图像，所述第二区域用于显示所述第二摄像头采集的图像，所述第三区域用于显示所述目标视频。9.根据权利要求8所述的方法，其特征在于，所述第一区域包括第四区域，所述第四区域用于显示所述第一摄像头采集的图像中与所述第二摄像头采集的图像重叠的部分。10.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述目标运镜方式对所述多张第一图像和所述多张第二图像进行融合，得到所述目标视频，包括：根据所述目标运镜方式对所述多张第一图像、所述多张第二图像和多张第六图像进行融合，得到所述目标视频；其中，所述第六图像为第三摄像头针对所述拍摄对象拍摄得到的，所述第三摄像头的参数与所述第一摄像头的参数不相同，所述第三摄像头的参数和第二摄像头的参数不相同。11.根据权利要求10所述的方法，其特征在于，当所述目标运镜方式为所述推镜头或拉镜头时，所述根据所述目标运镜方式对所述多张第一图像、所述多张第二图像和多张第六图像进行融合，得到所述目标视频，包括：获取所述多张第一图像中每张图像的预设区域，所述多张第一图像的预设区域内均包括所述主体对象，且，当所述目标运镜方式为所述推镜头时，所述多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的；当所述目标运镜方式为所述拉镜头时，所述多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的；从所述多张第一图像、所述多张第二图像和所述多张第六图像获取多个第三图像对，所述多个第三图像对中的每个第三图像对中均包括时间戳相同的第一图像，第二图像和第六图像；从所述多个第三图像对中获取多张第三目标图像，所述多张第三目标图像与所述多个第三图像对一一对应；其中，所述多张第三目标图像中的每张第三目标图像为其对应的第三图像对中视角范围最小的，且包含所述第一图像的预设区域内的图像；从所述多张第三目标图像中的每张第三目标图像中裁剪出与该第三目标图像所属的第三图像对内的第一图像的预设区域内图像重叠的部分，以得到多张第七图像；对所述多张第七图像中的每张第七图像进行处理，以得到多张第八图像，所述多张第八图像中每张第八图像的分辨率均为预设分辨率，其中，所述目标视频包括所述多张第八图像。12.根据权利要求10所述的方法，其特征在于，当所述目标运镜方式为所述跟镜头、移镜头或者摇镜头时，所述根据所述目标运镜方式对所述多张第一图像、所述多张第二图像
和多张第六图像进行融合，得到所述目标视频，包括：对所述多张第一图像进行主体检测和提取，获取多张第一图像中每张第一图像的ROI；从所述多张第一图像、所述多张第二图像和所述多张第六图获取多个第四图像对，所述多个第四图像对中的每个第四图像对中均包括时间戳相同的第一图像，第二图像和第六图像；从所述多个第四图像对中获取多张第四目标图像，所述多张第四目标图像与所述多个第四图像对一一对应；其中，所述多张第四目标图像中的每张第四目标图像为其对应的第四图像对中视角范围最小的，且包含所述第一图像的ROI内的图像；从所述多张第四目标图像中的每张第四目标图像中裁剪出与该第四目标图像所属的第四图像对内的第一图像的ROI内图像重叠的部分，以得到多张第九图像；对所述多张第九图像中的每张第九图像进行处理，以得到多张第十图像，所述多张第十图像中每张第十图像的分辨率均为预设分辨率，其中，所述目标视频包括所述多张第十图像。13.根据权利要求10-12任一项所述的方法，其特征在于，所述方法还包括：在显示界面上显示所述第一摄像头采集的图像、所述第二摄像头采集的图像和所述第三摄像头采集的图像和所述目标视频；所述显示界面包括第一区域、第二区域和第三区域，所述第一区域包括第五区域，所述第五区域包括第四区域；所述第一区域显示所述第一摄像头采集的图像，所述第二区域用于显示所述第二摄像头采集的图像，所述第三区域用于显示所述目标视频，所述第四区域用于显示所述第一摄像头采集的图像中与所述二摄像头采集的图像重叠的部分；所述第五区域用于显示所述第二摄像头采集的图像中与所述第三摄像头采集的图像重叠的部分。14.一种主控设备，其特征在于，包括：获取单元，用于获取多张第一图像和多张第二图像，所述多张第一图像和...

【专利技术属性】
技术研发人员：滕飞，陈军凯，肖朝蕾，魏何，胡昌启，赵志杰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：