图像处理方法、装置、计算机可读存储介质及计算机设备制造方法及图纸

本申请适用于图像处理领域，提供了一种图像处理方法、装置、计算机可读存储介质及计算机设备。所述图像处理方法包括：获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；分别对所述多个视频帧序列中的每组同步的视频帧进行配准；分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；估算每个融合后的视频帧相对参考坐标系的运动旋转量；对所述运动旋转量进行平滑，得到平滑的旋转量；采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。本申请可以生成高清、稳定、视角更广的视频帧和/或视频，该方法速度快、功耗低，具有很强的鲁棒性。

【技术实现步骤摘要】
图像处理方法、装置、计算机可读存储介质及计算机设备
本申请属于图像处理领域，尤其涉及一种图像处理方法、装置、计算机可读存储介质及计算机设备。
技术介绍
目前大多数手机都具有双摄像头或多摄像头，双摄像头或多摄像头带来了更出色的拍照体验的同时还有些功能不够完善。例如，有些手机支持拍摄广角的大视场图像，但图像清晰度不高；有些手机则支持长焦拍摄出超级清晰的图像，但不能支持拍摄广角的大视场图像。另外，现有技术中对由多个终端的摄像头分别拍摄的多幅图像进行融合的方法中，也是存在无法生成广角的大视场且高清晰度的图像或视频的问题。
技术实现思路
本申请实施例在于提供一种图像处理方法、装置、计算机可读存储介质及计算机设备、终端及相机，旨在解决以上问题之一。第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；分别对所述多个视频帧序列中的每组同步的视频帧进行配准；分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；估算每个融合后的视频帧相对参考坐标系的运动旋转量；对所述运动旋转量进行平滑，得到平滑的旋转量；采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：第一同步模块，用于获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；第一配准模块，用于分别对所述多个视频帧序列中的每组同步的视频帧进行配准；第一融合模块，用于分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；第一运动估算模块，用于估算每个融合后的视频帧相对参考坐标系的运动旋转量；第一平滑模块，用于对所述运动旋转量进行平滑，得到平滑的旋转量；第一渲染模块，用于采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。第三方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取多个视频帧序列，分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；针对所述多个视频帧序列中的每组同步的视频帧，以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准，分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；估算所述基准图像相对参考坐标系的运动旋转量，对所述运动旋转量进行平滑，得到平滑的旋转量；采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。第四方面，本申请实施例提供了一种图像处理装置，所述装置包括：第二同步模块，用于获取多个视频帧序列，分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；第二融合模块，用于针对所述多个视频帧序列中的每组同步的视频帧，以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准，分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；第二平滑模块，用于估算所述基准图像相对参考坐标系的运动旋转量，对所述运动旋转量进行平滑，得到平滑的旋转量；第二渲染模块，用于采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的图像处理方法的步骤。第六方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的图像处理方法的步骤。第七方面，本申请实施例提供了一种相机，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的图像处理方法的步骤。第八方面，本申请实施例提供了一种终端，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的图像处理方法的步骤。在本申请实施例中，由于对多个由多个摄像头拍摄的视频帧序列进行同步，再对所述多个视频帧序列中的每组同步的视频帧进行配准，将配准后的每组同步的视频帧进行融合，生成融合后的视频帧，因此可以生成视角更广的视频帧和/或视频。又由于估算每个融合后的视频帧相对参考坐标系的运动旋转量；对所述运动旋转量进行平滑，得到平滑的旋转量；采用平滑的旋转量对融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。因此可以生成高清、稳定的视频帧和/或视频。此外，本申请的图像处理方法处理速度快、功耗低，具有很强的鲁棒性。附图说明图1、图2和图3是本申请一实施例提供的图像处理方法的应用场景示意图。图4是本申请一实施例提供的图像处理方法的流程图。图5是本申请一实施例提供的图像处理装置示意图。图6是本申请另一实施例提供的图像处理方法的流程图。图7是本申请另一实施例提供的图像处理装置示意图。图8是本申请一实施例提供的计算机设备的具体结构框图。图9是本申请一实施例提供的终端的具体结构框图。图10是本申请一实施例提供的相机的具体结构框图。具体实施方式为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。本申请一实施例提供的图像处理方法的应用场景可以是包括多个摄像头的终端或者是包括多个摄像头的相机。包括多个摄像头的终端或者包括多个摄像头的相机执行本申请一实施例提供的图像处理方法对多个摄像头拍摄的多幅图像进行处理。本申请一实施例提供的图像处理方法的应用场景也可以是包括相连接的计算机设备100和一个包括多个摄像头的相机200(如图1所示)，本申请一实施例提供的图像处理方法的应用场景也可以是包括相连接的计算机设备100和多个包括一个或多个摄像头的相机300(如图2所示)，本申请一实施例提供的图像处理方法的应用场景也可以是包括相连接的计算机设本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；/n分别对所述多个视频帧序列中的每组同步的视频帧进行配准；/n分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；/n估算每个融合后的视频帧相对参考坐标系的运动旋转量；/n对所述运动旋转量进行平滑，得到平滑的旋转量；/n采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；
分别对所述多个视频帧序列中的每组同步的视频帧进行配准；
分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；
估算每个融合后的视频帧相对参考坐标系的运动旋转量；
对所述运动旋转量进行平滑，得到平滑的旋转量；
采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。


2.如权利要求1所述的图像处理方法，其特征在于，所述多个摄像头位于一个终端或者相机，或者位于多个终端和/或相机。


3.如权利要求2所述的图像处理方法，其特征在于，当所述多个摄像头位于一个终端或者相机时，所述对所述多个视频帧序列进行同步具体为：
分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步。


4.如权利要求2所述的图像处理方法，其特征在于，当所述多个摄像头位于多个终端和/或相机时，所述对所述多个视频帧序列进行同步具体为：
分别提取多个视频帧序列对应的陀螺仪信号，通过所述多个视频帧序列对应的陀螺仪信号对所述多个视频帧序列进行同步。


5.如权利要求3所述的图像处理方法，其特征在于，所述通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步具体为：
采用基准时间将所述多个视频帧序列的时间戳保持同步。


6.如权利要求1所述的图像处理方法，其特征在于，所述对所述多个视频帧序列中的每组同步的视频帧进行配准具体为：
对所述多个视频帧序列中的每组同步的视频帧中有重叠区域的两幅视频帧进行两两配准。


7.如权利要求1所述的图像处理方法，其特征在于，所述参考坐标系为第一帧融合后的视频帧的参考系、拍摄第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系；
当所述参考坐标系为所述第一帧融合后的视频帧的参考系时，所述估算每个融合后的视频帧相对参考坐标系的运动旋转量具体为：采用视觉运动估计算法估算每个融合后的视频帧相对所述第一帧融合后的视频帧的参考系的运动旋转量；
当所述参考坐标系为拍摄第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系时，所述估算每个融合后的视频帧相对参考坐标系的运动旋转量具体为：采用惯性测量单元方法估算每个融合后的视频帧相对所述参考坐标系的运动旋转量；
或者，
所述估算每个融合后的视频帧相对参考坐标系的运动旋转量具体为：结合所述视觉运动估计算法和所述惯性测量单元方法估算每个融合后的视频帧相对所述参考坐标系的运动旋转量。


8.如权利要求7所述的图像处理方法，其特征在于，所述采用视觉运动估计算法估算每个融合后的视频帧相对所述第一帧融合后的视频帧的参考系的运动旋转量具体包括：
实时或离线更新关键帧K，得到所有关键帧K，分别计算每个关键帧K相对所述第一帧融合后的视频帧的旋转量qK_0；
计算融合后的视频帧N和与所述融合后的视频帧N匹配的同名点最多的关键帧K之间的相对旋转量qN_k；
获得所述融合后的视频帧N相对所述第一帧融合后的视频帧的第一旋转量qN_0，其中，qN_0＝qN_K·qK_0；
采用光束平差法对所述第一旋转量qN_0进行优化，得到第二旋转量q′N_0，将所述第二旋转量q′N_0作为融合后的视频帧相对第一帧融合后的视频帧的运动旋转量。


9.如权利要求8所述的图像处理方法，其特征在于，所述实时或离线更新关键帧具体为：
将所述第一帧融合后的视频帧设置为关键帧，判断当前融合后的视频帧与关键帧的视场之间的交叠度和特征点关联个数，当交叠度和特征点关联个数大于或等于预设值时，保持所述第一帧融合后的视频帧为关键帧不变；当交叠度和特征点关联个数小于预设值时，更新关键帧，将所述当前融合后的视频帧设置为关键帧。


10.如权利要求1至9中任意一项所述的图像处理方法，其特征在于，所述对所述运动旋转量进行平滑，得到平滑的旋转量具体为：
采用控制裁剪余度的方式对所述运动旋转量进行平滑，得到平滑的旋转量。


11.如权利要求8所述的图像处理方法，其特征在于，所述采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频具体为：
对每个融合后的视频帧进行3D旋转，渲染获得输出视频帧和/或视频，其中，3D旋转的旋转量△q计算公式为：其中，是平滑的旋转量。


12.一种图像处理装置，其特征在于，所述装置包括：
第一同步模块，用于获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；
第一配准模块，用于分别对所述多个视频帧序列中的每组同步的视频帧进行配准；
第一融合模块，用于分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；
第一运动估算模块，用于估算每个融合后的视频帧相对参考坐标系的运动旋转量；
第一平滑模块，用于对所述运动旋转量进行平滑，得到平滑的旋转量；
第一渲染模块，用于采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。


13.一种图像处理方法，其特征在于，所述方法包括：
获取多个视频帧序列，分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；
针对所述多个视频帧序列中的每组同步的视频帧，以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准，分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；
估算所述基准图像相对参考坐标系的运...

【专利技术属性】
技术研发人员：陈聪，袁文亮，姜文杰，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：广东;44