图像处理方法、装置、计算机可读存储介质及计算机设备制造方法及图纸

本申请适用于图像处理领域，提供了一种图像处理方法、装置、计算机可读存储介质及计算机设备。所述图像处理方法包括：获取多个视频帧序列，并对所述多个视频帧序列进行同步；估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；对所述运动旋转量进行平滑，得到平滑的旋转量；采用所述平滑的旋转量对相应的视频帧进行旋转和渲染，输出平滑的视频帧；对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准；将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。本申请可以生成高清、稳定、视角更广的视频帧和/或视频，该方法速度快、功耗低，具有很强的鲁棒性。

【技术实现步骤摘要】
图像处理方法、装置、计算机可读存储介质及计算机设备
本申请属于图像处理领域，尤其涉及一种图像处理方法、装置、计算机可读存储介质及计算机设备。
技术介绍
目前大多数手机都具有双摄像头或多摄像头，双摄像头或多摄像头带来了更出色的拍照体验的同时还有些功能不够完善。例如，有些手机支持拍摄广角的大视场图像，但图像清晰度不高；有些手机则支持长焦拍摄出超级清晰的图像，但不能支持拍摄广角的大视场图像。另外，现有技术中对由多个终端的摄像头分别拍摄的多幅图像进行融合的方法中，也是存在无法生成广角的大视场且高清晰度的图像或视频的问题。
技术实现思路
本申请实施例在于提供一种图像处理方法、装置、计算机可读存储介质及计算机设备、终端及相机，旨在至少解决以上问题之一。第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；对所述多个视频帧序列中的每个视频帧相对参考本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；/n估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；/n对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量；/n采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行旋转和渲染，输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧；/n对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准；/n将配准后的每组同步的视频帧...

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；
估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；
对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量；
采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行旋转和渲染，输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧；
对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准；
将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。


2.如权利要求1所述的图像处理方法，其特征在于，所述多个摄像头位于一个终端或者相机，或者位于多个终端和/或相机。


3.如权利要求2所述的图像处理方法，其特征在于，当所述多个摄像头位于一个终端或者相机时，所述对所述多个视频帧序列进行同步具体为：
分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步。


4.如权利要求2所述的图像处理方法，其特征在于，当所述多个摄像头位于多个终端和/或相机时，所述对所述多个视频帧序列进行同步具体为：
分别提取多个视频帧序列对应的陀螺仪信号，通过所述多个视频帧序列对应的陀螺仪信号对所述多个视频帧序列进行同步。


5.如权利要求3所述的图像处理方法，其特征在于，所述通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步具体为：
采用基准时间将所述多个视频帧序列的时间戳保持同步。


6.如权利要求1所述的图像处理方法，其特征在于，所述对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准具体为：对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧中有重叠区域的两幅平滑的视频帧进行两两配准。


7.如权利要求1所述的图像处理方法，其特征在于，针对每个视频帧，所述参考坐标系为拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系、拍摄所述第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系；
当所述参考坐标系为拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系时，所述估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量具体为：采用视觉运动估计算法估算所述多个视频帧序列中的每个视频帧相对所述拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系的运动旋转量；
当所述参考坐标系为拍摄所述第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系时，所述估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量具体为：采用惯性测量单元方法估算所述多个视频帧序列中的每个视频帧相对所述参考坐标系的运动旋转量；
或者，
所述估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量具体为：结合所述视觉运动估计算法和所述惯性测量单元方法估算所述多个视频帧序列中的每个视频帧相对所述参考坐标系的运动旋转量。


8.如权利要求7所述的图像处理方法，其特征在于，所述采用视觉运动估计算法估算所述多个视频帧序列中的每个视频帧相对所述拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系的运动旋转量具体包括：
实时或离线更新关键帧K，得到所有关键帧K，分别计算每个关键帧K相对所述拍摄所述视频帧的摄像头拍摄的第一帧视频帧的旋转量qK_0；
计算视频帧N和与所述视频帧N匹配的同名点最多的关键帧K之间的相对旋转量qN_k；
获得视频帧N相对所述第一帧视频帧的第一旋转量qN_0，其中，qN_0＝qN_K·qK_0；
采用光束平差法对第一旋转量qN_...

【专利技术属性】
技术研发人员：陈聪，袁文亮，姜文杰，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：广东;44