拍摄方法及相关设备技术

本申请实施例提供一种拍摄方法及相关设备，该方法包括：获取摄像头采集的第一图像序列，其中，第一图像序列包括时间上连续的第n‑1帧图像和第n帧图像，n大于或等于2；根据第n‑1帧图像的三维旋转修正信息和第n帧图像的三维旋转修正信息计算得到第n帧图像的二维平移原始路径；根据第n帧图像的二维平移原始路径计算得到第n帧图像的二维平移修正信息；根据第n帧图像的三维旋转修正信息和第n帧图像的二维平移修正信息对第一图像序列进行调整，得到目标图像序列。采用本申请实施例，能够在拍照或者录像过程中提高拍摄画面的稳定性。

【技术实现步骤摘要】
拍摄方法及相关设备
本申请涉及图处理
，尤其涉及一种拍摄方法及相关设备。
技术介绍
随着科技技术的发展，微机械(MicroElectroMechanicalsystems，MEMS)陀螺仪在实际生活中的各个领域得到广泛的应用。由于MEMS陀螺仪体积小、功耗低、成本低等原因，MEMS陀螺仪被广泛应用于各种消费类设备，如手机、平板以及数码相机中的图像防抖。在图像防抖应用中，陀螺仪有助于进行图像画面的稳定。但是由于MEMS陀螺仪存在精度差、存在零偏等缺点。对于单纯使用陀螺仪信息进行画面稳定的方法，当手持静止或者缓慢移动拍摄设备进行拍照或录像时，拍摄的画面会存在缓慢漂移的问题。当在高倍率拍摄过程中，还会存在画面抖动问题。
技术实现思路
本申请实施例公开了一种拍摄方法及相关设备，能够在拍照或者录像过程中提高拍摄画面的稳定性。本申请实施例第一方面公开了一种拍摄方法，该方法可以包括：获取摄像头采集的第一图像序列，其中，第一图像序列包括时间上连续的第n-1帧图像和第n帧图像，n大于或等于2；根据第n-1帧图像的三维旋转修正信息和第n帧图像的三维旋转修正信息计算得到第n帧图像的二维平移原始路径；根据第n帧图像的二维平移原始路径计算得到第n帧图像的二维平移修正信息；根据第n帧图像的三维旋转修正信息和第n帧图像的二维平移修正信息对第一图像序列进行调整，得到目标图像序列。可以看出，通过本申请实施例可以结合三维旋转修正信息和二维平移修正信息来对摄像头采集的图像序列进行调整，因为现有技术中，在对三维旋转进行平滑及补偿之后，可能由于摄像头的三维平移而存在剩余抖动，所以由二维平移估计剩余抖动，从而可以修正剩余抖动所来带的影响。所以结合三维旋转修正信息和二维平移修正信息可以解决在拍摄过程中出现画面漂移或者画面抖动等问题，提高了拍摄画面的稳定性，可以理解的是，视频也是由一帧一帧的图像所构成的，对视频进行调整实际上是对构成视频的每一帧图像进行调整，因此同样可以提高输出的视频画面的稳定性。结合第一方面，在一种可能的实现方式中，根据第n-1帧图像的三维旋转修正信息和第n帧图像的三维旋转修正信息计算得到第n帧图像的二维平移原始路径，包括：根据第n-1帧图像的三维旋转修正信息和第n帧图像的三维旋转修正信息计算得到第n帧图像的二维位移；根据第n帧图像的二维位移计算得到第n帧图像的二维平移原始路径。结合第一方面，在一种可能的实现方式中，根据第n-1帧图像的三维旋转修正信息和第n帧图像的三维旋转修正信息计算得到第n帧图像的二维位移，包括：获取第一特征点对坐标，第一特征点对坐标包括第n-1帧图像中的第一特征点坐标和第n帧图像中与第一特征点坐标匹配的第二特征点坐标；获取第n-1帧图像的三维旋转修正信息和第n帧图像的三维旋转修正信息；根据第n-1帧图像的三维旋转修正信息和第n帧图像的三维旋转修正信息对第一特征点对坐标进行三维旋转修正后，得到第二特征点对坐标；根据第二特征点对坐标计算得到第n帧图像的二维位移。结合第一方面，在一种可能的实现方式中，获取第n-1帧图像的三维旋转修正信息和第n帧图像的三维旋转修正信息，包括：获取第n-1帧图像的惯性测量单元IMU数据和第n帧图像的IMU数据；将第n-1帧图像的IMU数据进行积分得到第n-1帧图像的三维旋转原始路径，以及将第n帧图像的IMU数据进行积分得到第n帧图像的三维旋转原始路径；通过三维路径平滑算法根据第n-1帧图像的三维旋转原始路径得到第n-1帧图像的三维旋转虚拟平滑路径，以及，根据所第n帧图像的三维旋转原始路径得到第n帧图像的三维旋转虚拟平滑路径；根据第n-1帧图像的三维旋转原始路径和第n-1帧图像的三维旋转虚拟平滑路径得到第n-1帧图像的三维旋转修正信息，以及，根据第n-1帧图像的三维旋转原始路径和第n帧图像的三维旋转虚拟平滑路径得到第n帧图像的三维旋转修正信息。可以看出，图像序列是基于视觉的纯图像信息，IMU数据和OIS数据是基于传感器的数据，根据IMU数据和OIS数据可以计算得到三维旋转修正信息，通过三维旋转修正信息可以对图像序列进行平滑和补偿。而三维旋转修正信息可以更有效地去除图像序列中的三维旋转抖动，在去除三维旋转抖动之后，可能会由于三维平移而存在剩余抖动，但是由于缺乏深度，无法完全估计三维平移。因此通过IMU数据可以计算得到的三维旋转修正信息，然后结合图像序列中的特征点和三维旋转修正信息来计算得到二维位移，使用二维平移来获取三维旋转修正后的抖动信息，再通过二维平移来修正剩余抖动信息。结合第一方面，在一种可能的实现方式中，获取第n-1帧图像的三维旋转修正信息和第n帧图像的三维旋转修正信息，包括：获取第n-1帧图像的IMU数据和光学防抖OIS数据，以及第n帧图像的IMU数据和OIS数据；将第n-1帧图像的IMU数据进行积分得到第n-1帧图像的三维旋转原始路径，以及将第n帧图像的IMU数据进行积分得到第n帧图像的三维旋转原始路径；通过三维路径平滑算法根据第n-1帧图像的三维旋转原始路径得到第n-1帧图像的三维旋转虚拟平滑路径，以及，根据所第n帧图像的三维旋转原始路径得到第n帧图像的三维旋转虚拟平滑路径；根据第n-1帧图像的三维旋转原始路径、n-1帧图像的三维旋转虚拟平滑路径和n-1帧图像的OIS数据得到第n-1帧图像的三维旋转修正信息，以及，根据第n-帧图像的三维旋转原始路径、n帧图像的三维旋转虚拟平滑路径和第n帧图像的OIS数据得到第n帧图像的三维旋转修正信息。可以看出，在获取到OIS数据之后，可以通过IMU数据和OIS数据来计算得到三维旋转修正信息。结合第一方面，在一种可能的实现方式中，根据第n帧图像的二维平移原始路径计算得到第n帧图像的二维平移修正信息，包括：根据第n帧图像的二维平移原始路径和摄像头的运动状态计算得到第n帧图像的二维平移修正信息。结合第一方面，在一种可能的实现方式中，根据第n帧图像的二维平移原始路径和摄像头的运动状态计算得到第n帧图像的二维平移修正信息，包括：获取摄像头的运动状态所对应的二维平移校正范围；根据第n帧图像的二维平移原始路径和二维平移校正范围计算得到第n帧图像的二维虚拟平滑路径；根据第n帧图像的二维平移原始路径和第n帧图像的二维虚拟平滑路径计算得到第n帧图像的二维平移修正信息。可以看出，采集图像序列的摄像头可能处于不同的运动状态下，而不同的运动状态将带来不同的抖动，也即不同的运动状态对应不同的二维平移修正范围，所以需要结合二维平移原始路径和摄像头当前的运动状态所对应的二维平移修正范围来计算二维平移修正信息，通过上述方法计算得到的二维平移修正信息更贴合实际场景，符合实际需求。结合第一方面，在一种可能的实现方式中，若第n帧图像的二维原始平移路径中不存在第一路径点的平移信息，根据第n帧图像的二维平移原始路径和二维平移校正范围计算得到第n帧图像的二维虚拟平滑路径包括：在二维平移校正范围和第一路径点的约束下，通过二维路径平滑算法得到第n帧图像的二维虚拟平滑路径，以使第n帧图像的二维虚拟平滑路径经过第一路径点。...

【技术保护点】
1.一种拍摄方法，其特征在于，所述方法包括：/n获取摄像头采集的第一图像序列，其中，所述第一图像序列包括时间上连续的第n-1帧图像和第n帧图像，n大于或等于2；/n根据所述第n-1帧图像的三维旋转修正信息和所述第n帧图像的三维旋转修正信息计算得到所述第n帧图像的二维平移原始路径；/n根据所述第n帧图像的二维平移原始路径计算得到所述第n帧图像的二维平移修正信息；/n根据所述第n帧图像的三维旋转修正信息和所述第n帧图像的二维平移修正信息对所述第一图像序列进行调整，得到所述目标图像序列。/n

【技术特征摘要】
1.一种拍摄方法，其特征在于，所述方法包括：
获取摄像头采集的第一图像序列，其中，所述第一图像序列包括时间上连续的第n-1帧图像和第n帧图像，n大于或等于2；
根据所述第n-1帧图像的三维旋转修正信息和所述第n帧图像的三维旋转修正信息计算得到所述第n帧图像的二维平移原始路径；
根据所述第n帧图像的二维平移原始路径计算得到所述第n帧图像的二维平移修正信息；
根据所述第n帧图像的三维旋转修正信息和所述第n帧图像的二维平移修正信息对所述第一图像序列进行调整，得到所述目标图像序列。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第n-1帧图像的三维旋转修正信息和所述第n帧图像的三维旋转修正信息计算得到所述第n帧图像的二维平移原始路径，包括：
根据所述第n-1帧图像的三维旋转修正信息和所述第n帧图像的三维旋转修正信息计算得到所述第n帧图像的二维位移；
根据所述第n帧图像的二维位移计算得到所述第n帧图像的二维平移原始路径。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第n-1帧图像的三维旋转修正信息和所述第n帧图像的三维旋转修正信息计算得到所述第n帧图像的二维位移，包括：
获取第一特征点对坐标，所述第一特征点对坐标包括所述第n-1帧图像中的第一特征点坐标和所述第n帧图像中与所述第一特征点坐标匹配的第二特征点坐标；
获取所述第n-1帧图像的三维旋转修正信息和所述第n帧图像的三维旋转修正信息；
根据所述第n-1帧图像的三维旋转修正信息和所述第n帧图像的三维旋转修正信息对所述第一特征点对坐标进行三维旋转修正后，得到第二特征点对坐标；
根据所述第二特征点对坐标计算得到所述第n帧图像的二维位移。


4.根据权利要求3所述的方法，其特征在于，所述获取所述第n-1帧图像的三维旋转修正信息和所述第n帧图像的三维旋转修正信息，包括：
获取所述第n-1帧图像的惯性测量单元IMU数据和所述第n帧图像的IMU数据；
将所述第n-1帧图像的IMU数据进行积分得到所述第n-1帧图像的三维旋转原始路径，以及将所述第n帧图像的IMU数据进行积分得到所述第n帧图像的三维旋转原始路径；
通过三维路径平滑算法根据所述第n-1帧图像的三维旋转原始路径得到所述第n-1帧图像的三维旋转虚拟平滑路径，以及，根据所第n帧图像的三维旋转原始路径得到所述第n帧图像的三维旋转虚拟平滑路径；
根据所述第n-1帧图像的三维旋转原始路径和所述第n-1帧图像的三维旋转虚拟平滑路径得到所述第n-1帧图像的三维旋转修正信息，以及，根据所述第n-1帧图像的三维旋转原始路径和所述第n帧图像的三维旋转虚拟平滑路径得到所述第n帧图像的三维旋转修正信息。


5.根据权利要求3所述的方法，其特征在于，所述获取所述第n-1帧图像的三维旋转修正信息和所述第n帧图像的三维旋转修正信息，包括：
获取所述第n-1帧图像的IMU数据和光学防抖OIS数据，以及所述第n帧图像的IMU数据和OIS数据；
将所述第n-1帧图像的IMU数据进行积分得到所述第n-1帧图像的三维旋转原始路径，以及将所述第n帧图像的IMU数据进行积分得到所述第n帧图像的三维旋转原始路径；
通过三维路径平滑算法根据所述第n-1帧图像的三维旋转原始路径得到所述第n-1帧图像的三维旋转虚拟平滑路径，以及，根据所第n帧图像的三维旋转原始路径得到所述第n帧图像的三维旋转虚拟平滑路径；
根据所述第n-1帧图像的三维旋转原始路径、所述n-1帧图像的三维旋转...

【专利技术属性】
技术研发人员：徐其超，鲁威，聂诗玥，刘蒙，刘志鹏，孙龙，吴虹，林焕，胡康康，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44