一种图像处理方法和电子设备技术

本申请实施例公开了一种图像处理方法和电子设备，涉及图像处理领域，能够通过在获取原始输入图像之前，预测该帧图像对应的有效曝光区域，以对原始输入图像达到进行第一级裁切的效果，由此提升电子设备的计算效率，同时提升防抖效果。具体方案为：在拍摄时，电子设备获取第一图像对应的原始输入图像，原始输入图像的尺寸小于电子设备对第一图像进行全画幅曝光时获取的图像。电子设备对原始输入图像进行优化处理，以获取防抖输入图像。电子设备对防抖输入图像进行防抖处理，以获取第一图像对应的防抖输出图像。的防抖输出图像。的防抖输出图像。

【技术实现步骤摘要】
一种图像处理方法和电子设备


[0001]本申请实施例涉及图像处理领域，尤其涉及一种图像处理方法和电子设备。

技术介绍

[0002]目前，电子设备大多具有拍摄功能。通过该拍摄功能，电子设备能够为用户提供拍摄照片或者视频的服务。以用户通过电子设备进行视频拍摄为例。在进行视频拍摄的过程中，由于电子设备不可避免地或出现位置移动(如用户在拍摄过程中的手部抖动)，由此会使得拍摄获取的视频出现不清晰的情况。
[0003]为了应对这种情况，电子设备可以通过视频防抖技术(如电子防抖技术以及光学防抖技术)，对拍摄获取的视频中的各个帧图像进行校正，以最终获得较为清晰的视频。但是，使用目前的方案进行校正的过程对于计算带宽的要求较高，由此使得电子设备的功耗显著提升，同时使得提供拍摄功能的模块的硬件选型受限，成本较高。

技术实现思路

[0004]本申请实施例提供一种图像处理方法和电子设备，可以在拍摄过程中，根据预测的有效曝光范围，调整图像传感器的输出图像的尺寸，由此在起到第一级防抖效果的同时，减小ISP 优化处理的计算压力，提升电子设备的计算效率。
[0005]为了达到上述目的，本申请实施例采用如下技术方案：
[0006]第一方面，提供一种图像处理方法，应用于具有拍摄功能的电子设备，方法包括：在拍摄时，电子设备获取第一图像对应的原始输入图像，原始输入图像的画幅小于电子设备对第一图像进行全画幅曝光时获取的图像。电子设备对原始输入图像进行优化处理，以获取防抖输入图像。电子设备对防抖输入图像进行防抖处理，以获取第一图像对应的防抖输出图像。
[0007]基于该方案，电子设备可以在图像传感器进行图像输出时，就起到第一级防抖的效果。其中，在本示例中，画幅的大小可以对应到图像的FOV(或视野范围)的大小。在一些实现方式中，图像传感器可以根据预测的第一图像的有效曝光范围，进行选择性曝光，或者对获取的全画幅曝光进行裁切，获取与后续防抖处理时接近范围的原始输入图像。由此使得电子设备(如ISP)可以在进行优化处理之前，即进行第一级防抖裁切掉一部分像素，以便ISP 不需要对被裁切掉的部分像素进行无效的优化处理，进而降低ISP的计算压力。同时，由于原始输入图像在被输出时已经进行了第一次防抖(如上述说明中的达到了第一次裁切的效果)，因此结合后续的防抖处理，能够获取更好的防抖效果。
[0008]在一种可能的设计中，第一图像是电子设备拍摄的视频流中的第K帧图像，K为大于或等于2的整数。电子设备在获取原始输入图像之前，方法还包括：电子设备根据视频流中，第K
‑
M帧到第K
‑
N帧中每一帧图像分别对应的运动矢量，预测第K帧图像的有效曝光范围，帧图像对应的运动矢量用于标识获取帧图像时，电子设备的抖动情况，M为大于或等于1的整数。N为大于或等于1，且小于或等于M的整数。电子设备获取原始输入图像，包括：电子
设备在有效曝光范围内进行曝光，获取原始输入图像。或者，电子设备对第一帧图像进行全画幅曝光，根据有效曝光范围，对全画幅曝获取的图像进行裁切，获取原始输入图像。基于该方案，提供了一种预测第K帧图像的有效曝光范围的具体方案。即根据电子设备缓存的历史帧图像获取过程中的抖动情况(如上述运动矢量)预测获取第K帧图像的有效曝光范围。在该示例中，获取有效曝光范围之后，电子设备可以通过调整图像传感器的有效曝光范围，直接获取对应区域的原始输入图像。电子设备还可以先进行全画幅的曝光，并结合预测的有效曝光范围，对该曝光结果进行裁切，以获取上述原始输入图像。由于有效曝光范围的预测是结合了运动矢量进行的，因此能够有效地根据当前手机的抖动情况，自适应地调整有效曝光范围的预测结果，由此达到第一级防抖的目的。
[0009]在一种可能的设计中，电子设备根据第K
‑
M帧到第K
‑
N帧中每一帧图像分别对应的运动矢量，预测第K帧图像的有效曝光范围，包括：电子设备根据P个运动矢量，预测第K帧图像的运动矢量，P个运动矢量包括在第K
‑
M帧到第K
‑
1帧中每一帧图像分别对应的M个运动矢量中，P为小于或等于M的整数。电子设备根据预测的第K帧图像的运动矢量，以及平滑处理后的第K帧图像的运动矢量，预测确定第K帧图像对应的单应性变换H矩阵。电子设备根据预测的H矩阵，以及防抖输出图像的范围，确定第K帧图像的防抖输入图像的范围。电子设备根据防抖输入图像的范围，确定第K帧图像的有效曝光范围。基于该方案，提供了一种具体的预测获取第K帧图像的有效曝光范围的示例。在该示例中，电子设备可以根据第K 帧图像之前的帧图像，(如第K
‑
M帧图像到第K
‑
1帧图像的运动矢量，或者这些运动矢量中的一部分运动矢量)预测获取第K帧图像的运动矢量。可以理解的是，该运动矢量可以是未做平滑处理之前的运动矢量，而为了达到第一级防抖的效果，所预测获取的有效曝光范围应当是与平滑处理之后的运动矢量对应的，因此，在本示例中，可以对上述预测获取的第K帧图像的运动矢量进行平滑处理，以获取对应的平滑处理之后的运动矢量。结合上述说明，根据该平滑处理之后的运动矢量，即可预测确定第K帧图像的防抖输入图像的范围。因此，就可以根据该预测的防抖输入图像的范围，确定第K帧图像的有效曝光范围。例如，防抖输入图像的范围可以与有效曝光范围相当，也可是防抖输入图像的范围稍小于有效曝光范围。另外，在图像传感器只能够进行矩形区域的曝光时，该有效曝光范围可以是一个与防抖输入图像对应的矩形区域，其中应当包括防抖输入图像中的大部分像素。
[0010]在一种可能的设计中，帧图像的运动矢量是获取帧图像的过程中，获取帧图像的中心行像素时刻的运动矢量。帧图像的中心行像素时刻的运动矢量通过以下方法获得：电子设备在获取帧图像的过程中，采集两个或多个运动矢量，电子设备对两个或多个运动矢量进行插值计算，确定获取帧图像的中心行像素的时刻的运动矢量。其中，获取帧图像的中心行像素的时刻是曝光中心行像素过程中的一个时刻，或者读取中心行像素的时刻。基于该方案，提供了一种确定帧图像对应的运动矢量的方案示例。在本示例中，由于帧图像的曝光或读取是一个时间段内发生的，而在这个时间段内可以采集多个运动矢量，而不同时刻的运动矢量可以是不同的。因此，在本示例中可以通过曝光帧图像中间行像素的时刻对应的运动矢量作为该帧图像的运动矢量，也可将读取中间行像素的时刻对应的运动矢量作为该帧图像的运动矢量。当然，在另一些实现方式中，也可采用获取其他行像素的时刻对应的运动矢量作为该这图像的运动矢量。
[0011]在一种可能的设计中，运动矢量是通过运动传感器获取的旋转角度矢量。基于该
方案，提供了一种运动矢量的具体实现。在本示例中，运动矢量可以是陀螺仪等运动传感器采集获取的旋转角度矢量。该旋转角度矢量可以是在某一时刻，以预设的参考零点为基准，旋转角度的累积量。当然，在其他一些实现方式中，该运动适量还可通过其他运动传感器获取，其具体实现也可不同。
[0012]在一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于具有拍摄功能的电子设备，所述方法包括：在拍摄时，所述电子设备获取第一图像对应的原始输入图像，所述原始输入图像的画幅小于所述电子设备对所述第一图像进行全画幅曝光时获取的图像；所述电子设备对所述原始输入图像进行优化处理，以获取防抖输入图像；所述电子设备对所述防抖输入图像进行防抖处理，以获取所述第一图像对应的防抖输出图像。2.根据权利要求1所述的方法，其特征在于，所述第一图像是所述电子设备拍摄的视频流中的第K帧图像，K为大于或等于2的整数；所述电子设备在获取所述原始输入图像之前，所述方法还包括：所述电子设备根据所述视频流中，第K
‑
M帧到第K
‑
N帧中每一帧图像分别对应的运动矢量，预测所述第K帧图像的有效曝光范围，所述帧图像对应的运动矢量用于标识获取所述帧图像时，所述电子设备的抖动情况，M为大于或等于1的整数；N为大于或等于1，且小于或等于M的整数；所述电子设备获取所述原始输入图像，包括：所述电子设备在所述有效曝光范围内进行曝光，获取所述原始输入图像；或者，所述电子设备对所述第一帧图像进行全画幅曝光，根据所述有效曝光范围，对所述全画幅曝获取的图像进行裁切，获取所述原始输入图像。3.根据权利要求2所述的方法，其特征在于，所述电子设备根据第K
‑
M帧到第K
‑
N帧中每一帧图像分别对应的运动矢量，预测所述第K帧图像的有效曝光范围，包括：所述电子设备根据P个运动矢量，预测所述第K帧图像的运动矢量，所述P个运动矢量包括在所述第K
‑
M帧到第K
‑
N帧中每一帧图像分别对应的M个运动矢量中，P为小于或等于M的整数；所述电子设备根据所述预测的第K帧图像的运动矢量，以及平滑处理后的第K帧图像的运动矢量，预测确定第K帧图像对应的单应性变换H矩阵；所述电子设备根据所述预测的H矩阵，以及防抖输出图像的范围，确定所述第K帧图像的防抖输入图像的范围；所述电子设备根据所述防抖输入图像的范围，确定所述第K帧图像的有效曝光范围。4.根据权利要求2或3所述的方法，其特征在于，所述帧图像的运动矢量是获取所述帧图像的过程中，获取所述帧图像的中心行像素时刻的运动矢量；所述帧图像的中心行像素时刻的运动矢量通过以下方法获得：所述电子设备在获取帧图像的过程中，采集两个或多个运动矢量，所述电子设备对所述两个或多个运动矢量进行插值计算，确定获取所述帧图像的中心行像素的时刻的运动矢量；其中，获取所述帧图像的中心行像素的时刻是曝光所述中心行像素过程中的一个时刻，或者读取所述中心行像素的时刻。5.根据权利要求2
‑
4中任一项所述的方法，其特征在于，所述运动矢量是通过运动传感...

【专利技术属性】
技术研发人员：王宇，朱聪超，李远友，胡斌，李智琦，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：