图像处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种图像处理方法、装置、电子设备及存储介质，其中，电子设备包括镜头、图像传感器、光学防抖组件和电子防抖组件，其中根据电子设备的运动数据，通过光学防抖组件对镜头和图像传感器进行五维自由度的光学防抖，得到光学防抖图像；然后，以该光学防抖图像为基础，根据镜头的第一偏转姿态数据、图像传感器的第一位置姿态数据和第一旋转姿态数据，对光学防抖图像的姿态进行还原校正，得到姿态还原后的姿态校正图像；最后，根据运动数据，通过电子防抖组件对姿态校正图像进行电子防抖处理，得到电子防抖图像。以此，本申请通过光学防抖组件提供光学防抖图像，并还原光学防抖所导致的姿态变化后由电子防抖组件进行电子防抖处理，得到高质量的电子防抖图像。得到高质量的电子防抖图像。得到高质量的电子防抖图像。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本申请涉及图像处理
，特别涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，如手机、平板电脑等电子设备通常配置有摄像头，从而为用户提供拍照功能，使得用户能够通过这些电子设备随时随地的记录身边发生的事情，看到的景物等。然而，由于用户通常手持电子设备进行拍摄，而用户手持电子设备会引入不同程度的抖动而影响电子设备拍摄的稳定性，导致拍摄得到的图像的质量较差。

技术实现思路

[0003]本申请实施例提供一种图像处理方法、装置、电子设备及存储介质，能够提高电子设备的图像拍摄质量。
[0004]本申请公开一种图像处理方法，应用于电子设备，所述电子设备包括镜头、图像传感器、光学防抖组件和电子防抖组件，所述图像处理方法包括：
[0005]获取电子设备的运动数据，并根据运动数据，通过光学防抖组件控制镜头在镜头的X轴方向和Y轴方向进行补偿偏转，控制图像传感器在图像传感器的X轴方向和Y轴方向进行补偿平移，以及控制图像传感器绕图像传感器的Z轴进行补偿旋转；
[0006]获取图像传感器采集的对应运动数据的光学防抖图像，以及从光学防抖组件获取镜头的第一偏转姿态数据、图像传感器的第一位置姿态数据和第一旋转姿态数据；
[0007]根据第一偏转姿态数据、第一位置姿态数据以及第一旋转姿态数据对光学防抖图像的姿态进行还原校正，得到姿态校正图像；
[0008]根据运动数据，通过电子防抖组件对姿态校正图像进行电子防抖处理，得到电子防抖图像。
[0009]本申请还公开一种图像处理装置，应用于电子设备，电子设备包括镜头、图像传感器、光学防抖组件和电子防抖组件，图像处理装置包括：
[0010]光学防抖模块，用于获取电子设备的运动数据，并根据运动数据，通过光学防抖组件控制镜头在镜头的X轴方向和Y轴方向进行补偿偏转，控制图像传感器在图像传感器的X轴方向和Y轴方向进行补偿平移，以及控制图像传感器绕图像传感器的Z轴进行补偿旋转；
[0011]姿态获取模块，用于获取图像传感器采集的对应运动数据的光学防抖图像，以及从光学防抖组件获取镜头的第一偏转姿态数据、图像传感器的第一位置姿态数据和第一旋转姿态数据；
[0012]姿态校正模块，用于根据第一偏转姿态数据、第一位置姿态数据以及第一旋转姿态数据对光学防抖图像的姿态进行还原校正，得到姿态校正图像；
[0013]电子防抖模块，用于根据运动数据，通过电子防抖组件对姿态校正图像进行电子防抖处理，得到电子防抖图像。
[0014]本申请还公开一种电子设备，包括镜头、图像传感器、光学防抖组件、电子防抖组件、处理器和存储器，存储器存储有计算机程序，处理器通过加载计算机程序执行如本申请提供的图像处理方法中的步骤。
[0015]本申请还公开一种存储介质，其上存储有计算机程序，所述计算机程序被处理器加载时执行如本申请提供的图像处理方法中的步骤。
[0016]本申请中，电子设备包括镜头、图像传感器、光学防抖组件和电子防抖组件，其中根据电子设备的运动数据，通过光学防抖组件对镜头和图像传感器进行五维自由度的光学防抖，得到光学防抖图像；然后，以该光学防抖图像为基础，根据镜头的第一偏转姿态数据、图像传感器的第一位置姿态数据和第一旋转姿态数据，对光学防抖图像的姿态进行还原校正，得到姿态还原后的姿态校正图像；最后，根据运动数据，通过电子防抖组件对姿态校正图像进行电子防抖处理，得到电子防抖图像。以此，本申请通过光学防抖组件提供光学防抖图像，并还原光学防抖所导致的姿态变化后由电子防抖组件进行电子防抖处理，得到高质量的电子防抖图像。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
[0018]图1为本申请实施例提供的电子设备的一硬件结构示意图。
[0019]图2为本申请实施例提供的图像处理方法的一流程示意图。
[0020]图3为本申请实施例中摄像模组的移动自由度的示例图。
[0021]图4为本申请实施例中对镜头进行补偿偏转的示例图。
[0022]图5为本申请实施例中对光学防抖图像进行校正，得到姿态校正图像的示例图。
[0023]图6为本申请实施例提供的预设校准工具的局部示意图。
[0024]图7为本申请实施例中提供的矩形校准板的示例图。
[0025]图8为本申请实施例提供的图像处理装置的结构示意图。
[0026]图9为本申请实施例提供的电子设备的另一硬件结构示意图。
具体实施方式
[0027]应当说明的是，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
[0028]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0029]本申请实施例提供一种图像处理方法、图像处理装置、计算机可读的存储介质以及电子设备，其中图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或
者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等配置有处理器而具有数据处理能力的设备。
[0030]下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031]请参照图1，示出了电子设备100的一硬件结构示意图，如图1所示，该电子设备100包括运动传感器110、摄像模组120、光学防抖组件130以及电子防抖组件140。此处对运动传感器110、摄像模组120、光学防抖组件130以及电子防抖组件140在电子设备100的设置位置不作具体限制，可由本领域技术人员根据实际需要进行设置。另外，本领域技术人员可以理解的是，图1中示出的结构并不构成对电子设备100的限定，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置等。
[0032]其中，运动传感器110被配置为对电子设备100的运动状态进行实时感应，相应得到用于描述电子设备100的运动状态的运动数据。此处对运动传感器11本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括镜头、图像传感器、光学防抖组件和电子防抖组件，所述图像处理方法包括：获取所述电子设备的运动数据，并根据所述运动数据，通过所述光学防抖组件控制所述镜头在所述镜头的X轴方向和Y轴方向进行补偿偏转，控制所述图像传感器在所述图像传感器的X轴方向和Y轴方向进行补偿平移，以及控制所述图像传感器绕所述图像传感器的Z轴进行补偿旋转；获取所述图像传感器采集的对应所述运动数据的光学防抖图像，以及从所述光学防抖组件获取所述镜头的第一偏转姿态数据、所述图像传感器的第一位置姿态数据和第一旋转姿态数据；根据所述第一偏转姿态数据、所述第一位置姿态数据以及所述第一旋转姿态数据对所述光学防抖图像的姿态进行还原校正，得到姿态校正图像；根据所述运动数据，通过所述电子防抖组件对所述姿态校正图像进行电子防抖处理，得到电子防抖图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一偏转姿态数据、所述第一位置姿态数据以及所述第一旋转姿态数据对所述光学防抖图像的姿态进行还原校正，得到姿态校正图像，包括：根据所述第一偏转姿态数据和所述第一旋转姿态数据，获取用于对所述光学防抖图像进行旋转校正的第一校正旋转矩阵；根据所述第一校正旋转矩阵对所述光学防抖图像的姿态进行旋转校正，得到旋转校正图像；根据所述第一位置姿态数据，获取用于对所述旋转校正图像进行平移校正的第一校正平移向量；根据所述第一校正平移向量对所述旋转校正图像的姿态进行平移校正，得到所述姿态校正图像。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一偏转姿态数据和所述第一旋转姿态数据，获取用于对所述光学防抖图像进行旋转校正的第一校正旋转矩阵，包括：根据第一偏转姿态数据和偏转角度的第一函数关系，获取对应所述第一偏转姿态数据的第一偏转角度；根据第一偏转姿态数据和偏转角度的第二函数关系，获取对应所述第一偏转姿态数据的第二偏转角度；根据第一旋转姿态数据和旋转角度的第三函数关系，获取对应所述第一旋转姿态数据的第一旋转角度；根据所述第一偏转角度、所述第二偏转角度以及所述第一旋转角度，获取所述第一校正旋转矩阵。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一偏转角度、所述第二偏转角度以及所述第一旋转角度，获取所述第一校正旋转矩阵，包括：根据所述第一偏转角度、所述第二偏转角度以及所述第一旋转角度，按照如下公式获取所述第一校正旋转矩阵：R＝R
X
·
R
Y
·
R
Z
；
其中，R表示所述第一校正旋转矩阵，C表示cos()，S表示sin()，α表示所述第一偏转角度，β表示所述第二偏转角度，γ表示所述第一旋转角度。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一校正旋转矩阵对所述光学防抖图像的姿态进行旋转校正，得到旋转校正图像，包括：获取所述镜头进行补偿偏转的偏转中心在像素坐标系下的偏转中心坐标；根据所述偏转中心坐标将所述光学防抖图像由像素坐标系转换至图像坐标系；根据所述第一校正旋转矩阵，在图像坐标系下对所述光学防抖图像的姿态进行旋转校正，得到旋转校正图像。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一校正平移向量对所述旋转校正图像的姿态进行平移校正，得到所述姿态校正图像，包括：获取所述图像传感器进行补偿旋转的旋转中心在像素坐标系下的旋转中心坐标；根据所述偏转中心坐标和所述旋转中心坐标获取用于对所述第一校正平移向量进行修正的修正向量；根据所述修正向量对所述第一校正平移向量进行修正，得到修正后的第一校正平移向量；根据所述修正后的第一校正平移向量对所述旋转校正图像的姿态进行平移校正，得到所述姿态校正图像。7.根据权利要求6所述的方法，其特征在于，将所述电子设备固定于预设校准工具，使得所述电子设备与所述预设校准工具中的矩形校准板的位置相对固定，所述矩形校准板包括中心标记，所述偏转中心坐标、所述第一函数关系以及所述第二函数关系按照如下步骤确定：开启所述光学防抖组件的镜头偏转防抖功能，并关闭图像传感器平移防抖功能和图像传感器旋转防抖功能；发送第一驱动控制指令至所述预设校准工具，使得所述预设校准工具驱动所述电子设备在所述电子设备的X轴方向和Y轴方向平移；在所述电子设备的平移过程中，通过所述光学防抖组件进行光学防抖处理，并获取所述图像传感器在平移过程中采集的所述矩形校准板的第一图像序列；
发送停止指令至所述预设校准工具，使得所述预设校准工具停止驱动所述电子设备平移，并获取所述图像传感器在静止过程中采集的所述矩形校准板的第二图像序列；在像素坐标系下，获取所述中心标记在所述第一图像序列中每一第一图像的第一位置坐标，以及获取所述中心标记在所述第二图像序列中每一第二图像的第二位置坐标；从光学防抖组件获取所述镜头在所述图像传感器采集所述第一图像序列中每一第一图像时的第二偏转姿态数据，以及确定所有所述第二位置坐标的平均坐标；根据所述平均坐标以及每一所述第一图像对应的所述第一位置坐标和所述第二偏转姿态数据，拟合得到所述偏转中心坐标、所述第一函数关系以及所述第二函数关系。8.根据权利要求7所述的方法，其特征在于，所述根据所述平均坐标以及每一所述第一图像对应的所述第一位置坐标和所述第二偏转姿态数据，拟合得到所述偏转中心坐标、所述第一函数关系以及所述第二函数关系，包括：根据所述平均坐标以及每一所述第一图像对应的所述第一位置坐标和所述第二偏转姿态数据，按照如下公式拟合得到所述偏转中心坐标、所述第一函数关系以及所述第二函数关系：min||P1‑
f(p0,h0'；θ)||2；θ＝[C
x1
,C
y1
,θ0,θ1]；其中，f()表示第一多项式函数或第二多项式函数，P1表示所述第一位置坐标，p0表示所述平均坐标，h0'表示第二偏转姿态数据，C
x1
表示所述偏转中心坐标中的横坐标，C
y1
表示所述偏转中心坐标中的纵坐标，θ0表示所述第一多项式函数的多项式系数，θ1表示所述第二多项式函数的多项式系数。9.根据权利要求6所述的方法，其特征在于，将所述电子设备固定于预设校准工具，使得所述电子设备与所述预设校准工具中的矩形校准板的位置相对固定，所述矩形校准板包括四角标记，所述旋转中心坐标和所述第三函数关系按照如下步骤确定：开启所述光学防抖组件的图像传感器旋转防抖功能，并关闭镜头偏转防抖功能和图像传感器平移防抖功能；发送第二驱动控制指令至所述预设校准工具，使得所述预设校准工具驱动所述电子设备绕所述图像传感器的Z轴旋转；在所述电子设备的旋转过程中，通过所述光学防抖组件进行光学防抖处理，并获取所述图像传感器在旋转过程中采集的所述矩形校准板的第三图像序列；从所述光学防抖组件获取所述图像传感器采集所述第三图像序列中每一第三图像时的第二旋转姿态数据，以及在像素坐标系下获取所述四角标记在每一第三图像中的第三位置坐标；根据每一第三图像对应的所述第二旋转姿态数据和所述第三位置坐标，拟合得到所述旋转中心坐标和所述第三函数关系。10.根据权利要求9所述的方法，其特征在于，所述第三函数关系包括第三多项式函数，所述根据每一第三图像对应的所述第二旋转姿态数据和所述第三...

【专利技术属性】
技术研发人员：周阳，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：