一种对焦的方法、设备及存储介质技术

本申请实施例提供一种对焦的方法、设备及存储介质，应用于对焦场景中，通过分离电子设备的使用者的虹膜图像中的成像信息；根据所述成像信息，生成注意力图；将所述注意力图与所述电子设备的取景框中的画面进行比对，确定对焦信息；基于所述对焦信息调节所述电子设备，并通过调节后的电子设备进行对焦，获得对焦图像。由于成像信息是用户眼中实际看到的画面在虹膜中的成像，能反映出用户的实际对焦信息，以从虹膜图像中提取的成像信息作为依据，来确定对焦信息，可以有效提高对焦的准确性，得到符合用户预期的图像或视频。符合用户预期的图像或视频。符合用户预期的图像或视频。

【技术实现步骤摘要】
一种对焦的方法、设备及存储介质


[0001]本申请涉及电子
，尤其涉及一种对焦的方法、设备及存储介质。

技术介绍

[0002]对焦，又称对光或对焦，通常指通过照相机对焦机构调整物距和相距的位置，使被拍物成像清晰的过程，而对焦的准确率对获得的图像的质量、效果具有很大程度的影响。早期的电子设备通常需要通过手动的方式进行对焦，对焦的准确率依赖于用户对取景框中的画面的判别以及用户自身的拍摄能力。随着智能化技术的发展，电子设备可以实现自动对焦。
[0003]然而现有的自动对焦方法通常基于双眼的眼部图像获得双眼的视线，根据双眼的视线交点来判断人眼注意力，进而实现对焦。然而由于现有的方法均属于采用了间接的方法进行人眼注意力判断，导致其对焦准确率较低。

技术实现思路

[0004]本申请提供的一种对焦的方法、设备及存储介质，目的在于解决对焦准确率低的问题。
[0005]为达到上述目的，本申请采用如下技术方案：第一方面：在对焦的场景中，分离电子设备的使用者的虹膜图像中的成像信息，根据分离出的成像信息，生成注意力图。将该注意力图与该电子设备的取景框中的画面进行比对，确定出对焦信息。基于该对焦信息对电子设备进行调节，并通过调节后的电子设备进行对焦，获得对焦图像。
[0006]在本申请实施例中，从电子设备的使用者的虹膜图像中分离出的成像信息，是用户眼中实际看到的画面在虹膜中的成像，能反映出用户的实际对焦信息。进而以从虹膜图像中提取的成像信息作为依据，来确定对焦信息，可以有效提高对焦的准确性，使得获得的对焦图像符合用户预期。同时，本申请中不限于通过获取双眼的眼部图像实现对焦，通过一只眼的眼部图像也可确定出对焦信息，进而实现对焦，从而拓展了对焦的应用范围。
[0007]在一种可能的实现方式中，通过计算注意力图与该取景框中的画面中各个区域的相似度，可以得到各个区域中与该注意力图相似度最高的区域。根据该相似度最高的区域，确定对焦信息。
[0008]在一种可能的实现方式中，分别对注意力图与电子设备的取景框中的画面进行特征提取，对提取的注意力图的特征与所述取景框中的画面的特征进行高维特征压缩，根据压缩后的注意力图的特征和压缩后的取景框中的画面的特征，确定对焦信息。基于深度学习确定对焦信息的方法，提高了确定对焦信息的效率以及准确率。
[0009]在一种可能的实现方式中，对电子设备的使用者的虹膜图像进行光流计算，确定瞳孔状态，瞳孔状态为收缩状态时，表示电子设备的使用者的眼睛处于对焦状态，从瞳孔状态为收缩状态的虹膜图像中，分离成像信息。
[0010]在一种可能的实现方式中，从瞳孔状态为收缩状态的虹膜图像中分解出反射层光流向量，根据虹膜图像和反射层光流向量进行反射层图重建，获得成像信息。
[0011]在一种可能的实现方式中，根据虹膜图像和反射层光流向量进行反射层图重建，获得预测的反射层图，对预测的反射层图进行光流细化，获得更新后的反射层光流向量，根据所述更新后的反射层光流向量以及虹膜图像进行反射层图重建，获得成像信息。由于对预测的反射层图进行了光流细化，可以得到精确度更高的成像信息。
[0012]在一种可能的实现方式中，对所述成像信息进行超分处理，获得处理后的成像信息，根据处理后的成像信息，生成注意力图。通过对成像信息进行超分处理，可以提升成像信息的清晰度。由清晰度更高的成像信息生成注意力图，确定对焦信息，可以提高对焦的准确性。
[0013]在一种可能的实现方式中，对电子设备的使用者的眼部图像进行特征提取，对提取出的特征进行缩放式特征提取，对通过缩放式特征提取得到的特征进行眼部关键点热图预测，获得眼部关键点的坐标，根据所述眼部关键点的坐标，从眼部图像中提取虹膜图像。基于眼部关键点检测的方法，可以从眼部图像中精确的提取出虹膜图像，进而有助于提高对焦的准确性。
[0014]第二方面：一种计算机设备，该计算机设备包括处理器以及存储器：存储器用于存储程序代码，并将程序代码传输给处理器，处理器用于根据程序代码中的指令执行如上所述的一种对焦的方法的步骤。
[0015]第三方面：一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上所述的一种对焦的方法的步骤。
[0016]应当理解的是，本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。
附图说明
[0017]图1为本申请实施例适用的一种应用场景示意图；图2为本申请实施例提供的一种获取眼部图像的示意图；图3为本申请实施例适用的另一种应用场景示意图；图4为本申请实施例提供的一种电子设备的结构示意图；图5为本申请实施例提供的一种电子设备的软件结构框图；图6为本申请实施例提供的一种眼部图像示意图；图7为本申请实施例提供的一种关键点标注示意图；图8为本申请实施例提供的一种眼部关键点检测的模型结构示意图；图9为本申请实施例提供的一种确定对焦信息的流程图；图10为本申请实施例提供的一种超分模型的网络结构示意图；图11为本申请实施例提供的一种注意力图与取景框中的画面比对的示意图；图12为本申请实施例提供的一种基于深度网络的注意力分离模型示意图。
具体实施方式
[0018]本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。
[0019]在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0020]目前有许多基于人眼注意力实现对焦的方法，然而其均属于间接的方法进行人眼注意力判断，例如根据双眼的视线来判断人眼注意力，进而实现对焦，其往往存在对焦准确率低的问题。同时，由于需要采集双眼的眼部图像才可实现对焦，从技术实现上对于对焦时用户的双眼位置以及用户姿态都有一定要求。例如用户双眼非完全对称的情况下，可能导致现有的对焦方法失效或对焦不准确。此外，许多现有的方法中，还需要借助如原深感镜头（Tof）、三维结构光等硬件设备来实现对焦，因此硬件成本较高。
[0021]基于此，本申请提出一种新的解决方案实现准确率和可靠性更高的对焦。通过从电子设备的使用者的眼部图像中提取出虹膜图像，再从虹膜图像中分离出成像信息，将根据成像信息生成的注意力图与取景框中的画面进行比对，确定对焦信息。其中，电子设备的使用者指当前使用该电子设备的用户。由于成像信息是用户眼中实际看到的画面在虹膜中的成像，能反映出用户的实际对焦信息，以从虹膜图像中提取的成像信息作为依据，来确定对焦信息，可以有效提高对焦的准确性，得到符合用户预期的图像或视频。同时，不限于通过获取双本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对焦的方法，其特征在于，应用于对焦场景中，包括：分离电子设备的使用者的虹膜图像中的成像信息；根据所述成像信息，生成注意力图；将所述注意力图与所述电子设备的取景框中的画面进行比对，确定对焦信息；基于所述对焦信息调节所述电子设备，并通过调节后的电子设备进行对焦，获得对焦图像。2.根据权利要求1所述的方法，其特征在于，所述将所述注意力图与所述电子设备的取景框中的画面进行比对，确定对焦信息，包括：计算所述注意力图与所述取景框中的画面中各个区域的相似度；根据所述各个区域中相似度最高的区域，确定对焦信息。3.根据权利要求1所述的方法，其特征在于，所述将所述注意力图与所述电子设备的取景框中的画面进行比对，确定对焦信息，包括：分别对所述注意力图与所述电子设备的取景框中的画面进行特征提取；对提取的注意力图的特征与所述取景框中的画面的特征进行高维特征压缩，获得压缩后的注意力图的特征和压缩后的取景框中的画面的特征；根据所述压缩后的注意力图的特征和压缩后的取景框中的画面的特征，确定对焦信息。4.根据权利要求1所述的方法，其特征在于，所述分离电子设备的使用者的虹膜图像中的成像信息，包括：对所述电子设备的使用者的虹膜图像进行光流计算，确定瞳孔状态；从所述瞳孔状态为收缩状态的虹膜图像中，分离成像信息。5.根据权利要求4所述的方法，其特征在于，所述从所述瞳孔状态为收缩状态的虹膜图像中，分离成像信息，包括：从所述瞳孔状态为收缩状态的虹膜图像中分解出反射层光流向量；根据所述虹膜图像和所述反射层光流向量...

【专利技术属性】
技术研发人员：姚洋，张成，杨建权，罗材，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：