基于卷积神经网络的自动调焦方法及系统技术方案

本发明专利技术涉及一种基于卷积神经网络的自动调焦方法及系统，其中方法包括以下步骤：建立离焦图像数据集；搭建离焦量估计模型，并利用离焦图像数据集对离焦量估计模型进行训练；获取图像探测器采集的当前帧图像，并将当前帧图像输入至训练好的离焦量估计模型进行图像离焦量预测，得到相对于当前调焦电机位置的离焦量归一化输出值；根据离焦量归一化输出值计算离焦量码值，并判断调焦电机的调整方向；根据离焦量码值和调整方向调整调焦电机的位置，完成图像探测器的自动调焦。本发明专利技术利用训练好的离焦量估计模型可以对输入图像的离焦量进行自动提取，有效的避免了人工离焦量特征难以提取的问题，调焦过程简单、快速，可用于物距持续变化的连续调焦场合。

【技术实现步骤摘要】
基于卷积神经网络的自动调焦方法及系统
本专利技术涉及成像
，特别是涉及一种基于卷积神经网络的自动调焦方法及系统。
技术介绍
清晰成像是成像设备正常工作的重要前提，而无法准确对焦是影响成像清晰度的首要原因。为了使处于不同位置不同运动状态的目标迅速清晰成像，必须使光学系统实现实时快速的自动调焦。用于成像设备的自动调焦方法可分为两大类：测距法和图像法。测距法主要是利用激光测距仪等测距装置，对观测目标的距离(即物距)进行测定，根据物象共轭关系，对光学参数进行调整，实现系统的快速对焦。该方法的不足之处在于，需要另外增设测距装置等辅助机构，增加了系统的复杂度及结构成本。在某些测距场合，还会因环境干扰，导致测距失败。图像法主要是通过对采集得到的不同离焦状态的图像的灰度梯度、频谱特性等处理分析，提取出准焦位置信息，通过光学参数调整实现系统的自动对焦。基于图像的自动调焦方法又可以分为对焦深度法和离焦深度法两类。对焦深度法，通常是对同一场景下不同离焦程度的连续十几幅图像按照特定的清晰度评价函数进行一系列搜索比较，最后将清晰度评价函数的极值处视为准焦位置。中国专利CN108259753A和专利CN109782414A采用的就是此类方法。该类方法存在两个缺陷，一是在准焦位置搜索过程中存在反复离焦过程，因此不适于物距持续变化的连续自动调焦场合；二是在准焦位置搜索过程中清晰度评价值容易陷入局部极值，而导致准焦位置错误。离焦深度法，是直接从图像提取离焦量，根据离焦量直接将探测器靶面调整至准焦位置。该类方法较适合于物距持续变化的连续自动调焦场合，但存在人工离焦量特征提取困难的问题，因而限制了该方法的工程应用。中国专利CN106249508B提出一种自动对焦方法，该方法首先在视场中提取人脸图块，根据人脸图块面积与实际人脸面积比例关系，反推物距信息，然后根据物像共轭关系，进行光学参数调整，实现自动调焦，该专利所述方法快速有效，但只适合视场中存在人脸的场合，适用性较窄。
技术实现思路
基于此，为解决现有技术中的问题，本专利技术提供一种基于卷积神经网络的自动调焦方法及系统。为实现上述目的，本专利技术实施例采取如下的技术方案：一种基于卷积神经网络的自动调焦方法，包括以下步骤：步骤一：建立离焦图像数据集；步骤二：搭建离焦量估计模型，并利用所述离焦图像数据集对所述离焦量估计模型进行训练；步骤三：获取图像探测器采集的当前帧图像，并将所述当前帧图像输入至训练好的离焦量估计模型进行图像离焦量预测，得到相对于当前调焦电机位置的离焦量归一化输出值；步骤四：根据所述离焦量归一化输出值计算离焦量码值，并判断调焦电机的调整方向；步骤五：根据所述离焦量码值和所述调整方向调整所述调焦电机的位置，完成所述图像探测器的自动调焦。一种采用上述方法的基于卷积神经网络的自动调焦系统，其特征在于，包括：与图像探测器连接的中央处理器，用于确定离焦量码值和调焦电机的调整方向；分别与所述中央处理器和所述调焦电机连接的可控调焦装置，用于根据所述离焦量码值和所述调整方向调整所述调焦电机的位置，完成所述图像探测器的自动调焦。本专利技术所提供的基于卷积神经网络的自动调焦方法及系统通过建立具有离焦量标注的离焦图像数据集，搭建离焦量估计模型，并利用离焦图像数据集对预设的离焦量估计模型进行训练，最后利用训练好的离焦量估计模型进行图像离焦量的自动预测，从而实现图像探测器自动调焦，具有以下有益效果：(1)与传统的离焦深度调焦法相比，本专利技术利用训练好的离焦量估计模型可以对输入图像的离焦量进行自动提取，有效的避免了人工离焦量特征难以提取的问题；(2)与对焦深度调焦方法相比，本专利技术不存在连续多个离焦位置搜索比较的过程，仅需1到2幅图像即可完成自动调焦，调焦过程简单、快速，可用于物距持续变化的连续调焦场合；(3)与测距调焦法相比，本专利技术无需借助任何辅助测距装置，仅需通过图像探测器采集的图像的离焦程度即可进行自动调焦，属于所见即所得的实现方式，因此可以有效避免测距设备测量不准而导致的调焦失败的风险。附图说明图1为本专利技术的基于卷积神经网络的自动调焦方法在一个实施例中的流程示意图；图2为本专利技术的基于卷积神经网络的自动调焦方法在一个具体实施方式中的流程示意图；图3为离焦量估计模型的结构示意图；图4为离焦量估计模型的组成示意图；图5为本专利技术的基于卷积神经网络的自动调焦系统在一个实施例中的流程示意图。具体实施方式下面将结合附图及较佳实施例对本专利技术的技术方案进行详细描述。图1是本专利技术的基于卷积神经网络的自动调焦方法在一个实施例中的流程示意图。如图1所示，本实施例中的基于卷积神经网络的自动调焦方法包括以下步骤：步骤一(S100)：建立离焦图像数据集；步骤二(S200)：搭建离焦量估计模型，并利用离焦图像数据集对离焦量估计模型进行训练；步骤三(S300)：获取图像探测器采集的当前帧图像，并将当前帧图像输入至训练好的离焦量估计模型进行图像离焦量预测，得到相对于当前调焦电机位置的离焦量归一化输出值；步骤四(S400)：根据离焦量归一化输出值计算离焦量码值，并判断调焦电机的调整方向；步骤五(S500)：根据离焦量码值和调整方向调整调焦电机的位置，完成图像探测器的自动调焦。具体地，在本实施例中，首先步骤S100建立离焦图像数据集，该离焦图像数据集用于后续离焦量估计模型的训练。可选地，在其中一个具体实施方式中，参见图2，离焦图像数据集通过以下步骤建立：步骤一一(S110)：将图像探测器对准观测场景，该观测场景可以为任意选定的场景，包括人脸或者不包括人脸均可。步骤一二(S120)：对图像探测器进行手控调焦，使当前的观测场景的中心区域内的图像处于准焦状态，并记录调焦电机的当前码值。优选地，为了防止背景干扰，一般将调焦参考区域设定为视场中心区域，本实施例中的中心区域的位置视具体适用情况而定，为举例说明，本实施例中的中心区域为以图像探测器的视场中心为中心、以图像宽度的1/4为边长的区域。调焦电机用于在中央处理器和可控调焦装置的控制下调节图像探测器的靶面在光轴上的位置。步骤一三(S130)：保持图像探测器的位置不变，在调焦电机的可调整范围内按照预设步长依次调整调焦电机的位置，并记录每个调焦电机位置对应的图像和对应的离焦量归一化标签。调焦电机的可调整范围为(CMin,CMax)，可调整范围的两个端点值CMin和CMax是根据图像探测器和调焦电机的具体结构位置得到的，其分别表示调焦电机调整到两端极限位置时对应的两个电机码值，电机码值的具体值视具体情况而定。在可调整范围(CMin,CMax)内，从调焦电机可调整范围的一侧CMin按照预设步长dC依次调整调焦电机的位置，直至调焦电机可调整范围的一侧CMax，并依次记录下每个调焦电机位置对应的图像I(i)以及每个调焦电机位置对应的本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的自动调焦方法，其特征在于，包括以下步骤：/n步骤一：建立离焦图像数据集；/n步骤二：搭建离焦量估计模型，并利用所述离焦图像数据集对所述离焦量估计模型进行训练；/n步骤三：获取图像探测器采集的当前帧图像，并将所述当前帧图像输入至训练好的离焦量估计模型进行图像离焦量预测，得到相对于当前调焦电机位置的离焦量归一化输出值；/n步骤四：根据所述离焦量归一化输出值计算离焦量码值，并判断调焦电机的调整方向；/n步骤五：根据所述离焦量码值和所述调整方向调整所述调焦电机的位置，完成所述图像探测器的自动调焦。/n

【技术特征摘要】
1.一种基于卷积神经网络的自动调焦方法，其特征在于，包括以下步骤：
步骤一：建立离焦图像数据集；
步骤二：搭建离焦量估计模型，并利用所述离焦图像数据集对所述离焦量估计模型进行训练；
步骤三：获取图像探测器采集的当前帧图像，并将所述当前帧图像输入至训练好的离焦量估计模型进行图像离焦量预测，得到相对于当前调焦电机位置的离焦量归一化输出值；
步骤四：根据所述离焦量归一化输出值计算离焦量码值，并判断调焦电机的调整方向；
步骤五：根据所述离焦量码值和所述调整方向调整所述调焦电机的位置，完成所述图像探测器的自动调焦。


2.根据权利要求1所述的基于卷积神经网络的自动调焦方法，其特征在于，步骤一包括以下步骤：
步骤一一：将图像探测器对准观测场景；
步骤一二：对图像探测器进行手控调焦，使当前的观测场景的中心区域内的图像处于准焦状态，并记录调焦电机的当前码值；
步骤一三：保持图像探测器的位置不变，在调焦电机的可调整范围内按照预设步长依次调整调焦电机的位置，并记录每个调焦电机位置对应的图像和对应的离焦量归一化标签；
步骤一四：将观测场景更换为另一新的观测场景；
步骤一五：重复步骤一一至步骤一四，共重复预设次数，得到离焦图像数据集。


3.根据权利要求2所述的基于卷积神经网络的自动调焦方法，其特征在于，通过下式计算每个调焦电机位置对应的离焦量归一化标签：



其中，Ci为第i个调焦电机位置对应的码值，L(i)为第i个调焦电机位置对应的离焦量归一化标签，C0为步骤一二记录的调焦电机的当前码值，(CMin,CMax)为调焦电机的可调整范围。


4.根据权利要求2所述的基于卷积神经网络的自动调焦方法，其特征在于，
所述中心区域为以图像探测器的视场中心为中心、以图像宽度的1/4为边长的区域。


5.根据权利要求2所述的基于卷积神经网络的自动调焦方法，其特征在于，
所述预设次数大于或者等于500。


6.根据权利要求1至5任意一项所述的基于卷积神经网络的自动调焦方法，其特征在于，
所述离焦量估计模...

【专利技术属性】
技术研发人员：张艳超，余毅，高策，唐伯浩，赵立荣，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林;22