一种基于深度学习的自然图像自动对焦方法技术

本发明专利技术涉及图像处理技术领域，具体公开了一种基于深度学习的自然图像自动对焦方法，包括：在显微镜当前位置采集自然图像；提取所述自然图像中感兴趣区域所在的图像子块；利用训练好的深度学习模型预测所述图像子块的散焦距离；根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。本发明专利技术提供的基于深度学习的自然图像自动对焦方法，通过单个模型即可实现从单张自然图像中预测散焦距离，极大地缩短了预测流程，同时将模型通过TensorRT进行部署，利用GPU的并行计算能力来加速模型的推理过程，实现实时自动对焦。实现实时自动对焦。实现实时自动对焦。

【技术实现步骤摘要】
一种基于深度学习的自然图像自动对焦方法


[0001]本专利技术涉及图像处理
，更具体地，涉及一种基于深度学习的自然图像自动对焦方法。

技术介绍

[0002]自动对焦系统在显微镜成像中具有重要作用。它能够确保获得高质量和清晰度的图像，提高工作效率并简化操作。自动对焦系统可分为基于硬件的自动对焦和基于图像的自动对焦。基于硬件的自动对焦需要安装距离传感器来测量散焦距离，而基于图像的自动对焦则仅依靠图像本身来预测散焦距离。
[0003]基于自然图像的自动对焦方法通过分析图像特征和指标来确定最佳的焦点位置。其中包括：图像对比度法，通过对比度变化来确定焦点；焦平面扫描法，通过比较不同焦平面上的清晰度来确定焦点；频域法，通过分析图像的频域特征来确定焦点位置。然而，这些方法均需采集多张图像才能实现对焦，导致对焦速度慢并不具有实时性，且其对焦精度受到移动步长的影响。
[0004]针对上述基于自然图像的自动对焦方法需要采集多张图像而导致对焦速度慢的问题，开发高性能的自动对焦算法，使得其具有实时、高精度和高鲁棒的特性。

技术实现思路

[0005]针对上述基于自然图像的显微镜自动对焦存在的技术问题，本专利技术提供了一种基于深度学习的自然图像自动对焦方法，以解决现有显微镜无法实时自动对焦，精度低和鲁棒性差等技术问题。
[0006]作为本专利技术的第一个方面，提供一种基于深度学习的自然图像自动对焦方法，包括如下步骤：
[0007]步骤S1：在显微镜当前位置采集自然图像；
[0008]步骤S2：提取所述自然图像中感兴趣区域所在的图像子块；
[0009]步骤S3：利用训练好的深度学习模型预测所述图像子块的散焦距离；
[0010]步骤S4：根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。
[0011]进一步地，所述提取所述自然图像中感兴趣区域所在的图像子块，包括：
[0012]选取所述自然图像中想要聚焦清晰的感兴趣区域，并从所述感兴趣区域中提取出大小为320
×
320的图像子块。
[0013]进一步地，所述利用训练好的深度学习模型预测所述图像子块的散焦距离之前，包括：
[0014]构建轻量级的深度学习模型；
[0015]制作用于训练深度学习模型的数据集；
[0016]根据所述数据集对所述轻量级的深度学习模型进行训练，以生成所述训练好的深度学习模型。
[0017]进一步地，所述制作用于训练深度学习模型的数据集，包括：
[0018]定步长和定行程以同时采集芯片上各个焦平面的自然图像和裂像图像，并提取所有自然图像和裂像图像中感兴趣区域所在的图像子块，得到自然图像的焦点堆栈和裂像图像的焦点堆栈；
[0019]根据裂像图像的焦点堆栈来确定每组自然图像的焦点堆栈对应的基准图像子块，标注其散焦距离为0μm，并按照所述步长为每组自然图像的焦点堆栈中的其他图像子块标注真实的散焦距离，制作出带有标签的数据集。
[0020]进一步地，所述根据所述数据集对所述轻量级的深度学习模型进行训练，以生成所述训练好的深度学习模型，还包括：
[0021]将所述带有标签的数据集中的散焦图像输入到所述轻量级的深度学习模型中，输出该散焦图像的预测散焦距离；
[0022]根据每张散焦图像的预测散焦距离及其对应的真实散焦距离，得到两者之间的均方差损失函数；
[0023]根据均方差损失函数更新所述轻量级的深度学习模型的网络参数，重复上述过程，直至训练好模型。
[0024]进一步地，所述根据裂像图像的焦点堆栈来确定每组自然图像的焦点堆栈对应的基准图像子块，包括：
[0025]利用相似度算法估计每组焦点堆栈中所有裂像图像的上下裂像图案的相对像素距离，确定相对像素距离最小的裂像图像所在的位置；
[0026]根据标定差值和相对像素距离最小的裂像图像所在的位置，选取相对应的自然图像子块作为每组焦点堆栈的基准图像子块。
[0027]进一步地，所述标定差值，包括：
[0028]定步长和定行程以同时采集高分辨率标定板上各个焦平面的自然图像和裂像图像，并分别提取自然图像和裂像图像中感兴趣区域所在的图像子块，得到自然图像的焦点堆栈和裂像图像的焦点堆栈；
[0029]利用相似度算法估计焦点堆栈中裂像图像的上下裂像图案的相对像素距离，确定焦点堆栈中相对像素距离最小的裂像图像所在的位置；
[0030]利用清晰度评价算子评估焦点堆栈中自然图像的对比度，确定焦点堆栈中对比度最大的自然图像所在的位置；
[0031]焦点堆栈中相对像素距离最小的裂像图像所在的位置与对比度最大的自然图像所在的位置之间的距离即为标定差值。
[0032]进一步地，所述利用训练好的深度学习模型预测所述图像子块的散焦距离，还包括：
[0033]所述训练好的深度学习模型将输入的当前图像子块先通过5次下采样提取图像特征，然后经过全连接层将提取的图像特征进行整合，最终输出所述当前图像子块的单个预测散焦距离。
[0034]进一步地，所述训练好的深度学习模型的网络结构包括五种基础块，分别为第一基础块、第二基础块、第三基础块、第四基础块、第五基础块，还包括：
[0035]将输入的单张图像子块先经过所述第一基础块进行浅层特征提取得到大小为128
×
128
×
C1的特征图；而后经过由一个所述第二基础块和两个所述第三基础块组成的第一串联结构调整该特征图的通道数为C2；紧接着再经过两个第一串联结构得到大小为32
×
32
×
C4的特征图；然后经过由一个所述第二基础块和两个所述第四基础块组成的第二串联结构提取得到大小为16
×
16
×
C5的特征图；紧接着再经过两个所述第二串联结构进行高维特征提取，得到大小为8
×8×
C7的特征图；之后再经过所述第一基础块和全局平均池化对其在二维图像层面进行特征整合，并由所述第一基础块调整通道数得到大小为1
×1×
C8的特征图；最后由三个所述第五基础块以全连接层的形式对高维特征进行整合并输出预测结果。
[0036]进一步地，所述第一基础块包括一个卷积层后接批归一化处理和激活函数；所述第二基础块由逆残差结构组成，分别执行1
×
1的升维卷积、3
×
3的深度可分离卷积和1
×
1的降维卷积；所述第三基础块由逆残差结构组成，分别执行1
×
1的升维卷积、3
×
3的深度可分离卷积、自注意力机制和1
×
1的降维卷积，在施加自注意力机制之前，需要将由所述3
×
3深度可分离卷积提取的特征通过卷积的方式调整成大小为16
×
16
×
C的特征图，而后进行通道融合，得到大小为256
×
C的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的自然图像自动对焦方法，其特征在于，包括如下步骤：步骤S1：在显微镜当前位置采集自然图像；步骤S2：提取所述自然图像中感兴趣区域所在的图像子块；步骤S3：利用训练好的深度学习模型预测所述图像子块的散焦距离；步骤S4：根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。2.根据权利要求1所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述提取所述自然图像中感兴趣区域所在的图像子块，包括：选取所述自然图像中想要聚焦清晰的感兴趣区域，并从所述感兴趣区域中提取出大小为320
×
320的图像子块。3.根据权利要求1所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述利用训练好的深度学习模型预测所述图像子块的散焦距离之前，包括：构建轻量级的深度学习模型；制作用于训练深度学习模型的数据集；根据所述数据集对所述轻量级的深度学习模型进行训练，以生成所述训练好的深度学习模型。4.根据权利要求3所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述制作用于训练深度学习模型的数据集，包括：定步长和定行程以同时采集芯片上各个焦平面的自然图像和裂像图像，并提取所有自然图像和裂像图像中感兴趣区域所在的图像子块，得到自然图像的焦点堆栈和裂像图像的焦点堆栈；根据裂像图像的焦点堆栈来确定每组自然图像的焦点堆栈对应的基准图像子块，标注其散焦距离为0μm，并按照所述步长为每组自然图像的焦点堆栈中的其他图像子块标注真实的散焦距离，制作出带有标签的数据集。5.根据权利要求4所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述根据所述数据集对所述轻量级的深度学习模型进行训练，以生成所述训练好的深度学习模型，还包括：将所述带有标签的数据集中的散焦图像输入到所述轻量级的深度学习模型中，输出该散焦图像的预测散焦距离；根据每张散焦图像的预测散焦距离及其对应的真实散焦距离，得到两者之间的均方差损失函数；根据均方差损失函数更新所述轻量级的深度学习模型的网络参数，重复上述过程，直至训练好模型。6.根据权利要求4所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述根据裂像图像的焦点堆栈来确定每组自然图像的焦点堆栈对应的基准图像子块，包括：利用相似度算法估计每组焦点堆栈中所有裂像图像的上下裂像图案的相对像素距离，确定相对像素距离最小的裂像图像所在的位置；根据标定差值和相对像素距离最小的裂像图像所在的位置，选取相对应的自然图像子块作为每组焦点堆栈的基准图像子块。7.根据权利要求6所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所
述标定差值，包括：定步长和定行程以同时采集高分辨率标定板上各个焦平面的自然图像和裂像图像，并分别提取自然图像和裂像图像中感兴趣区域所在的图像子块，得到自然图像的焦点堆栈和裂像图像的焦点堆栈；利用相似度算法估计焦点堆栈中裂像图像的上下裂像图案的相对像素距离，确定焦点堆栈中相对像素距离最小的裂像图像所在的位置；利用清晰度评价算子评估焦点堆栈中自然图像的对比度，确定焦点堆栈中对比度最大的自然图像所在的位置；焦点堆栈中相对像素距离最小的裂...

【专利技术属性】
技术研发人员：华智捷，张旭，浦栋麟，
申请(专利权)人：江苏集萃华科智能装备科技有限公司，
类型：发明
国别省市：