【技术实现步骤摘要】
本专利技术属于自动对焦，涉及一种基于每像素监督的深度学习相机自动对焦方法及系统。
技术介绍
1、由于相机的景深受限，加上被摄物体与相机的距离不确定性，使得相机焦距的设置对照片质量至关重要。现有的自动对焦方法显著降低了用户调整焦距的复杂性，广泛应用于日常摄影、显微镜成像、全聚焦成像等多个领域。
2、传统的自动对焦方法主要分为主动对焦和被动对焦两种，主动对焦依赖于使用特殊设备事先测量相机与被摄物体之间的距离，然后根据测得的数据计算所需的焦距。这种方法需要额外的设备，成本较高，并且自动对焦算法常常与具体设备信息相关。相比之下，被动对焦是一种基于图像的自动对焦方法，也是主流方法之一。它的流程是先拍摄照片，然后通过不断调整焦距，根据图像的锐度信息，找到使图像锐度最大时的焦距。被动对焦方法的优点在于不受设备影响，具有广泛适用性。然而，这种方法需要多次对焦操作，难以一步到位，使用较繁琐。
3、近年来，随着深度学习的迅猛发展，计算机视觉领域取得了显著成就。卷积神经网络和transformer模型在图像分类、目标检测、语义分割、深度估计等领域的成功也为相机自动对焦的研究提供了启示，即使用深度学习方法直接预测最优焦距的取值。
4、虽然使用神经网络直接预测单张图像的最优焦距似乎是合理的，但实际上具有相当的复杂性。在目标检测、语义分割等领域，深度学习的成功几乎是必然的，因为在自动对焦领域，人眼实际上很难准确地判断一张照片的最优焦距，只能大致判断照片是否模糊。与模仿人眼工作机制的深度学习方法一样，精确确定照片的最优焦距
技术实现思路
1、本专利技术的目的在于提供一种基于每像素监督的深度学习相机自动对焦方法及系统，使用每像素最优焦距图监督训练，具有更高的最优焦距预测精度，避免了其他自动对焦方法需要二次调整的问题。
2、为了达到上述目的，本专利技术的基础方案为：一种基于每像素监督的深度学习相机自动对焦方法，包括如下步骤：
3、s1，采集多个场景的不同焦距的图像数据集；
4、s2，根据图像数据集，计算图像对应的每像素最优焦距图m和最优焦距预测值f；
5、s3，构建基于每像素监督的最优焦距预测模型a；
6、s4，将图像数据集中的rgb离焦图，当前焦距，聚焦区域图作为输入，数据集中的每像素最优焦距图m和最优焦距预测值f作为监督数据，对最优焦距预测模型a进行训练，得到训练完成的最优焦距预测模型a’；
7、s5，将离焦图像输入最优焦距预测模型a’中，得到最优焦距预测图m’和最优焦距预测值f’，将相机焦距设置为f’完成自动对焦。
8、本基础方案的工作原理和有益效果在于：本技术方案使用深度学习方法直接进行焦距预测，避免了其他自动对焦方法需要多次调整的问题。对相机设备要求低，无需测距设备或者双像素相机。本技术方案的方法可移植性好，可以在多种设备上进行训练和使用，如不同型号的手机和相机。
9、进一步，步骤s2中计算图像对应的每像素最优焦距图m的方法为：
10、通过100等分相机焦距设置范围，得到采集焦距序列seq：
11、seq＝{f1,f2,f3,...,f100}；
12、拍摄seq中所有焦距设置的图像集合i，计算i中所有像素周围局部图像的对比度并选出对比度最高的对应焦距值fi，以fi作为该像素的最优焦距预测值，由每个像素的最优焦距预测值fi构成每像素最优焦距图m。
13、根据像素的最优焦距预测值fi，计算图像对应的每像素最优焦距图m，以便后续调焦。
14、进一步，步骤s2中计算图像对应的最优焦距预测值f的方法为：
15、在数据集中，每个场景下随机选择n个对焦矩形区域，计算每像素最优焦距图m在该区域内的平均值，得到最优焦距预测值f,n≥3。
16、通过随机选择n个对焦矩形区域，在该区域内劲计算最优焦距预测值f，数据简洁，减轻运算负担。
17、进一步，所述最优焦距预测模型a采用特征提取骨干网络，特征提取骨干网络包括两个输出头部，分别输出最优焦距预测图m’和最优焦距预测值f’，特征提取骨干网络以rgb离焦图、当前相机焦距值和聚焦区域图作为输入。
18、设置最优焦距预测模型a，输入全图像和对焦区域图，以预测感兴趣区域的最优焦距，而不是仅输入感兴趣区域图像预测焦距，对焦效果更好。
19、进一步，所述聚焦区域图是尺寸与rgb离焦图相同的二值图像，其中需要聚焦的区域为一个h×w大小的矩形，该矩形内值为1，图像内其他位置值为0。
20、聚焦区域图的结构，利于模型使用。
21、进一步，得到最优焦距预测图m’和最优焦距预测值f’的方法为：
22、rgb离焦图先经过平均池化和最大池化，再经过7×7卷积得到参数矩阵w，w与rgb离焦图尺寸相同；
23、参数矩阵w与当前焦距值相乘得到特征图p1，p1与聚焦区域图堆叠得到特征图p2，p2通过特征提取骨干网络得到特征图p3；
24、特征图p3通过特征提取骨干网络的深度估计输出头部，得到最优焦距预测图m’；
25、特征图p3通过卷积和全链接层得到bins的中心值和x分类概率值，x分类概率值分别对应最优焦距预测值落在x个bins中的概率，再将x分类概率值分别与所有bins的中心值相乘再求和，得到焦距预测值f’，x为大于1的正整数。
26、进一步，需要处理三个损失fdmaploss，binsloss和fdloss的权重，损失函数为：
27、
28、其中，ω1，ω2，ω3为预先设置的参数；
29、是深度图mse损失fdmaploss：
30、
31、其中，w表示照片的宽度，h表示照片的高度，fi表示第i个像素的真实焦距最优值，表示第i个像素的预测最优焦距值；
32、是聚类信息fmc预测损失binsloss：
33、
34、其中，c表示输出的bins向量长度，ki表示预测的第i个bin的中心值，表示真实的第i个bin的中心值；
35、是最优焦距回归损失fdloss：
36、
37、其中，fi表示第i个像素的真实焦距最优值，表示第i个像素的预测最优焦距值；
38、分别负责特征图p3一个分支的参数更新，由于均需要反向传播至主干网络，通过计算的用于主干网络的反向传播与参数更新；
39、模型使用adam优化器进行训练，初始lr为0.000357，批量大小为2，全局步数为80k。
40、根据rgb离焦图的特征，计算最优焦距预测图m’和最优焦距预测值f’，便于后续对焦。
41、进一步，所述图像数据集包括至少10种典型场景类型，每种典型场景类型包括至少327本文档来自技高网...
【技术保护点】
1.一种基于每像素监督的深度学习相机自动对焦方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，步骤S2中计算图像对应的每像素最优焦距图M的方法为：
3.如权利要求1所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，步骤S2中计算图像对应的最优焦距预测值F的方法为：
4.如权利要求1所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，所述最优焦距预测模型A采用特征提取骨干网络，特征提取骨干网络包括两个输出头部，分别输出最优焦距预测图M’和最优焦距预测值F’，特征提取骨干网络以RGB离焦图、当前相机焦距值和聚焦区域图作为输入。
5.如权利要求4所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，所述聚焦区域图是尺寸与RGB离焦图相同的二值图像，其中需要聚焦的区域为一个H×W大小的矩形，该矩形内值为1，图像内其他位置值为0。
6.如权利要求4所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，得到最优焦距预测图M’和最优焦距预测值F’
7.如权利要求6所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，需要处理三个损失fdMapLoss，binsLoss和fdLoss的权重，损失函数为：
8.如权利要求1所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，所述图像数据集包括至少10种典型场景类型，每种典型场景类型包括至少327个不同拍摄场景，对于每个拍摄场景会拍摄100个不同焦距，即相机焦距设置的100等分值。
9.一种基于每像素监督的深度学习相机自动对焦系统，其特征在于，包括数据采集模块和处理模块，所述数据采集模块用于采集图像数据，数据采集模块的输出端与处理模块连接，所述处理模块执行权利要求1-8之一所述方法，进行相机自动对焦。
...【技术特征摘要】
1.一种基于每像素监督的深度学习相机自动对焦方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，步骤s2中计算图像对应的每像素最优焦距图m的方法为：
3.如权利要求1所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，步骤s2中计算图像对应的最优焦距预测值f的方法为：
4.如权利要求1所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，所述最优焦距预测模型a采用特征提取骨干网络，特征提取骨干网络包括两个输出头部，分别输出最优焦距预测图m’和最优焦距预测值f’，特征提取骨干网络以rgb离焦图、当前相机焦距值和聚焦区域图作为输入。
5.如权利要求4所述的基于每像素监督的深度学习相机自动对焦方法，其特征在于，所述聚焦区域图是尺寸与rgb离焦图相同的二值图像，其中需要聚焦的区域为一个h×w大小的矩形，该矩形内...
【专利技术属性】
技术研发人员：魏小林，伍星，杨瑞龙，何中市，邓秋菊，汪成亮，杨再林，刘耀，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。