一种基于场景理解的变焦相机的对焦指导方法及系统技术方案

一种基于场景理解的变焦相机的对焦指导方法及系统，涉及计算机图像处理技术领域。在该方法中，基于预设的语义分割模型对场景图像进行语义分割处理，得到多个语义分割结果；基于多个语义分割结果，得到垂直方向的对焦损失函数值；当垂直方向的对焦损失函数值等于0且拍摄方式为固定拍摄时，确定变焦相机在固定拍摄时对焦准确；当垂直方向的对焦损失函数值等于0且拍摄方式为走航拍摄时，基于预设的第一方式获取水平方向的对焦损失函数值；当水平方向的对焦损失函数值等于0时，确定变焦相机在走航拍摄时对焦准确。实施本申请提供的技术方案，可以基于实际的拍摄场景和拍摄方式，确定合适的拍摄焦距。合适的拍摄焦距。合适的拍摄焦距。

【技术实现步骤摘要】
一种基于场景理解的变焦相机的对焦指导方法及系统


[0001]本申请涉及计算机图像处理
，具体涉及一种基于场景理解的变焦相机的对焦指导方法及系统。

技术介绍

[0002]随着计算机视觉技术的高速发展，相机越来越成为不可或缺的感知传感器。其中相机的镜头可分为定焦镜头和变焦镜头，变焦镜头相对于定焦镜头，可以通过转动变焦环来实现焦距调节。因此变焦镜头适用于更长的拍摄距离和更广的拍摄场景。
[0003]但现如今的变焦相机在使用变焦镜头拍摄场景图像时，对焦距离无法根据实际的拍摄场景和拍摄方式确定合适的拍摄焦距。因此，如何基于实际的拍摄场景和拍摄方式确定合适的拍摄焦距，成为亟待解决的问题。
[0004]因此，亟需一种基于场景理解的变焦相机的对焦指导方法及系统来解决当前技术存在的问题。

技术实现思路

[0005]本申请提供了一种基于场景理解的变焦相机的对焦指导方法及系统，可以基于实际的拍摄场景和拍摄方式，确定合适的拍摄焦距。
[0006]第一方面，本申请提供了一种基于场景理解的变焦相机的对焦指导方法，所述方法包括：获取当前场景下变焦相机拍摄的场景图像；确定所述变焦相机拍摄所述场景图像时的拍摄方式；所述拍摄方式包括固定拍摄和走航拍摄；基于预设的语义分割模型对所述场景图像进行语义分割处理，得到多个语义分割结果；基于所述多个语义分割结果，得到垂直方向的对焦损失函数值；判断所述垂直方向的对焦损失函数值是否等于0；当所述垂直方向的对焦损失函数值等于0且所述拍摄方式为所述固定拍摄时，确定所述变焦相机在所述固定拍摄时对焦准确；当所述垂直方向的对焦损失函数值等于0且所述拍摄方式为走航拍摄时，基于预设的第一方式获取水平方向的对焦损失函数值；判断所述水平方向的对焦损失函数值是否等于0；当所述水平方向的对焦损失函数值等于0时，确定所述变焦相机在所述走航拍摄时对焦准确。
[0007]通过采用上述技术方案，通过对变焦相机拍摄的场景图像进行语义分割处理，得到多个语义分割结果，可以使得变焦相机的焦距调整更加符合实际的场景图像；通过确定变焦相机拍摄场景图像时的拍摄方式；拍摄方式包括固定拍摄和走航拍摄，可以使得变焦相机的焦距调整更加符合实际的拍摄方式。通过判断固定拍摄当垂直方向的对焦损失函数值等于0时，从而确定固定拍摄对焦准确；通过判断垂直方向的对焦损失函数值等于0且水平方向的对焦损失函数值等于0，从而确定走航拍摄对焦准确。因此可以实现变焦相机的拍摄图像可以根据当前拍摄的场景和拍摄方式，使拍摄的场景图像始终处于清晰状态。
[0008]可选的，所述多个语义分割结果包括水面区域、岸边区域以及天空区域；所述基于所述多个语义分割结果，得到垂直方向的对焦损失函数值，具体包括：分别获取所述水面区
域、所述岸边区域以及所述天空区域在所述场景图像中的像素面积占比值；分别确定所述水面区域和所述天空区域在所述场景图像中的最佳像素面积占比值；通过以下公式确定所述垂直方向的对焦损失函数值：其中，为所述垂直方向的对焦损失函数值，为所述水面区域的像素面积占比值，为所述岸边区域的像素面积占比值，为所述天空区域的像素面积占比值，为所述水面区域的最佳像素面积占比值，为所述天空区域的最佳像素面积占比值。
[0009]可选的，所述基于预设的第一方式获取水平方向的对焦损失函数值，具体包括：获取所述走航拍摄的载具的航速；基于预设的第二方式，得到在所述航速下拍摄所述场景图像的移动速度；获取所述走航拍摄的拍摄间隔；获取所述场景图像的图像宽度；基于所述航速、所述场景图像的移动速度、所述拍摄间隔以及所述图像宽度，得到在所述航速下所述场景图像的前后两帧之间的拍摄重复度；确定在所述航速下所述场景图像的前后两帧之间的最佳重复度；通过以下公式确定所述水平方向的对焦损失函数值：其中，为所述水平方向的对焦损失函数值，为所述前后两帧之间的拍摄重复度，为所述前后两帧之间的最佳重复度。
[0010]可选的，在所述基于预设的语义分割模型对所述场景图像进行语义分割处理之前，所述方法还包括构建预设的语义分割模型；所述构建预设的语义分割模型，具体包括：获取所述当前场景下的多张场景图像；基于所述多张场景图像，组建数据集；对所述数据集进行语义分割标注，得到语义分割模型的训练数据；基于所述语义分割模型的训练数据训练deeplabv3+深度学习模型，得到所述当前场景下的预设的语义分割模型。
[0011]可选的，所述基于预设的第二方式，得到在所述航速下拍摄所述场景图像的移动速度，具体包括：基于计算机视觉的光流法，获取在预设时间内角点的像素位移和在预设时间内未消失的角点个数；基于所述预设时间、所述角点的像素位移以及所述未消失的角点个数，通过以下公式得到在所述航速下拍摄所述场景图像的移动速度：其中，为所述场景图像的移动速度，为所述预设时间，为所述角点的像素位移，N为所述未消失的角点个数，。
[0012]可选的，所述基于所述航速、所述移动速度、所述拍摄间隔以及所述图像宽度，得
到在所述航速下所述场景图像的前后两帧之间的拍摄重复度，具体包括：所述场景图像的前后两帧之间的拍摄重复度根据以下公式确定：其中，为所述场景图像的前后两帧之间的拍摄重复度，为所述场景图像的移动速度，为所述拍摄间隔，为所述图像宽度。
[0013]可选的，所述方法还包括：当所述垂直方向的对焦损失函数值大于或等于
‑
1且所述垂直方向的对焦损失函数值小于
‑
0.5时，播放第一语音；当所述垂直方向的对焦损失函数值大于或等于
‑
0.5且所述垂直方向的对焦损失函数值小于0时，播放第二语音；当所述垂直方向的对焦损失函数值大于0且所述垂直方向的对焦损失函数值小于或等于0.5时，播放第三语音；当所述垂直方向的对焦损失函数值大于0.5时，播放第四语音；当所述垂直方向的对焦损失函数值等于0且所述水平方向的对焦损失函数值不等于0时，播放第五语音；当所述垂直方向的对焦损失函数值等于0且水平方向的对焦损失函数值等于0时，播放第六语音。
[0014]通过采用上述技术方案，根据垂直方向的对焦损失函数值处于的范围以及水平方向的对焦损失函数值处于的范围，播放对应的语音，可以根据用户当前的实际拍摄场景和拍摄方式提供方便且只能的语音指导，从而辅助用户高效地调节变焦相机的焦距。
[0015]在本申请的第二方面提供了一种基于场景理解的变焦相机的对焦指导系统，所述系统包括：获取模块和处理模块；所述获取模块，用于获取当前场景下变焦相机拍摄的场景图像；所述处理模块，用于确定所述变焦相机拍摄所述场景图像时的拍摄方式；所述拍摄方式包括固定拍摄和走航拍摄；还用于基于预设的语义分割模型对所述场景图像进行语义分割处理，得到多个语义分割结果；还用于基于所述多个语义分割结果，得到垂直方向的对焦损失函数值；还用于判断所述垂直方向的对焦损失函数值是否等于0；还用于当所述垂直方向的对焦损失函数值等于0且所述拍摄方式为所述固定拍摄时，确定所述变焦相机在所述固定拍摄时对焦准确；还用于当所述垂直方向的对焦损失函本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于场景理解的变焦相机的对焦指导方法，其特征在于，所述方法包括：获取当前场景下变焦相机拍摄的场景图像；确定所述变焦相机拍摄所述场景图像时的拍摄方式；所述拍摄方式包括固定拍摄和走航拍摄；基于预设的语义分割模型对所述场景图像进行语义分割处理，得到多个语义分割结果；基于所述多个语义分割结果，得到垂直方向的对焦损失函数值；判断所述垂直方向的对焦损失函数值是否等于0；当所述垂直方向的对焦损失函数值等于0且所述拍摄方式为所述固定拍摄时，确定所述变焦相机在所述固定拍摄时对焦准确；当所述垂直方向的对焦损失函数值等于0且所述拍摄方式为走航拍摄时，基于预设的第一方式获取水平方向的对焦损失函数值；判断所述水平方向的对焦损失函数值是否等于0；当所述水平方向的对焦损失函数值等于0时，确定所述变焦相机在所述走航拍摄时对焦准确。2.根据权利要求1所述的一种基于场景理解的变焦相机的对焦指导方法，其特征在于，所述多个语义分割结果包括水面区域、岸边区域以及天空区域；所述基于所述多个语义分割结果，得到垂直方向的对焦损失函数值，具体包括：分别获取所述水面区域、所述岸边区域以及所述天空区域在所述场景图像中的像素面积占比值；分别确定所述水面区域和所述天空区域在所述场景图像中的最佳像素面积占比值；通过以下公式确定所述垂直方向的对焦损失函数值：其中，为所述垂直方向的对焦损失函数值，为所述水面区域的像素面积占比值，为所述岸边区域的像素面积占比值，为所述天空区域的像素面积占比值，为所述水面区域的最佳像素面积占比值，为所述天空区域的最佳像素面积占比值。3.根据权利要求1所述的一种基于场景理解的变焦相机的对焦指导方法，其特征在于，所述基于预设的第一方式获取水平方向的对焦损失函数值，具体包括：获取所述走航拍摄的载具的航速；基于预设的第二方式，得到在所述航速下拍摄所述场景图像的移动速度；获取所述走航拍摄的拍摄间隔；获取所述场景图像的图像宽度；
基于所述航速、所述场景图像的移动速度、所述拍摄间隔以及所述图像宽度，得到在所述航速下所述场景图像的前后两帧之间的拍摄重复度；确定在所述航速下所述场景图像的前后两帧之间的最佳重复度；通过以下公式确定所述水平方向的对焦损失函数值：其中，为所述水平方向的对焦损失函数值，为所述前后两帧之间的拍摄重复度，为所述前后两帧之间的最佳重复度。4.根据权利要求1所述的一种基于场景理解的变焦相机的对焦指导方法，其特征在于，在所述基于预设的语义分割模型对所述场景图像进行语义分割处理之前，所述方法还包括构建预设的语义分割模型；所述构建预设的语义分割模型，具体包括：获取所述当前场景下的多张场景图像；基于所述多张场景图像，组建数据集；对所述数据集进行语义分割标注，得到语义分割模型的训练数据；基于所述语义分割模型的训练数据训练deeplabv3+深度学习模型，得到所述当前场景下的预设的语义分割模型。5.根据权利要求3所述的一种基于场景理解的变焦相机的对焦指导方法，其特征在于，所述基于预设的第二方式，得到在所述航速下拍摄所述场景图像的移动速度，具体包括：基于计算机视觉的光流法，获取在预设时间内角点的像素位移和在预设时间内未消失的角点个数；基于所述预设时间、所述...

【专利技术属性】
技术研发人员：刘迅，王得举，刘黎明，
申请(专利权)人：上海普适导航科技股份有限公司，
类型：发明
国别省市：