经由深度学习的单图像超广角鱼眼相机校准制造技术

本公开涉及经由深度学习的单图像超广角鱼眼相机校准。讨论了涉及使用单个图像来校准鱼眼相机的技术。此类技术包括：将第一预训练的卷积神经网络应用于输入的鱼眼图像，以生成除主点之外的相机模型参数；以及将第二预训练的卷积神经网络应用于所述鱼眼图像以及所述鱼眼图像与使用所述相机模型参数的所述鱼眼图像的投影的差分，以生成主点。以生成主点。以生成主点。

【技术实现步骤摘要】
经由深度学习的单图像超广角鱼眼相机校准


[0001]本公开涉及图像领域，具体地涉及经由深度学习的单图像超广角鱼眼相机校准。

技术介绍

[0002]从超广角鱼眼镜头获得的图像和视频可用于各种环境，包括全景图像制作、虚拟现实内容生成、视频监视系统、自动驾驶解决方案和高级驾驶员辅助系统(ADAS)等。一些当前的鱼眼镜头校准技术依赖于使用诸如棋盘等的校准目标来捕获多个校准图像，以提取图像特征并估计相机参数。尽管此类校准目标技术提供了准确的校准结果，但是它们需要用户使用校准目标在不同的视点获得图像序列，这既耗时又在实践中难以应用，特别是对于业余用户。此外，使用超广角鱼眼镜头获得的图像的自动图像特征提取通常是不准确的，需要用户输入才能更准确地提取特征。自校准方法比校准目标校准方法更方便，但是具有多种限制，包括依赖于图像之间的特征对应关系，这需要捕获的图像序列是高质量的，以便针对大的无纹理区域的图像具有良好的特征对应关系，从而提供不准确的校准结果此外，此类技术在现实世界应用中很难应用。
[0003]因此，当前的鱼眼镜头校准技术在易用性和质量方面是不足本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于鱼眼相机校准的系统，包括：存储器，其被配置为存储输入的鱼眼图像；以及一个或多个处理器，其被耦合到所述存储器，所述一个或多个处理器用于：将第一卷积神经网络应用于包括所述输入的鱼眼图像的第一输入体积，以生成与用于获得所述输入的鱼眼图像的鱼眼相机相对应的统一相机模型的焦距、统一相机模型参数和径向变形参数；使用所述焦距、所述统一相机模型参数和所述径向变形参数将所述输入的鱼眼图像投影到估计的等矩柱状图像；对所述输入的鱼眼图像与所述估计的等矩柱状图像进行差分以生成差分图像；将第二卷积神经网络应用于包括所述输入的鱼眼图像和所述差分图像的第二输入体积，以生成所述相机模型的主点；以及输出所述统一相机模型的所述焦距、所述统一相机模型参数、所述径向变形参数和所述主点。2.根据权利要求1所述的系统，所述一个或多个处理器用于：将所述输入的鱼眼图像或与所述输入的鱼眼图像相对应的第二输入的鱼眼图像投影到最终等矩柱状图像；以及将所述最终等矩柱状图像输出到所述存储器。3.根据权利要求2所述的系统，其中，所述最终等矩柱状图像基于所述第二输入的鱼眼图像，并且所述输入的鱼眼图像是从所述第二输入的鱼眼图像中裁剪的。4.根据权利要求1至3中任一项所述的系统，其中，所述统一相机模型参数包括所述统一相机模型的参考坐标系偏移，并且所述统一相机模型的相机投影矩阵包括所述焦距和主点。5.根据权利要求1至3中任一项所述的系统，其中，所述第二输入体积包括所述输入的鱼眼图像的三个颜色通道与所述差分图像的三个颜色通道的级联。6.根据权利要求1至3中任一项所述的系统，其中，所述第一卷积神经网络包括：最终卷积层，接着是批归一化层，接着是Sigmoid单元层，用于输出针对所述焦距、所述统一相机模型参数和所述径向变形参数中每一者的特征图，以及全局平均池化层，用于对每个特征图进行平均以生成所述焦距、所述统一相机模型参数和所述径向变形参数。7.根据权利要求6所述的系统，其中，所述第一卷积神经网络在所述最终卷积层之前包括多个密集网络子单元，每个所述密集网络子单元接收所述第一输入体积与来自先前的密集网络子单元的所有特征图的级联。8.根据权利要求7所述的系统，其中，所述密集网络子单元中的第一密集网络子单元包括第一卷积层，接着是第一批归一化层，接着是第一修正线性单元层。9.根据权利要求1至3中任一项所述的系统，其中，所述第二卷积神经网络包括：最终卷积层，接着是批归一化层，接着是Sigmoid单元层，用于输出所述主点的每个分量的特征图，以及全局平均池化层，用于对每个特征图进行平均以生成主点。10.根据权利要求9所述的系统，其中，所述第二卷积神经网络在所述最终卷积层之前包括：多个编码器卷积神经网络层，接着是多个解码器卷积神经网络层。11.一种用于鱼眼相机校准的方法，包括：
将第一卷积神经网络应用于包括...

【专利技术属性】
技术研发人员：张帆，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：