基于卷积的相机和显示器校准制造技术

公开了用于校准相机和显示器的技术。使用相机捕获目标的图像。目标包括具有重复的图块结构的细分曲面。目标进一步包括叠加到细分曲面上的独特图案。矩阵基于捕获图像内的像素强度形成。矩阵中的每个矩阵包括各自与图块中的一个图块内的像素强度对应的值。矩阵与内核进行卷积以生成强度图。基于独特图案中的对应独特图案生成内核中的每个内核。识别强度图中的每个强度图中的极值。图像内的独特图案中的每个独特图案的位置基于强度图中的每个强度图的极值确定。使用独特图案中的每个独特图案的位置执行设备校准。位置执行设备校准。位置执行设备校准。

【技术实现步骤摘要】
【国外来华专利技术】基于卷积的相机和显示器校准
[0001]相关申请的交叉引用
[0002]本申请要求于2020年5月6日提交的题为“CONVOLUTION
‑
BASED CAMERA AND DISPLAY CALIBRATION”的美国临时专利申请No.63/020,787的优先权权益，其全部内容出于所有目的通过引用并入在此。

技术介绍

[0003]相机是一种经常用来捕获图像或视频的输入设备。由相机捕获的数据用于各种不同的目的和情境。例如，可穿戴设备可包括一个或多个板载相机，以用于为该可穿戴设备用户周围的周围环境提供图像数据。一个示例是一种立体可穿戴眼镜，其具有两个前向相机，该前向相机被配置为捕获图像以用于通过立体显示器向用户展示增强现实(AR)。可穿戴眼镜还可包括后向相机以用于捕获用户眼睛的图像。
[0004]经常执行相机校准以确保相机以及从由相机捕获的图像数据中提取的信息的精度和准确性。相机校准过程确定了产生图像的相机设备的真实参数，这允许确定相机的校准数据，诸如内在参数和外在参数。内在参数包括但不限于焦点、焦距、主点和失真系数。外在参数包括但不限于多个相机之间的位置关系以及传感器之间的平移和旋转偏移量。
[0005]显示器(也称为显示设备)是一种以可视形式呈现信息的输出设备。由于光学组件的特性，诸如在智能电话、计算机和平板计算机中使用的显示器的显示器在它们的颜色响应、色调响应等方面可以表现出显著数量的可变性。与相机校准类似，显示器校准可用于确定与显示器相关联的各种参数。在确定这些参数时，可以调节显示器以产生期望的亮度或光度级别、颜色、色调、像素位置等。
[0006]在一些情况下，显示器校准可以包括几何方面。例如，诸如在AR显示器中发现的双目显示器的双目显示器中，三维(3D)图像可以显示为可感知的深度纹理。由于目镜失真、未对齐的发光二极管(LED)通道和/或未对齐的目镜等，将每个显示像素映射到用户所感知的3D空间中来自特定方向的光的坐标系可能最初并不已知。通过显示目标(诸如棋盘或一系列点)，可以采用几何显示器校准来确定每个特征的像素间距。
[0007]相机和显示器二者通常通过使用二维(2D)图案(称为标记或目标)进行校准。常用的目标包括ArUco目标及其衍生物，即ChArUco目标。这些目标使用相机经由传统的计算机视觉方法在光线充足的环境中捕获。捕获的图像可被分析来识别沿目标方向的2D点，该2D点然后可用于执行六自由度(6DOF)的姿态估计。例如，基于基准的SLAM通过首先在世界中放置少量固定和独特的图案来重建世界。一旦至少一个这种目标被检测到，就可以估计经校准相机的姿态。

技术实现思路

[0008]本公开一般涉及用于改进相机和显示设备的性能的技术。更特别地，本公开的实施例提供了用于捕获和处理包含多图案目标的图像以便校准捕获图像的设备或显示在所捕获的图像中包含的目标的设备的技术。尽管本公开通常参考增强现实(AR)设备描述，但
本公开可应用于计算机视觉和显示技术中的各种应用。
[0009]下面提供了本专利技术的各种实施例的摘要作为示例列表。如下面所使用的，任何对一系列示例的引用都应该被理解为对这些示例中的每个示例的分离引用(例如，“示例1
‑
4”应该被理解为“示例1、2、3或4”)。
[0010]示例1是一种用于执行设备校准的方法，该方法包括：使用相机捕获目标的图像，该目标包括具有重复的图块结构的细分曲面(tessellation)，该目标进一步包括叠加在细分曲面上的一个或多个独特图案；基于图像的像素强度形成一个或多个矩阵，其中，一个或多个矩阵中的每个矩阵包括多个值，每个值对应于图块中的一个图块内的像素强度；将一个或多个矩阵与一个或多个内核进行卷积以生成一个或多个强度图，其中，基于一个或多个独特图案中的对应独特图案生成一个或多个内核中的每个内核；识别一个或多个强度图中的每个强度图的极值；基于一个或多个强度图中的每个强度图的极值来确定图像内的一个或多个独特图案中的每个独特图案的位置；以及使用一个或多个独特图案中的每个独特图案的位置执行设备校准。
[0011]示例2是示例1的方法，其中，执行设备校准包括：使用一个或多个独特图案中的每个独特图案的位置校准相机。
[0012]示例3是示例1
‑
2的方法，进一步包括：在显示器上渲染目标。
[0013]示例4是示例3的方法，其中，执行设备校准包括：使用一个或多个独特图案中的每个独特图案的位置校准显示器。
[0014]示例5是示例1
‑
4的方法，进一步包括：将图像划分为多个图像区域，其中，针对多个图像区域中的每个图像区域形成一个或多个矩阵中的矩阵。
[0015]示例6是示例1
‑
5的方法，其中，形成一个或多个矩阵包括：针对一个或多个矩阵中的每个矩阵，通过对图块中的对应图块内的像素强度进行平均来计算多个值中的每个值。
[0016]示例7是示例1
‑
6的方法，其中，基于被叠加到细分曲面上的一个或多个独特图案中的对应独特图案生成一个或多个内核中的每个内核。
[0017]示例8是一种包括指令的非暂态计算机可读介质，该指令当由一个或多个处理器执行时，使一个或多个处理器执行包括如下操作的操作：使用相机捕获目标的图像，该目标包括具有重复的图块结构的细分曲面，该目标进一步包括叠加在细分曲面上的一个或多个独特图案；基于图像的像素强度形成一个或多个矩阵，其中，一个或多个矩阵中的每个矩阵包括多个值，每个值对应于图块中的一个图块内的像素强度；将一个或多个矩阵与一个或多个内核进行卷积以生成一个或多个强度图，其中，基于一个或多个独特图案中的对应独特图案生成一个或多个内核中的每个内核；识别一个或多个强度图中的每个强度图的极值；基于一个或多个强度图中的每个强度图的极值来确定图像内的一个或多个独特图案中的每个独特图案的位置；以及使用一个或多个独特图案中的每个独特图案的位置执行设备校准。
[0018]示例9是示例8的非暂态计算机可读介质，其中执行设备校准包括：使用一个或多个独特图案中的每个独特图案的位置校准相机。
[0019]示例10是示例8
‑
9的非暂态计算机可读介质，其中，该操作进一步包括：在显示器上渲染目标。
[0020]示例11是示例10中的非暂态计算机可读介质，其中，执行设备校准包括：使用一个
或多个独特图案中的每个独特图案的位置校准显示器。
[0021]示例12是示例8
‑
11的非暂态计算机可读介质，其中，操作进一步包括：将图像划分为多个图像区域，其中，针对多个图像区域中的每个图像区域形成一个或多个矩阵中的矩阵。
[0022]示例13是示例8
‑
12的非暂态计算机可读介质，其中，形成一个或多个矩阵包括：针对一个或多个矩阵中的每个矩阵，通过对图块中的对应图块内的像素强度进行平均来计算多个值中的每个值。
[0023]示例14是示本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于执行设备校准的方法，所述方法包括：使用相机捕获目标的图像，所述目标包括具有重复的图块结构的细分曲面，所述目标进一步包括叠加在所述细分曲面上的一个或多个独特图案；基于所述图像的像素强度形成一个或多个矩阵，其中，所述一个或多个矩阵中的每个矩阵包括多个值，每个值对应于所述图块中的一个图块内的所述像素强度；将所述一个或多个矩阵与一个或多个内核进行卷积以生成一个或多个强度图，其中，基于所述一个或多个独特图案中的对应独特图案生成所述一个或多个内核中的每个内核；识别所述一个或多个强度图中的每个强度图中的极值；基于所述一个或多个强度图中的每个强度图的所述极值来确定所述图像内的所述一个或多个独特图案中的每个独特图案的位置；以及使用所述一个或多个独特图案中的每个独特图案的所述位置执行所述设备校准。2.根据权利要求1所述的方法，其中，执行所述设备校准包括：使用所述一个或多个独特图案中的每个独特图案的所述位置校准所述相机。3.根据权利要求1所述的方法，进一步包括：在显示器上渲染所述目标。4.根据权利要求3所述的方法，其中，执行所述设备校准包括：使用所述一个或多个独特图案中的每个独特图案的所述位置校准所述显示器。5.根据权利要求1所述的方法，进一步包括：将所述图像划分为多个图像区域，其中，针对所述多个图像区域中的每个图像区域形成所述一个或多个矩阵中的矩阵。6.根据权利要求1所述的方法，其中，形成所述一个或多个矩阵包括：针对所述一个或多个矩阵中的每个矩阵，通过对所述图块中的对应图块内的所述像素强度进行平均来计算所述多个值中的每个值。7.根据权利要求1所述的方法，其中，基于被叠加到所述细分曲面上的所述一个或多个独特图案中的所述对应独特图案生成所述一个或多个内核中的每个内核。8.一种包括指令的非暂态计算机可读介质，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行包括如下操作的操作：使用相机捕获目标的图像，所述目标包括具有重复的图块结构的细分曲面，所述目标进一步包括叠加在所述细分曲面上的一个或多个独特图案；基于所述图像的像素强度形成一个或多个矩阵，其中，所述一个或多个矩阵中的每个矩阵包括多个值，每个值对应于所述图块中的一个图块内的所述像素强度；将所述一个或多个矩阵与一个或多个内核进行卷积以生成一个或多个强度图，其中，基于所述一个或多个独特图案中的对应独特图案生成所述一个或多个内核中的每个内核；识别所述一个或多个强度图中的每个强度图中的极值；基于所述一个或多个强度图中的每个强度图的所述极值确定所述图像内的所述一个或多个独特图案中的每个独特图案的位置；以及使用所述一个或多个独特图案中的每个独特图案的所述位置执行设备校准。9.根据权利要求8所述的非暂态计算机可读介质，其中，执行所述设备校准包括：使用所述一个或多个独特图案中的...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：