用于成像设备的高级镜头几何结构拟合的系统和方法技术方案

提供了一种用于高级镜头几何结构拟合的系统和方法，其用于使用具有非平面镜头的投影仪来投影图像。能够例如根据列表来确定投影仪的内在参数的初始估计；能够基于内在参数的初始估计来确定投影仪的内在参数的初始估计。能够通过以简单镜头模型开始并且迭代地添加非线性项、在每个迭代处例如针对列表中的内在参数的每个集合和对应外部参数而评估的误差函数来一起优化内在参数和外部参数。当误差函数的值收敛时，优化的内在参数和优化的外部参数能够被用于生成由投影仪投影的图像。

【技术实现步骤摘要】
用于成像设备的高级镜头几何结构拟合的系统和方法相关申请的交叉引用本申请要求于2016年11月11日提交的美国专利申请No.62/420,775的优先权，其通过引用并入本文。
本说明书大体涉及投影仪，并且具体涉及用于成像设备的高级镜头几何结构拟合的系统和方法。
技术介绍
许多投影系统基于投影图像的投影仪的特性将用于投影的图像渲染到屏幕和/或对象上，并且通常假设投影仪包括投影图像的平面镜头和/或在投影图像时发生平面投影。然而，诸如鱼眼镜头的非平面镜头能够与投影仪一起使用，用于宽视野应用等。由于涉及到额外的自由度并且因为用于这种建模的初始化的等式的系统不是内在的线性建模，这种非平面镜头和/或非平面投影引入了技术挑战。具体地，使用随机采样一致性(RANSAC)和/或多项式技术的建模在使用这种非平面镜头和/或非平面投影投影到屏幕和/或对象上时可能不会产生合适的对准质量。例如，这样的技术能够至少有两个失败的理由：几何结构建模方法假设平面投影，其不适用于所有镜头类型；并且更天真的数学方法不能达到要求的准确度水平，特别是对于更复杂的屏幕几何结构。此外，相机还可以包括非平面镜头，并且因此这样的相机的建模能够遭受与包括非平面镜头的投影仪建模相同的问题；例如，这样的相机能够与投影系统一起使用以提供投影到屏幕、对象等上的图像的反馈，例如在投影映射场景中。
技术实现思路
大体上，本公开内容涉及用于使用具有非平面镜头(其能够包括用于宽视野应用的鱼眼镜头和/或“fθ”(也被称为F-Theta)镜头)的投影仪投影图像的高级镜头几何结构拟合的系统和方法。特别地，例如使用将投影仪点(例如在屏幕和/或对象处的投影空间中)与像素点(例如在投影仪的图像调制器处)相关的投影仪的非平面镜头的给定模型确定投影仪的内在参数的初始估计。假设已经确定和/或提供投影正在其上发生的屏幕和/或对象的几何结构。根据内在参数的初始估计，获得外部参数的初始估计。内在参数和外部参数的初始估计被用作迭代确定包括变换后的投影仪点和像素点之间的比较的误差函数的输入，变换后的投影仪的点表示使用该模型的像素点的估计和内在参数和外部参数的估计。一旦误差函数收敛、最小化和/或降低到阈值以下，内在参数和外部参数的当前值被用于将来自投影仪的图像投影到屏幕和/或对象上。内在参数和外部参数的当前值能够被称为投影仪的姿态数据。在本说明书中，元件可以被描述为“被配置为”以执行一个或多个功能或“被配置用于”这样的功能。通常，被配置为执行或被配置用于执行功能的元件能够执行该功能，或者适合于执行该功能，或者适于执行该功能，或者可操作来执行该功能，或者以其他方式能够执行该功能。应当理解，为了本说明书的目的，“X、Y和Z中的至少一个”以及“X、Y和Z中的一个或多个”的语言可以被解释为仅X、仅Y、仅Z，或者两个或更多个条目X、Y和Z(例如XYZ、XY、YZ、ZZ等)的任何组合。对于“至少一个...”和“一个或多个...”语言的任何情况，能够对两个或更多个条目应用类似的逻辑。本说明书的一方面提供了一种系统，其包括：计算设备；包括非平面镜头的投影仪，该投影仪被配置用于投影到对象上；该计算设备被配置为：使用非平面镜头的将对象上的投影点的位置与投影仪的图像调制器处的像素点相关的初始模型确定使用初始模型的投影仪的内在参数的至少一个初始估计；使用内在参数的至少一个初始估计来确定投影仪的外部参数的至少一个初始估计；迭代地评估包括像素点与投影点到像素点的变换之间的比较的误差函数，初始变换使用内在参数的至少一个初始估计和外部参数的至少一个初始估计来确定，并且迭代变换包括以下中的一个或多个：在一次或多次迭代中改变在初始模型中使用的一个或多个非线性项；在一个或多个迭代中增加在非平面镜头的模型中使用的一个或多个非线性项；改变投影仪的内在参数；并改变投影仪的外部参数；当一个或多个迭代的误差函数收敛一次或多次、达到最小值并且小于阈值时：存储投影仪的内在参数的当前值和投影仪的外部参数的当前值作为姿态数据；并且，基于姿势数据来控制投影仪将图像投影到对象上。计算设备能够还被配置为通过确定针对多个内在参数中的每个的估计的范围确定使用初始模型的投影仪的内在参数的至少一个初始估计。计算设备能够还被配置为通过确定多个内参数的离散估计的集合使用初始模型来确定投影仪的内在参数的至少一个初始估计。计算设备能够还被配置为针对多个内参数的离散估计的集合的元素中的每个确定外部参数的至少一个初始估计。计算设备能够还被配置为通过将给定投影点与在具有与非平面镜头的曲率相似的曲率的曲面图像调制器处的对应点之间的线外推到与曲面图像调制器共享主点的平面图像调制器上的像素点来针对多个内在参数的离散估计的集合的元素中的每个确定外部参数的至少一个初始估计。计算设备能够还被配置为使用直接线性变换算法利用平面图像调制器上的像素点的集合来确定外部参数的至少一个初始估计。计算设备能够还被配置为针对多个内在参数的离散估计的集合的每个元素和外部参数的对应估计迭代地评估误差函数。非平面镜头能够包括鱼眼镜头和f-theta镜头中的一个或多个。非平面镜头的初始模型能够包括鱼眼镜头模型和f-theta镜头模型中的一个或多个。非平面镜头的初始模型能够包括以下中的一个或多个：零个非线性项、一个非线性项以及多个非线性项。本说明书的一方面提供了一种方法，其包括：在与包括非平面镜头的投影仪通信的计算设备处，投影仪被配置用于投影到对象上：在计算设备处使用非平面镜头的将对象上的投影点的位置与投影仪的图像调制器处的像素点相关的初始模型来确定使用初始模型的投影仪的内在参数的至少一个初始估计；在计算设备处使用内在参数的至少一个初始估计来确定投影仪的外部参数的至少一个初始估计；在计算设备处迭代地评估包括像素点与投影点到像素点的变换之间的比较的误差函数，初始变换使用内在参数的至少一个初始估计和外部参数的至少一个初始估计来确定，并且迭代变换包括以下中的一个或多个：在一个或多个迭代中改变在初始模型中使用的一个或多个非线性项；在所述迭代中的一个或多个中增加在所述非平面镜头的所述初始模型中使用的所述一个或多个非线性项的数量；改变投影仪的内在参数；并且改变投影仪的外部参数；当一个或多个迭代的误差函数收敛一次或多次、达到最小值并且小于阈值时：存储投影仪的内在参数的当前值和投影仪的外部参数的当前值作为姿态数据；并且，在计算设备处基于姿态数据来控制投影仪将图像投影到对象上。根据权利要求的方法能够还包括：通过确定针对多个内在参数中的每个的估计的范围来确定使用初始模型的投影仪的内在参数的至少一个初始估计。根据权利要求的方法能够还包括：通过确定针对多个内在参数的离散估计的集合来确定使用初始模型的投影仪的内在参数的至少一个初始估计。根据权利要求的方法能够还包括：针对多个内在参数的离散估计的集合的每个元素确定外部参数的至少一个初始估计。根据权利要求的方法能够还包括：通过将给定投影点与在具有与非平面镜头的曲率相似的曲率的曲面图像调制器处的对应点之间的线外推到与曲面图像调制器共享主点的平面图像调制器上的像素点来确定外部参数的所述至少一个初始估计。根据权利要求的方法能够还包括：使用直接线性变换算法利用平面图像调制器上的像素点的集合来确定外部本文档来自技高网...

【技术保护点】
一种系统，包括：计算设备；投影仪，其包括非平面镜头，所述投影仪被配置用于投影到对象上；所述计算设备被配置为：使用所述非平面镜头的将所述对象上的投影点的位置与所述投影仪的图像调制器处的像素点相关的初始模型来确定使用所述初始模型的所述投影仪的内在参数的至少一个初始估计；使用所述内在参数的所述至少一个初始估计来确定所述投影仪的外部参数的至少一个初始估计；迭代地估计包括所述像素点与所述投影点到所述像素点的变换之间的比较的误差函数，初始变换使用所述内在参数的所述至少一个初始估计和所述外部参数的所述至少一个初始估计来确定，并且迭代变换包括以下中的一个或多个：在一个或多个迭代中改变在所述非平面镜头的所述初始模型中使用的一个或多个非线性项；在所述迭代中的一个或多个中增加在所述非平面镜头的所述初始模型中使用的所述一个或多个非线性项的数量；改变所述投影仪的所述内在参数；并且改变所述投影仪的所述外部参数；当一个或多个迭代的所述误差函数收敛一次或多次、达到最小值并且小于阈值时：存储所述投影仪的所述内在参数的当前值和所述投影仪的所述外部参数的当前值作为姿态数据；并且，基于所述姿态数据来控制所述投影仪将图像投影到所述对象上。...

【技术特征摘要】
2016.11.11 US 62/420,775;2017.01.18 US 15/408,9231.一种系统，包括：计算设备；投影仪，其包括非平面镜头，所述投影仪被配置用于投影到对象上；所述计算设备被配置为：使用所述非平面镜头的将所述对象上的投影点的位置与所述投影仪的图像调制器处的像素点相关的初始模型来确定使用所述初始模型的所述投影仪的内在参数的至少一个初始估计；使用所述内在参数的所述至少一个初始估计来确定所述投影仪的外部参数的至少一个初始估计；迭代地估计包括所述像素点与所述投影点到所述像素点的变换之间的比较的误差函数，初始变换使用所述内在参数的所述至少一个初始估计和所述外部参数的所述至少一个初始估计来确定，并且迭代变换包括以下中的一个或多个：在一个或多个迭代中改变在所述非平面镜头的所述初始模型中使用的一个或多个非线性项；在所述迭代中的一个或多个中增加在所述非平面镜头的所述初始模型中使用的所述一个或多个非线性项的数量；改变所述投影仪的所述内在参数；并且改变所述投影仪的所述外部参数；当一个或多个迭代的所述误差函数收敛一次或多次、达到最小值并且小于阈值时：存储所述投影仪的所述内在参数的当前值和所述投影仪的所述外部参数的当前值作为姿态数据；并且，基于所述姿态数据来控制所述投影仪将图像投影到所述对象上。2.根据权利要求1所述的系统，其中，所述计算设备还被配置为通过确定针对多个内在参数中的每个的估计的范围而确定使用所述初始模型的所述投影仪的内在参数的至少一个初始估计。3.根据权利要求1所述的系统，其中，所述计算设备还被配置为通过确定多个内在参数的离散估计的集合来确定使用所述初始模型的所述投影仪的内在参数的至少一个初始估计。4.根据权利要求3所述的系统，其中，所述计算设备还被配置为针对多个内在参数的离散估计的集合的元素中的每个确定外部参数的所述至少一个初始估计。5.根据权利要求4所述的系统，其中，所述计算设备还被配置为通过将给定投影点与在具有从多个内在参数的离散估计的集合的集合的元素中的每个确定的曲率的曲面图像调制器处的对应点之间的线外推到与曲面图像调制器共享主点的平面图像调制器上的像素点来针对多个内在参数的离散估计的所述集合的所述元素中的每个确定所述外部参数的所述至少一个初始估计。6.根据权利要求5所述的系统，其中，所述计算设备还被配置为使用直接线性变换算法利用所述平面图像调制器上的像素点的集合来确定所述外部参数的所述至少一个初始估计。7.根据权利要求5所述的系统，其中，所述计算设备还被配置为针对多个内在参数的离散估计的所述集合的每个元素和所述外部参数的对应估计迭代地评估所述误差函数。8.根据权利要求1所述的系统，其中，所述非平面镜头包括鱼眼镜头和f-theta镜头中的一个或多个，并且其中，所述非平面镜头的所述初始模型包括鱼眼镜头模型和f-theta镜头模型中的一个或多个。9.根据权利要求1所述的系统，其中，所述非平面镜头的所述初始模型包括以下中的一个或多个：零个非线性项、一个非线性项以及多个非线性项。10.一种方法，包括：在与包括非平面镜头的投影仪通信的计算设备处，所述投影仪被配置用于投影到对象上：在所述计算设备处使用所述非平面镜头的将所述对象上的投影点的位置与所述投影仪的图像调制器处的像素点相关的初始模型来确定使用所述初始模型的所述投影仪的内在参数的至少一个初始估计；在所述计算设备处使用所述内在参数的所述至少一个初始估计来确定所述投影仪的外部参数的至少一个初始估计；在所述计算设备处迭代地评估包...

【专利技术属性】
技术研发人员：凯文·穆勒，埃利泽·阿奇·本拉维，德里克·斯科特，丹尼尔·汤姆森·厄克特，
申请(专利权)人：美国科视数字系统公司，
类型：发明
国别省市：美国,US