信息处理装置和信息处理方法制造方法及图纸

本公开内容涉及能够减少图像投影校正的精度下降的信息处理装置和方法。通过使用采用了fθ透镜的失真系数的图像投影模型来执行对用于投影图像的投影部和用于捕获图像被投影到的投影面的成像部的姿势估计，该fθ透镜的入射光的像高度由焦距f与入射光的入射角θ的乘积表示。本公开内容可以应用于例如信息处理装置、投影装置、成像装置、投影成像装置、投影成像控制装置、图像投影成像系统等。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置和信息处理方法
本公开内容涉及信息处理装置和信息处理方法。更具体地，本公开内容涉及用于抑制图像投影校正的精度降低的信息处理装置和信息处理方法。
技术介绍
迄今为止，已经存在用于通过使用投影仪-摄像装置系统来测量三维形状的投影校正技术。代表这些技术的一些方法涉及三维测量投影面(屏幕)的形状，并且基于关于测量的信息对其上的投影图像进行几何校正。为了测量三维形状，有必要估计(校准)两种类型的参数：指示投影仪和摄像装置的各个特性的内部参数(例如，焦距、主点和镜头失真系数)；以及代表投影仪和摄像装置相对于彼此的位置和姿势的外部参数。例如，已经存在下述方法：预先校准投影仪和摄像装置的内部变量或外部变量，基于关于在装置被配置之后获得的关于测量的信息来校准其他变量(例如，参见专利文献1和专利文献2)。已经通过使用在普通投影仪中采用的通常所谓的ftanθ透镜系统来预测上述通过使用投影仪-摄像装置系统来测量三维形状的投影校正技术。在使用具有ftanθ透镜的投影仪的投影仪-摄像装置系统进行投影校正的情况下，与由内部参数和外部参数引起的效果相比，投影仪中的透镜失真的影响非常小。因此，即使不考虑透镜失真而执行校准，也能够以足够高的精度进行投影校正。[引用列表][专利文献][专利文献1]日本专利特许公开第2015-142157号[专利文献2]日本专利特许公开第2005-244835号
技术实现思路
[技术问题]另一方面，通常所谓的fθ透镜涉及远大于ftanθ透镜的透镜失真的影响。因此，在使用具有fθ透镜的投影仪的投影仪-摄像装置系统进行投影校正的情况下，在与ftanθ透镜系统的情况一样不考虑透镜失真而执行校准会导致投影校正的精度低于ftanθ透镜系统中的投影校正。鉴于以上情况作出了本公开内容，并且本公开内容的目的在于抑制图像投影校正的精度的降低。[问题的解决方案]根据本技术的一个方面，提供了一种信息处理装置，该信息处理装置包括姿势估计部，该姿势估计部被配置成：使得姿势估计部通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获图像要投影到的投影面的成像部的姿势，该fθ透镜的入射光的像高度由焦距f与入射光的入射角θ的乘积表示。另外，根据本技术的一个方面，提供了一种信息处理方法，包括：通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获图像要投影到的投影面的成像部的姿势，该fθ透镜的入射光的像高度由焦距f与入射光的入射角θ的乘积表示。利用根据本技术的一个方面的信息处理装置和信息处理方法，通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获图像要投影到的投影面的成像部的姿势，该fθ透镜的入射光的像高度由焦距f与入射光的入射角θ的乘积表示。[本专利技术的有益效果]根据本公开内容，可以校正图像投影。更具体，本公开内容允许减少图像投影校正的精度的降低。附图说明[图1]图1是描绘投影成像系统的主要配置示例的框图。[图2]图2是描绘控制装置的主要配置示例的框图。[图3]图3是描绘由控制部实现的主要功能块的示例的功能框图。[图4]图4是描绘投影装置的主要配置示例的框图。[图5]图5是描绘成像装置的主要配置示例的框图。[图6]图6是说明校准处理的典型流程的流程图。[图7]图7是描绘如何使用结构化光来获得像素到像素的对应关系的图。[图8]图8是说明姿势估计处理的典型流程的流程图。[图9]图9是说明参数估计处理的通常流程的流程图。[图10]图10是描绘如何典型地校正失真的图。[图11]图11是描绘如何在考虑到失真的情况下典型地执行光线轨迹的图。[图12]图12是描绘如何典型地执行姿势估计的图。[图13]图13是说明几何校正处理的典型流程的流程图。[图14]图14是描绘如何相对于虚拟视点典型地执行几何投影校正的图。[图15]图15是描绘如何典型地设置虚拟视点的图。[图16]图16是描绘如何典型地执行二维曲面拟合的图。[图17]图17是描绘如何典型地发生模型失准的图。[图18]图18是描绘如何典型地执行模型失准处理的图。[图19]图19是描绘投影成像系统的另一配置示例的框图。具体实施方式下面描述用于实现本公开内容的模式(以下称为实施方式)。注意，将按以下顺序给出描述。1.图像投影校正2.第一实施方式(使用fθ透镜的投影成像系统)3.第二实施方式(投影成像系统的另一配置示例)4.注意事项<1.图像投影校正><ftanθ透镜系统的投影校正>为了通过使用多个投影仪将单个图像投影到屏幕上，需要以下技术：考虑屏幕的曲面上的来自投影仪的单个图像的失真，并且将投影图像相应地校正为几何上准确、无失真的图像。代表这种技术的一些方法涉及使被配置的投影仪将图案或标记投影到屏幕上，并且使也被配置的摄像装置或传感器获得用于校正目的的信息。例如，已经提出了两种类型的方法作为在非平面投影中使用摄像装置的投影校正技术：使用二维信息并且基于捕获图像的外观来执行校正的方法；以及使用三维信息并且涉及基于投影仪的投影范围(即关于屏幕形状的测量的信息)对指示摄像装置和投影仪的特性的内部变量和表示用于校正其相对位置和姿势的外部变量二者进行估计(＝校准)的方法。使用二维信息的方法涉及简化的装置配置，而无需校准投影仪或摄像装置。然而，该方法不能保证校正后的图像在几何上是准确的(例如，从摄像装置的视角来看，校正后的直线应视为一条直线)。相比之下，使用三维信息(其校正与屏幕形状对齐)的方法更可能保证所得图像的几何准确度，但需要以下校准步骤。即，通过使用三维信息的方法，投影仪将图案或标记投影到目标；摄像装置捕获投影的图案或标记；以及控制装置通过使用捕获图像获得投影仪与摄像装置之间的像素到像素的对应关系，并且通过使用原理或三角测量法测量深度信息(depth)。此时，在根据投影仪与摄像装置之间的像素到像素的对应关系来测量深度时，控制装置需要遵循用于估计投影仪和摄像装置的内部变量及其相对位置和姿势的过程，即，在使用三维信息的方法的情况下，控制装置需要校准。例如，通过在配置装置之前校准投影仪和摄像装置外壳中的每一个的所有内部变量和外部变量，可以满足上述要求。替选地，如以上引用的专利文献1和专利文献2中所描述的，每个投影仪和摄像装置外壳的内部变量或外部变量都被预先校准，而其他变量则基于配置了该装置之后的测量信息来校准。然而，在投影仪或摄像装置已经被本文档来自技高网...

【技术保护点】
1.一种信息处理装置，包括：/n姿势估计部，其被配置成通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获所述图像被投影到的投影面的成像部的姿势，所述fθ透镜的入射光的像高度由焦距f与所述入射光的入射角θ的乘积来表示。/n

【技术特征摘要】
【国外来华专利技术】20180208 JP 2018-0206121.一种信息处理装置，包括：
姿势估计部，其被配置成通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获所述图像被投影到的投影面的成像部的姿势，所述fθ透镜的入射光的像高度由焦距f与所述入射光的入射角θ的乘积来表示。


2.根据权利要求1所述的信息处理装置，其中，
所述姿势估计部通过使用所述图像投影模型来估计所述投影部以及所述成像部中的至少任意一者的与姿势相关的参数。


3.根据权利要求2所述的信息处理装置，其中，
所述与姿势相关的参数包括所述投影部以及所述成像部中的至少任意一者的内部参数。


4.根据权利要求3所述的信息处理装置，其中，
所述内部参数包括所述投影部或所述成像部的焦距、主点以及与所述失真系数的逆变换对应的参数中的至少任意一个。


5.根据权利要求2所述的信息处理装置，其中，
所述与姿势相关的参数包括所述投影部以及所述成像部中的至少任意一者的外部参数。


6.根据权利要求5所述的信息处理装置，其中，
所述外部参数包括相对于所述投影部或所述成像部的世界坐标系的原点的旋转矩阵以及平移矢量中的至少任意一个。


7.根据权利要求2所述的信息处理装置，其中，
所述姿势估计部通过使用与所述失真系数的逆变换对应的参数，执行所述投影部和所述成像部的图像失真校正，
所述姿势估计部通过使用所述失真校正后的所述投影部和所述成像部的光线跟踪来检测对应点，从而估计所述与姿势相关的参数。


8.根据权利要求7所述的信息处理装置，其中，
所述姿势估计部进行所述与姿势相关的参数的优化，使得检测到的对应点的平均误差成为规定阈值以下。


9.根据权利要求8所述的信息处理装置，其中，
在所述平均误差未成为所述阈值以下的情况下，所述姿势估计部校正估计所述与姿势相关的参数所使用的参数，
所述姿势估计部重复地估计所述与姿势相关的参数，直到所述平均误差成为所述阈值以下。


10.根据权利要求8所述的信息处理装置，其中，
所述姿势估计部将大误差的对应点作为异常值去除来进行所述与姿势相...

【专利技术属性】
技术研发人员：田原都梦，小林直树，胜木祐伍，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP