图像处理装置和方法制造方法及图纸

本公开内容涉及在内容观看期间实现对应点检测同时抑制成本增加的图像处理装置和方法。将包括预定图案的图案图像叠加在与一个帧相对应的多个子帧中的任何一个上，由投影单元顺序投影子帧，与投影的控制同步地，由成像单元捕获叠加有图案图像并且由投影单元投影的子帧的投影图像，并且基于通过由成像单元根据图像捕获的控制进行的成像捕获而获得的捕获图像中包括的图案图像来检测所投影的图像与捕获图像的对应点。本公开内容适用于例如图像处理装置、投影装置、成像装置、投影成像装置、控制装置、投影成像系统等。

Image processing apparatus and method

The present disclosure relates to an image processing apparatus and method for realizing corresponding point detection while suppressing cost increase during content viewing. A pattern image including a predetermined pattern is superimposed on any of a plurality of subframes corresponding to a frame, the subframes are sequentially projected by the projection unit, and the projection image of the subframe superimposed by the pattern image and projected by the projection unit is captured by the imaging unit in synchronization with the projection control, and is based on the projection image of the subframe projected by the imaging unit. The pixel detects the corresponding point between the projected image and the captured image by the pattern image included in the captured image obtained from the image capturing control. The disclosure is applicable to, for example, image processing devices, projection devices, imaging devices, projection imaging devices, control devices, projection imaging systems, etc.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和方法
本公开内容涉及图像处理装置和方法，并且特别地涉及在内容观看期间实现对应点检测同时将成本增加保持到最小的图像处理装置和方法。
技术介绍
通过摄像机捕获由投影仪投影的图像而进行的并且使用所捕获的图像的几何校正方法已经可用于校正投影图像以匹配投影仪位置与姿态、投影平面形状等，从而减少投影图像的失真并且实现由多个投影仪投影的图像之间的对准。这样的方法需要寻找投影图像与捕获图像之间的对应点。作为寻找对应点的方法，提出了在内容观看期间进行感测的ISL(不易感知的结构光)(例如，参考NPL1)。引用列表非专利文献[非专利文献1]不易感知的结构光，RameshRaskar，SIGGRAPH98
技术实现思路
技术问题然而，为了通过普通投影仪设备使用ISL方案实现对应点检测，需要将帧速率加倍。这需要专用设备，可能导致增加开发和制造成本。鉴于这样的情况设计了本公开内容，并且本公开内容的目的是在内容观看期间实现对应点检测，同时将成本增加保持到最小。问题解决方案本技术的一方面的图像处理装置包括投影控制部分、捕获控制部分和对应点检测部分。投影控制部分将包括给定图案的图案图像叠加在与帧相对应的多个子帧图像中的任何一个上，并且将每个子帧图像顺序地投影在投影部分上。捕获控制部分与由投影控制部分执行的投影控制同步地使捕获部分捕获已经叠加有图案图像的所投影的子帧图像。对应点检测部分基于作为由捕获部分在捕获控制部分的控制下进行的捕获的结果而获取的捕获图像中包括的图案图像来检测所投影的图像与捕获图像之间的对应点。与帧相对应的所述多个子帧图像中的每一个可以是帧图像中的具有给定颜色分量的图像，并且可以使得所述多个子帧图像的顺序投影相当于帧图像的投影。投影控制部分可以将图案图像叠加在具有高亮度颜色分量的子帧图像上。投影控制部分可以将图案图像叠加在绿色分量子帧图像上。所述多个子帧可以是包括两个红色分量子帧、两个蓝色分量子帧和四个绿色分量子帧的八个子帧。投影控制部分可以将图案的亮度变化方向相反的一对图案图像叠加在所述多个子帧中的不同子帧图像上，并且使子帧图像被投影。捕获控制部分可以使已经叠加有所述一对图案图像中的每个图案图像的所投影的子帧图像被捕获。与帧相对应的所述多个子帧图像中的每个是帧图像中的具有给定颜色分量的图像，并且使得所述多个子帧图像的顺序投影相当于帧图像的投影，并且投影控制部分可以被配置成将所述一对图案图像叠加在所述多个子帧中的具有相同颜色分量的不同子帧图像上，并且使子帧图像被投影。投影控制部分可以将帧转换成所述多个子帧，可以将所述一对图案图像叠加在所获取的多个子帧中的具有相同颜色分量的不同子帧图像上，并且可以使子帧图像被投影。投影控制部分可以将帧转换成以下述投影次序布置的多个子帧：紧接在叠加有所述一对图案图像的各个子帧之前被投影的子帧图像具有相同的颜色分量。投影控制部分可以将帧转换成以与未叠加有图案图像的帧相对应的子帧的投影次序不同的投影次序被布置的多个子帧。投影控制部分可以使用基于由对应点检测部分检测的对应点而指定的参数来对每个子帧图像执行几何校正，并且使几何校正后的图像被顺序地投影到投影部分上。捕获控制部分可以提取作为由捕获部分的捕获结果而获取的所投影的子帧图像的捕获图像中包括的图案图像。捕获控制部分可以生成捕获图像之间的差分图像，并且提取包括在差分图像中的图案图像，其中，每个捕获图像包括图案的亮度变化的方向相反的一对图案图像中的一个。捕获控制部分可以对差分图像进行二值化并且提取包括在所获取的二值化图像中的图案图像。投影控制部分可以将已经叠加有图案图像的子帧图像投影到多个投影部分上，并且捕获控制部分可以使多个捕获部分捕获由各个投影部分投影的已经叠加有图案图像的所投影的子帧图像，并且对应点检测部分可以寻找由各个投影部分投影的所投影的图像与由各个捕获部分捕获的捕获图像之间的对应点。图像处理装置还可以包括姿态估计部分，姿态估计部分使用由对应点检测部分检测的对应点来估计姿态。图像处理装置还可以包括设置部分，设置部分基于由姿态估计部分估计的姿态来执行关于所投影的图像的几何校正的设置。图像处理装置还可以包括投影部分，投影部分对所投影的图像进行投影。图像处理装置还可以包括捕获部分，捕获部分捕获所投影的图像并且获取捕获图像。本技术的方面的图像处理方法将包括给定图案的图案图像叠加在与帧相对应的多个子帧中的任何一个上，将每个子帧顺序地投影在投影部分上，与投影控制同步地使捕获部分捕获由各个投影部分投影的已经叠加有图案图像的所投影的子帧图像，并且根据捕获控制基于作为捕获部分的捕获结果而获取的捕获图像中包括的图案图像来检测所投影的图像与捕获图像之间的对应点。在本技术的一方面的图像处理装置和方法中，包括给定图案的图案图像被叠加在与帧相对应的多个子帧中的任何一个上；每个子帧被顺序地投影到投影部分上；由捕获部分捕获已经叠加有图案图像的所投影的子帧图像；并且基于作为捕获部分的捕获结果而获取的捕获图像中包括的图案图像来检测所投影的图像与捕获图像之间的对应点。专利技术的有益效果根据本公开内容，可以对图像进行处理。特别地，可以在内容观看期间实现对应点检测，同时将成本增加保持到最小。附图说明[图1]图1描绘了示出如何进行几何校正的示例的示意图。[图2]图2描绘了示出如何进行几何校正的示例的示意图。[图3]图3是示出如何进行几何校正的示例的示意图。[图4]图4是示出如何进行对应点检测的示例的示意图。[图5]图5是示出如何进行对应点检测的示例的示意图。[图6]图6是示出如何进行对应点检测的示例的示意图。[图7]图7描绘了示出格雷码的示例的示意图。[图8]图8是描述ISL的示例的示意图。[图9]图9描绘了描述实现ISL的设备的配置示例的示意图。[图10]图10是描述单面板设备中的基于ISL方案的感测的概述的示例的示意图。[图11]图11是示出投影/捕获系统的主要配置的示例的框图。[图12]图12是示出控制装置的主要配置的示例的框图。[图13]图13是示出由控制装置实现的功能的示例的功能框图。[图14]图14是示出由图案图像投影/捕获部分实现的功能的示例的功能框图。[图15]图15是示出投影/捕获装置的主要配置的示例的框图。[图16]图16是描述设置处理的流程的示例的流程图。[图17]图17是描述图案图像投影/捕获处理的流程的示例的流程图。[图18]图18是从描述了图案图像投影/捕获处理的流程的示例的图17继续的流程图。[图19]图19是描述在操作模式之间切换的示例的示意图。[图20]图20是描述图像投影处理的流程的示例的流程图。[图21]图21是描述图案图像投影/捕获处理的流程的示例的流程图。[图22]图22是从描述了图案图像投影/捕获处理的流程的示例的图21继续的流程图。[图23]图23描绘了示出投影/捕获系统的另一配置示例的框图。[图24]图24描绘了示出投影/捕获系统和投影/捕获装置的主要配置的示例的框图。具体实施方式下面将给出用于执行本公开内容的模式(在下文中被称为实施方式)的描述。应当注意的是，将按以下次序给出描述：1.对应点检测和几何校正2.第一实施方式(投影/捕获系统)3.第二实施方式(操作模式)4.第三实施方式(投影/捕获系统和投影/捕获本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：投影控制部分，其适于将包括给定图案的图案图像叠加在与帧相对应的多个子帧中的任何一个子帧的图像上，并且通过投影部分对每个子帧的图像顺序地进行投影；捕获控制部分，其适于与由所述投影控制部分执行的投影控制同步地使捕获部分捕获已经叠加有所述图案图像的子帧的投影图像；以及对应点检测部分，其适于基于由所述捕获部分在所述捕获控制部分的控制下进行捕获而获取的捕获图像中包括的图案图像来检测投影图像与捕获图像之间的对应点。

【技术特征摘要】
【国外来华专利技术】2016.03.11 JP 2016-0482411.一种图像处理装置，包括：投影控制部分，其适于将包括给定图案的图案图像叠加在与帧相对应的多个子帧中的任何一个子帧的图像上，并且通过投影部分对每个子帧的图像顺序地进行投影；捕获控制部分，其适于与由所述投影控制部分执行的投影控制同步地使捕获部分捕获已经叠加有所述图案图像的子帧的投影图像；以及对应点检测部分，其适于基于由所述捕获部分在所述捕获控制部分的控制下进行捕获而获取的捕获图像中包括的图案图像来检测投影图像与捕获图像之间的对应点。2.根据特征权利要求1所述的图像处理装置，其中，与所述帧相对应的多个子帧中的每一个的图像是具有所述帧的图像中的给定颜色分量的图像，并且使所述多个子帧的图像的顺序投影相当于所述帧的图像的投影。3.根据权利要求2所述的图像处理装置，其中，所述投影控制部分将所述图案图像叠加在具有高亮度颜色分量的子帧的图像上。4.根据权利要求3所述的图像处理装置，其中，所述投影控制部分将所述图案图像叠加在绿色分量子帧的图像上。5.根据权利要求4所述的图像处理装置，其中，所述多个子帧是包括两个红色分量子帧、两个蓝色分量子帧和四个绿色分量子帧的八个子帧。6.根据权利要求1所述的图像处理装置，其中，所述投影控制部分将图案的亮度变化方向相反的一对图案图像叠加在所述多个子帧中的不同子帧的图像上，并且使所述子帧的图像被投影，并且所述捕获控制部分使分别已经叠加有所述一对图案图像的子帧的投影图像被捕获。7.根据权利要求6所述的图像处理装置，其中，与所述帧相对应的多个子帧中的每一个的图像是具有所述帧的图像中的给定颜色分量的图像，并且使所述多个子帧的图像的顺序投影相当于所述帧的图像的投影，并且所述投影控制部分被配置成将所述一对图案图像叠加在所述多个子帧中的具有相同颜色分量的不同子帧的图像上，并且使所述子帧的图像被投影。8.根据权利要求7所述的图像处理装置，其中，所述投影控制部分将所述帧转换成所述多个子帧，将所述一对图案图像叠加在所获取的多个子帧中的具有相同颜色分量的不同子帧的图像上，并且使所述子帧的图像被投影。9.根据权利要求8所述的图像处理装置，其中，所述投影控制部分将所述帧转换成以下述投影次序布置的多个子帧：紧接在叠加有所述一对图案图像的子帧之前被投影的...

【专利技术属性】
技术研发人员：加治洋祐，胜木祐伍，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP