图像处理设备和图像处理方法技术

本公开内容涉及一种能够实现以较低的成本掌握投影图像的状态的图像处理设备和方法。通过卷帘式快门方式以比投影图像的帧速率高的速率通过依次投影作为正图案图像和负图案图像的符号相反的预定图案图像来获得投影图像，通过捕获该投影图像来获得被配置有多个帧的捕获图像，计算该捕获图像的非连续帧之间的差异。本公开内容可以应用于例如图像处理设备、投影设备、成像设备、投影成像设备、控制器或投影成像系统等。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和图像处理方法
本公开内容涉及图像处理设备和图像处理方法，并且具体地，涉及能够以较低成本实现对投影图像的状态的掌握的图像处理设备和图像处理方法。
技术介绍
已知一种使用相机捕获由投影仪投影的投影图像，使用所捕获的图像估计投影仪的位置和姿态、投影平面形状等，并根据估计来几何校正投影图像以减少投影图像中的失真等的方法。例如，在屏幕没有面向投影仪的情况下，投影到屏幕上的投影图像被相机捕获。另外，在投影图像变形为梯形形状等的情况下，执行诸如用于将图像校正成被投影成倒梯形形状的过程，使得图像可以被正确地投影到屏幕上。在这样的方法的情况下，需要获得投影图像与捕获图像之间的对应点。另外，作为获得对应点的方法，已经提出了用于在观看/收听内容期间执行感测的ISL(ImperceptibleStructuredLight，不可见结构光)(例如，参考NPL1)。根据ISL方案，作为预定图案的图像的图案图像在使用集成效果对人不可见的同时时被嵌入到内容的图像中并且被投影。另外，使用图案图像检测对应点。[引用清单][非专利文献][NPL1]ImperceptibleStructuredLightRameshRaskar，SIGGRAPH98
技术实现思路
[技术问题]然而，在使用廉价的卷帘快门照相机执行该方法的情况下，多帧的投影图像被反映在一帧的捕获图像中，这使得难以从捕获图像中提取图案图像。因此，需要使用昂贵的全局式快门相机来掌握投影图像的状态，这可能导致成本增加。鉴于这样的情况实现了本公开内容，并且本公开内容的目的是使得能够以较低的成本实现对投影图像的状态的掌握。[解决问题的方法]根据本技术的一个方面的图像处理设备是包括差异计算部的图像处理设备，差异计算部计算由多个帧构成的捕获图像的不连续帧之间的差异，其中通过用以卷帘式快门方式驱动的成像部以比投影图像的帧速率高的帧速率捕获投影图像来获得捕获图像，投影图像是通过由投影部依次投影符号相反的预定图案图像而获得的，符号相反的预定图案图像为正图案图像和负图案图像。差异计算部可以以根据投影图像的帧速率与捕获图像的帧速率的比率的间隔计算帧之间的差异。捕获图像的帧速率是投影图像的帧速率的两倍，并且可以配置成使得差异计算部以2N帧的间隔计算帧之间的差异。该图像处理设备还包括：提取部，其根据由差异计算部计算的帧之间的差异来提取可检测图案图像的区域；以及接合部，其将由提取部根据多个差异中的每个差异提取的区域接合在一起，以生成与一帧对应的图案图像。图像处理设备还包括对应点检测部，其使用由接合部生成的图案图像来检测投影部与成像部之间的对应点。该图像处理设备还包括图像校正部，该图像校正部使用由对应点检测部检测的对应点来校正由投影部投影的图像。图案图像各自包括可用于检测投影部与成像部之间的对应点的图案和可用于识别投影图像的像素行的图案，并且提取部可以被配置成基于可用于识别投影图像的像素行的图案来提取可检测图案图像的区域。图案图像各自还包括可用于识别投影图像的像素列的图案。可以在投影图像的左端、右端、上端和下端附近形成图案图像中的每个中的可用于识别投影图像的像素行的图案和可用于识别投影图像的像素列的图案。可以以网格形式将图案图像中的可用于识别投影图像的像素行的图案和可用于识别投影图像的像素列的图案形成在整个投影图像上。图案图像各自包括可用于检测投影部与成像部之间的对应点的图案和可用于识别投影图像的像素行的图案二者，并且提取部可以被配置成基于可用于检测投影部与成像部之间的对应点的图案和可用于识别投影图像的像素行的图案二者来提取可检测图案图像的区域。图像处理设备还包括同步处理部，该同步处理部使投影部的投影定时与成像部的成像定时同步。捕获图像的帧速率是投影图像的帧速率的2N倍(其中N是自然数)，并且差异计算部可以被配置成以2N帧的间隔计算帧之间的差异。图像处理设备还包括图像选择部，其从多个帧的捕获图像中选择差异计算部计算差异的帧。图像选择部可以选择捕获图像中的帧，其中在所选择的帧中的每个帧中投影图像的多个帧被混合。图像选择部可以选择捕获图像中的帧，其中在所选择的帧中的每个帧中仅包括投影图像的单个帧。可以通过将叠加有正图案图像的叠加图像和叠加有负图案图像的叠加图像依次投影到运动图像的预定帧上而获得投影图像。图像处理设备还包括成像部。图像处理设备还包括投影部。根据本技术的一个方面的图像处理方法是包括如下的图像处理方法：其计算由多个帧构成的捕获图像的不连续帧之间的差异，捕获图像通过卷帘式快门方案以比投影图像的帧速率较高的帧速率捕获投影图像而获得，投影图像通过依次投影符号相反的预定图案图像而获得，预定图案图像为正图案图像和负图案图像。在根据本技术的一个方面的图像处理设备和图像处理方法中，计算由多个帧构成的捕获图像的不连续帧之间的差异，其中通过用卷帘式快门方式以比投影图像的帧速率较高的帧速率捕获投影图像来获得捕获图像，投影图像是通过依次投影符号相反的预定图案图像而获得的，符号相反的预定图案图像为正图案图像和负图案图像。[专利技术的有益效果]根据本公开内容，可以对图像进行处理。特别地，可以以较低的成本实现对投影图像的状态的掌握。附图说明[图.1]图1是示出投影成像系统的主要部分的配置的示例的图。[图.2]图2是示出控制器的主要部分的配置的示例的框图。[图.3]图3是示出由控制器实现的功能的示例的功能框图。[图.4]图4示出了图案图像和要投影的图像的示例。[图.5]图5是示出投影和成像之间的关系的示例的定时图。[图.6]图6是提取图案图像的方式的示例的示意图。[图.7]图7是示出投影控制过程的流程的示例的流程图。[图.8]图8是示出由控制器实现的功能的示例的功能框图。[图.9]图9是示出投影控制过程的流程的示例的流程图。[图.10]图10是示出图案图像的示例的图。[图.11]图11是提取差异图像的区域的方式的示例的示意图。[图.12]图12是示出投影控制过程的流程的示例的流程图。[图.13]图13是示出投影与成像之间的关系的示例的定时图。[图.14]图14是示出由控制器实现的功能的示例的功能框图。[图.15]图15是示出投影控制过程的流程的示例的流程图。[图.16]图16是示出由控制器实现的功能的示例的功能框图。[图.17]图17是示出投影控制过程的流程的示例的流程图。[图.18]图18是示出投影成像系统与投影成像设备的主要部分的配置的示例的框图。具体实施方式在下文中将描述用于执行本公开内容的模式(下文中，称为“实施方式”)。注意，将按以下顺序给出描述。1.第一实施方式(投影成像系统)2.第二实施方式(投影成像系统：同步)3.第三实施方式(投影成像系统：定位图案)4.第四实施方式(投影成像系统：快速成像)5.第五实施方式(投影成像系统/投影成像设备：其他配置)6.其他<1.第一实施方式><投影图像的几何校正>取决于投影仪相对于投影平面(屏幕、墙壁等)的姿态(位置、取向等)，投影的图像(也称为“投影图像”)经常变形并且难以观看。在这种情况下，可以通过对投影仪投影的图像执行诸如失真校正的几何校正来减少投影图像中的失真并使投影图像易于观看。在本说明书中，用于改变投影平面上的投影图像中的每个本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：差异计算部，其计算由多个帧构成的捕获图像的不连续帧之间的差异，其中通过用以卷帘式快门方式驱动的成像部以比投影图像的帧速率高的帧速率捕获所述投影图像来获得所述捕获图像，所述投影图像是通过由投影部依次投影符号相反的预定图案图像而获得的，所述符号相反的预定图案图像为正图案图像和负图案图像。

【技术特征摘要】
【国外来华专利技术】2016.08.24 JP 2016-1638331.一种图像处理设备，包括：差异计算部，其计算由多个帧构成的捕获图像的不连续帧之间的差异，其中通过用以卷帘式快门方式驱动的成像部以比投影图像的帧速率高的帧速率捕获所述投影图像来获得所述捕获图像，所述投影图像是通过由投影部依次投影符号相反的预定图案图像而获得的，所述符号相反的预定图案图像为正图案图像和负图案图像。2.根据权利要求1所述的图像处理设备，其中所述差异计算部被配置成以根据所述投影图像的帧速率与所述捕获图像的帧速率的比率的间隔计算所述帧之间的差异。3.根据权利要求2所述的图像处理设备，其中所述捕获图像的帧速率是所述投影图像的帧速率的两倍，并且所述差异计算部以两帧的间隔计算所述帧之间的差异。4.根据权利要求3所述的图像处理设备，还包括：提取部，其根据由所述差异计算部计算的所述帧之间的差异来提取能够检测所述图案图像的区域；以及接合部，其将由所述提取部根据多个差异中的每个差异提取的区域接合在一起，以生成与一帧对应的图案图像。5.根据权利要求4所述的图像处理设备，还包括：对应点检测部，其使用由所述接合部生成的所述图案图像检测所述投影部与所述成像部之间的对应点。6.根据权利要求5所述的图像处理设备，还包括：图像校正部，其使用由所述对应点检测部检测的所述对应点来校正由所述投影部投影的图像。7.根据权利要求4所述的图像处理设备，其中所述图案图像各自包括能够用于检测所述投影部与所述成像部之间的对应点的图案和能够用于识别所述投影图像的像素行的图案，以及所述提取部被配置成基于能够用于识别所述投影图像的像素行的图案来提取所述能够检测所述图案图像的区域。8.根据权利要求7所述的图像处理设备，其中所述图案图像各自还包括能够用于识别所述投影图像的像素列的图案。9.根据权利要求8所述的图像处理设备，其中在所述投影图像的左端、右端、上端和下端附近形成所述图案图像中的每个图案图像中的能够用于识别所述投影图像的像素行的图案和能够用于识别所述...

【专利技术属性】
技术研发人员：黑川益义，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP