图像处理设备和方法技术

本公开涉及一种可以改善在查看内容期间姿势估计相对于投影图像的鲁棒性的图像处理设备和方法。对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像，并且基于对相似度的估计结果来设置投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势。本公开可以应用于例如，图像处理设备、投影装置、成像装置、投影成像装置、控制装置、投影成像系统等。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和方法
本公开涉及一种图像处理设备和方法，并且具体涉及一种能够在查看内容期间改善姿势估计相对于投影图像的鲁棒性的图像处理设备和方法。
技术介绍
照惯例，为了减少由投影仪投影的投影图像的失真和对通过多个投影仪获得的投影图像进行定位，存在一种通过相机来使投影图像成像，通过使用拍摄图像来估计投影仪的位置、姿势、投影表面形状等，并且根据估计来对投影图像执行几何校正的方法。作为当时估计投影仪的位置、姿势等的方法，已经设想了一种使用图像的特征量(诸如，投影中的内容)的方法(例如，见非专利文献1)。引文列表非专利文献非专利文献1：2006年DavidG.Lowe的“WhatandWhere:3DObjectRecognitionwithAccuratePose”
技术实现思路
本专利技术要解决的问题然而，在该方法中，姿势估计的性能严重依赖于投影图像，并且如果不能从投影图像中提取出大量特征点或者提取的特征点的位置被偏置，则姿势估计变得困难。鉴于这种情况形成了本公开，改善了在查看内容期间姿势估计相对于投影图像的鲁棒性。问题解决方案根据本技术的一个方面的图像处理设备是包括以下单元的图像处理设备：相似度评估单元，该相似度评估单元配置为对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像，以及姿势设置单元，该姿势设置单元配置为基于通过相似度评估单元得到的对相似度的评估结果来将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果。姿势设置单元可以将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，相似度评估单元已经将姿势评估为具有最佳相似度。相似度评估单元可以获得模拟图像与拍摄图像之间的像素的亮度值的绝对值的差值之和作为指示相似度的评估值，并且姿势设置单元可以将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最小评估值。相似度评估单元可以获得模拟图像与拍摄图像之间的像素的亮度值的差值的平方和作为指示相似度的评估值，并且姿势设置单元可以将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最小评估值。相似度评估单元可以获得模拟图像与拍摄图像之间的归一化互相关作为指示相似度的评估值，并且姿势设置单元可以将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最大评估值。相似度评估单元可以获得模拟图像与拍摄图像之间的零均值归一化互相关作为指示相似度的评估值，并且姿势设置单元可以将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最大评估值。相似度评估单元可以设置投影单元或者成像单元的虚拟姿势或者投影单元和成像单元两者的虚拟姿势，生成在虚拟姿势下获得的模拟图像，以及对拍摄图像与模拟图像之间的相似度进行评估。相似度评估单元可以生成具有亮度值或者预定颜色分量的模拟图像。相似度评估单元可以对拍摄图像的缩小图像与模拟图像之间的相似度进行评估。相似度评估单元可以对拍摄图像的在预定范围中作为待处理的对象的部分图像与模拟图像之间的相似度进行评估。相似度评估单元可以多次重复对相似度的评估。相似度评估单元可以对每次的相似度进行评估，从而使拍摄图像的分辨率或者作为拍摄图像中待处理的对象的部分图像的范围可变。可以进一步包括对应点距离评估单元，该对应点距离评估单元配置为获取拍摄图像与模拟图像之间的对应点，并且对拍摄图像与模拟图像之间的对应点之间的距离进行评估。可以执行对应点距离评估单元对对应点之间的距离的评估和相似度评估单元对相似度的评估两者，并且姿势设置单元可以基于通过对应点距离评估单元得到的对对应点之间的距离的评估结果和通过相似度单元得到的对相似度的评估结果两者来将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果。可以执行对应点距离评估单元对对应点之间的距离的评估或者相似度评估单元对相似度的评估，并且姿势设置单元可以基于通过对应点距离评估单元得到的对对应点之间的距离的评估结果或者通过相似度单元得到的对相似度的评估结果来将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果。相似度评估单元可以在多个投影单元中的每一个投影单元与多个成像单元中的每一个成像单元之间对拍摄图像与模拟图像之间的相似度进行评估，并且姿势设置单元可以基于通过相似度评估单元得到的对投影单元中的每一个投影单元与成像单元中的每一个成像单元之间的相似度的评估结果来将多个投影单元或者多个成像单元的姿势或者多个投影单元和多个成像单元两者的姿势设置为估计结果。可以进一步包括设置单元，该设置单元配置为基于由姿势设置单元设置的姿势来执行有关投影图像的几何校正的设置。可以进一步包括投影单元，该投影单元配置为对投影图像进行投影。可以进一步包括成像单元，该成像单元配置为使投影图像成像以获得拍摄图像。根据本技术的一个方面的图像处理方法是包括以下步骤的图像处理方法：对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像，以及基于对相似度的评估结果来设置投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势。在根据本技术的一个方面的图像处理设备和方法中，对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像，并且基于对相似度的估计结果来设置投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势。专利技术效果根据本公开，可以处理图像。具体地，可以改善在查看内容期间姿势估计相对于投影图像的鲁棒性。附图说明图1是图示了姿势改变的状态的示例的示意图。图2是图示了姿势估计方法的示例的示意图。图3是图示了姿势估计方法的示例的示意图。图4是图示了光束法平差的状态的示例的示意图。图5是图示了投影图像的示例的示意图。图6是图示了姿势估计的状态的示例的示意图。图7是图示了姿势估计方法的示例的示意图。图8是用于描述部分图像的匹配的示例的示意图。图9是用于描述多级匹配的示例的示意图。图10是图示了投影成像系统的主要配置示例的框图。图11是图示了控制装置的主要配置示例的框图。图12是图示了由控制装置实现的功能示例的功能框图。图13是图示了投影成像装置的主要配置示例的框图。图14是图示了投影单元的主要配置示例的框图。图15是图示了激光扫描的示例的示意图。图16是用于描述图像投影处理的流程的示例的流程图。图17是用于描述姿势估计处理的流程的示例的流程图。图18是用于描述相似度评估处理的流程的示例的流程图。图19是图示了由姿势估计单元实现的功能示例的功能框图。图20是用于描述姿势估计处理的流程的示例的流程图。图21是用于描述姿势估计处理的流程的示例的流程图。图22是图示了投影成像系统的另一配本文档来自技高网...

【技术保护点】
1.一种图像处理设备，其包括：相似度评估单元，所述相似度评估单元配置为对拍摄图像和模拟图像之间的相似度进行评估，所述拍摄图像是通过成像单元使已经通过投影单元投影的所述投影图像成像而获得的，所述模拟图像模拟了应该是通过所述成像单元使已经通过所述投影单元投影的所述投影图像成像而获得的拍摄图像；以及姿势设置单元，所述姿势设置单元配置为基于通过所述相似度评估单元得到的对所述相似度的评估结果来将所述投影单元或者所述成像单元的姿势或者所述投影单元和所述成像单元两者的姿势设置为估计结果。

【技术特征摘要】
【国外来华专利技术】2016.03.24 JP 2016-0599801.一种图像处理设备，其包括：相似度评估单元，所述相似度评估单元配置为对拍摄图像和模拟图像之间的相似度进行评估，所述拍摄图像是通过成像单元使已经通过投影单元投影的所述投影图像成像而获得的，所述模拟图像模拟了应该是通过所述成像单元使已经通过所述投影单元投影的所述投影图像成像而获得的拍摄图像；以及姿势设置单元，所述姿势设置单元配置为基于通过所述相似度评估单元得到的对所述相似度的评估结果来将所述投影单元或者所述成像单元的姿势或者所述投影单元和所述成像单元两者的姿势设置为估计结果。2.根据权利要求1所述的图像处理设备，其中所述姿势设置单元将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果，所述相似度评估单元已经将所述姿势评估为具有最佳相似度。3.根据权利要求2所述的图像处理设备，其中所述相似度评估单元获得所述模拟图像与所述拍摄图像之间的像素的亮度值的绝对值的差值之和作为指示所述相似度的评估值，以及所述姿势设置单元将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果，所述姿势具有最小评估值。4.根据权利要求2所述的图像处理设备，其中所述相似度评估单元获得所述模拟图像与所述拍摄图像之间的像素的亮度值的差值的平方和作为指示所述相似度的评估值，以及所述姿势设置单元将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果，所述姿势具有最小评估值。5.根据权利要求2所述的图像处理设备，其中所述相似度评估单元获得所述模拟图像与所述拍摄图像之间的归一化互相关作为指示所述相似度的评估值，以及所述姿势设置单元将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果，所述姿势具有最大评估值。6.根据权利要求2所述的图像处理设备，其中所述相似度评估单元获得所述模拟图像与所述拍摄图像之间的零均值归一化互相关作为指示所述相似度的评估值，以及所述姿势设置单元将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果，所述姿势具有最大评估值。7.根据权利要求1所述的图像处理设备，其中所述相似度评估单元设置所述投影单元或者所述成像单元的虚拟姿势或者所述投影单元和所述成像单元两者的虚拟姿势，生成在所述虚拟姿势下获得的所述模拟图像，并且对所述拍摄图像与所述模拟图像之间的所述相似度进行评估。8.根据权利要求7所述的图像处理设备，其中所述相似度评估单元生成具有亮度值或者预定颜色分量的所述模拟图像。9.根据权利要求1所述的图像处理设备，其中所述相似度评估单元对所述拍摄图像的缩小图像与所述模拟图像之间的相似度进行评估。10.根据权利要求1所述的图像处理设备，其中所述相似度评估单元对所述拍摄图像的在预定范围中作为待处理的对象...

【专利技术属性】
技术研发人员：高尾宜之，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP