图像处理装置、图像处理方法和程序制造方法及图纸

提供一种图像处理装置包括：识别单元，被配置为识别表示以拍摄了图像的终端的位置和姿势为基准的、该图像中出现的环境的位置和姿势的环境识别矩阵；计算单元，被配置为计算环境识别矩阵的逆矩阵；以及操纵控制单元，被配置为按照基于在第一时间点识别的环境识别矩阵的逆矩阵的第一位置或第一姿势和基于在随后的第二时间点识别的环境识别矩阵的逆矩阵的第二位置或第二姿势之间的差所对应的三维操纵量，控制在所述环境中布置的虚拟对象的操纵。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法和程序
本公开涉及图像处理装置、图像处理方法和程序。
技术介绍
近年来，称为增强现实(AR)的技术一直引人关注，在该技术中，向用户呈现其上重叠有附加信息的真实世界。在AR技术中向用户呈现的信息也被称为注释，并且可以使用诸如文本、图标或动画的各种形式的虚拟对象被可视化和获得。 下面的非专利文献I示出了一种用于在布置虚拟对象之前的阶段对真实空间进行建模的技术的示例。下面的非专利文献2示出了一种以计算用于在拍摄的图像上重叠虚拟对象所需的成像装置的位置和姿势为目的的使用自然标记的技术的示例。 AR技术也可以被用于包括与用户的交互的应用中。例如，下述的专利文献I公开了一种用于显示可由用户操纵的图标作为虚拟对象的技术。 引用列表 非专利文献 非专利文献1:A.van den HengeI, R.Hill, B.Ward and A.Dick, “In SituImage-based Modeling，，(In Proc.8th IEEE International Symposium on Mixed andAugmented Reality, 2009) 非专利文献2:W.Daniel, G.Reitmayr, A.Mulloni, T.Drummond, andD.Schmalstieg, “Pose Tracking from Natural Features on Mobile Phones” (InProc.7th IEEE International Symposium on Mixed and Augmented Reality, 2008) 专利文献 专利文献1:JP 2010-238098A
技术实现思路
技术问题 但是，在上述的专利文献I中公开的技术中，虚拟对象只根据用户在二维屏幕上的操纵而移动。由于这个原因，难以说充分地实现了作为AR技术的一个优点的现实感。为了在与用户的交互中获得现实感，希望提供一种能够在三维空间中自由地操纵虚拟对象的机制。 解决问题的方案 根据本公开，提供一种图像处理装置，包括:识别单元，被配置为识别表示以拍摄了图像的终端的位置和姿势为基准的、图像中出现的环境的位置和姿势的环境识别矩阵；计算单元，被配置为计算环境识别矩阵的逆矩阵；以及操纵控制单元，被配置为按照与基于在第一时间点识别的环境识别矩阵的逆矩阵的第一位置或第一姿势和基于在随后的第二时间点识别的环境识别矩阵的逆矩阵的第二位置或第二姿势之间的差对应的三维操纵量，控制在所述环境中布置的虚拟对象的操纵。 根据本公开，提供一种图像处理方法，包括:识别表示以拍摄了图像的终端的位置和姿势为基准的、图像中出现的环境的位置和姿势的环境识别矩阵；计算环境识别矩阵的逆矩阵；以及按照与基于在第一时间点识别的环境识别矩阵的逆矩阵的第一位置或第一姿势和基于在随后的第二时间点识别的环境识别矩阵的逆矩阵的第二位置或第二姿势之间的差对应的三维操纵量，控制在所述环境中布置的虚拟对象的操纵。 根据本公开，提供一种程序，该程序使计算机充当:识别单元，被配置为识别表示以拍摄了图像的终端的位置和姿势为基准的、图像中出现的环境的位置和姿势的环境识别矩阵；计算单元，被配置为计算环境识别矩阵的逆矩阵；以及操纵控制单元，被配置为按照与基于在第一时间点识别的环境识别矩阵的逆矩阵的第一位置或第一姿势与基和基于在随后的第二时间点识别的环境识别矩阵的逆矩阵的第二位置或第二姿势之间的差对应的三维操纵量，控制在所述环境中布置的虚拟对象的操纵。 本专利技术的有益效果 在根据本公开的技术中，提供了一种能够在三维空间中自由地操纵虚拟对象的机制。 【附图说明】 [图1]图1是示出可以应用根据本公开的技术的环境的示例的说明图。 [图2]图2是用于描述根据本公开的技术的基本原理的第一说明图。 [图3]图3是用于描述根据本公开的技术的基本原理的第二说明图。 [图4]图4是用于描述根据本公开的技术的基本原理的第三说明图。 [图5]图5是用于描述根据本公开的技术的基本原理的第四说明图。 [图6]图6是用于描述基于根据本公开的技术决定的三维操纵量的第一示例的说明图。 [图7]图7是用于描述基于根据本公开的技术决定的三维操纵量的第二示例的说明图。 [图8]图8是用于描述基于根据本公开的技术执行的虚拟对象的操纵的示例的说明图。 [图9]图9是示出根据实施例的图像处理装置的硬件配置的示例的框图。 [图10]图10是示出根据实施例的图像处理装置的逻辑功能的配置的示例的框图。 [图11]图11是示出根据第一操纵情形操纵虚拟对象的状态的说明图。 [图12]图12是示出根据第二操纵情形操纵虚拟对象的状态的说明图。 [图13]图13是示出根据实施例的图像处理的流程的示例的流程图。 [图14]图14是示出在图13中例举的操纵配置计算处理的详细流程的示例的流程图。 [图15]图15是用于描述对虚拟对象的基准面的确定的说明图。 [图16]图16是用于描述根据距离显示虚拟对象的说明图。 [图17]图17是用于描述虚拟对象的对齐显示的说明图。 [图18]图18是用于描述虚拟对象的共享的第一说明图。 [图19A]图19A是用于描述虚拟对象的共享的第二说明图。 [图19B]图19B是用于描述虚拟对象的共享的第三说明图。 【具体实施方式】 在下文中，将参照附图详细地描述本专利技术的优选实施例。请注意，在本说明书和附图中，具有基本相同的功能和结构的要素用相同的附图标记表示，并且省略重复说明。 另外，将按照以下顺序提供说明。 1.基本原理 1-1.概要 1-2.基本参数 1-3.三维操纵量的示例 2.图像处理装置的配置例 2-1.硬件配置 2-2.功能配置 2-3.操纵情形 2-4.处理流程 2-5.显示的变型 2-6.虚拟对象的共享 3.总结 〈1.基本原理〉 首先，将使用图1至8描述根据本公开的技术的基本原理。 [1-1.概要] 图1是示出可以应用根据本公开的技术的环境的示例的说明图。参照图1，示出了环境I和拍摄环境I的图像的图像处理装置100。在图1的示例中，在环境I中存在真实对象11。图像处理装置100通常包括成像单元(未示出)和显示单元110。图像处理装置100的成像单元拍摄构成反映环境I的视频的一系列图像。图像处理装置100然后使用拍摄的图像作为输入图像来执行图像处理，并且在三维空间中布置虚拟对象。如稍后将描述的，用户通过操作图像处理装置100来操纵虚拟对象。图像处理装置100的显示单元110显示其上重叠有虚拟对象的输出图像。 图像处理装置100在给定的基准环境中布置虚拟对象。也就是说，在与基准环境相关联的坐标系(在下文中被称为基准坐标系)中定义虚拟对象的位置和姿势。在下面的描述中，包括真实对象11的环境I被假设为基准环境。现实中，基准环境可以是任意的环境，无论是室内还是室外。作为另一个实施例，具有真实对象特有的坐标系的单个真实对象可以被视为基准环境。在这种情况下，真实对象特有的坐标系是基准坐标系。 图1示出作为图像处理装置100的示例的平板P本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：识别单元，被配置为识别表示以拍摄了图像的终端的位置和姿势为基准的、该图像中出现的环境的位置和姿势的环境识别矩阵；计算单元，被配置为计算环境识别矩阵的逆矩阵；以及操纵控制单元，被配置为按照基于在第一时间点识别的环境识别矩阵的逆矩阵的第一位置或第一姿势和基于在随后的第二时间点识别的环境识别矩阵的逆矩阵的第二位置或第二姿势之间的差所对应的三维操纵量，控制在所述环境中布置的虚拟对象的操纵。

【技术特征摘要】
【国外来华专利技术】2012.02.10 JP 2012-0268701.一种图像处理装置，包括: 识别单元，被配置为识别表示以拍摄了图像的终端的位置和姿势为基准的、该图像中出现的环境的位置和姿势的环境识别矩阵； 计算单元，被配置为计算环境识别矩阵的逆矩阵；以及 操纵控制单元，被配置为按照基于在第一时间点识别的环境识别矩阵的逆矩阵的第一位置或第一姿势和基于在随后的第二时间点识别的环境识别矩阵的逆矩阵的第二位置或第二姿势之间的差所对应的三维操纵量，控制在所述环境中布置的虚拟对象的操纵。2.根据权利要求1所述的图像处理装置，其中，所述操纵量是根据第一位置和第二位置之间的差的平行移动量。3.根据权利要求1所述的图像处理装置，其中，所述操纵量是根据第一姿势和第二姿势之间的差的旋转量。4.根据权利要求1所述的图像处理装置， 其中，第一时间点是在终端中检测到第一用户输入的时间点，并且 第二时间点是在终端中检测到第二用户输入的时间点。5.根据权利要求4所述的图像处理装置，其中，第一用户输入和第二用户输入分别对应于一系列操纵的开始和结束。6.根据权利要求4所述的图像处理装置，其中，第一位置或第二位置是与所述终端的屏幕上的用户输入位置相对应的沿着该屏幕上的方向上偏移的位置。7.根据权利要求4所述的图像...

【专利技术属性】
技术研发人员：笠原俊一，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP