图像处理方法和图像处理设备技术

获取观察者的视点的位置和朝向（２０３０），获取可移动部分的移动量（２０３２），虚拟对象的可移动部分基于现实对象的可移动部分的移动量而移动，以及生成从观察者的视点观察到的图像（２０４０）。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种通过将虚拟空间的图像叠加于现实空间上而向 观察者呈现该图像的技术。
技术介绍
混合实境(MR)系统为用户提供一种通过将现实空间的图^^与 虛拟空间的图像组合在 一起而获得的混合实境空间图像，所述虛拟空 间图像是依照用户的视点的位置、朝向等信息生成的。MR系统可以 向观察者呈现仿佛虚拟对象存在于现实空间 一样的情形，并且能^f吏观 察者以实际尺寸以及高于常规虚拟现实(VR)系统的真实性的感觉进 行观察。另一方面，在设计和制造领域中，使用三维(3D) CAD的设计 (形状和设计)已成为主流。在这种情况下，作为一种用于对借助 3D-CAD设计的对象进行评估的方法，目前流行使用一种在计算机屏 幕上将借助3D-CAD创建的数据(立体格式)显示为3D-CG并对其 进行虚拟评估的系统， 一种通过快速原型化设备或类似设备来生成简 单原型并通过触觉对其进行评估的方法，以及其他类似的方法。但是，对在计算机屏幕上将3D-CAD数据显示为3D-CG的方法 来说，评估是在虚拟空间上进行的，并且该对象是无法被评估为具有 现实空间上的实际尺寸的感觉。此外，借助快速原型化设备或类似设 备来创建简单原型(简单的实体模型)的方法或类似的方法在识别粗 略形状方面是非常有效的，但是由于加工精度、材料等限制，这种方 法无法再现基于3D-CAD而设计的详细信息，例如细节、颜色以及类 似的i殳计细节。为了在更接近成品的情况下评估设计数据，目前提出了如下方法。即，使用MR系统将通过转换3D-CAD数据创建的3D数据叠加 在由快速原型化设备或类似设备基于3D-CAD数据而创建的简单原型 (筒单的实体模型)上，同时将位置和朝向相匹配。由此，视觉和触 觉评估同时实现，并且设计数据可以在一种更接近成品对象的状态下 被评估。此外，还提出了这样一种方法，其中该方法在简单原型上布置索 引、从作为图像数据输入的现实空间的图像信息中检测所布置的索引， 并且使用检测到的索引的位置和朝向信息来校正现实空间与虚拟空间 之间的配准。但是，常规方法只能处理作为刚体的简单原型。更具体的说，当 简单原型具有可移动部分时，无法在依照可移动部分的移动来移动 3D-CG数据的同时将3D-CG数据叠加在简单原型上。此外，无法使 用布置在可移动部分上的索引的位置和朝向信息来校正现实空间与虚 拟空间之间配准。
技术实现思路
本专利技术是鉴于上述问题而做出的，并且本专利技术的目的是提供一种 用于在简单原型具有可移动部分时，将3D-CG数据叠加在简单原型之 上，同时依照所述可移动部分的移动来移动3D-CG数据的技术。为了实现本专利技术的目标，例如，本专利技术的图像处理方法包括以下过程。即， 一种用于生成和输出虚拟空间的图像的图像处理方法，其特 征在于包括第一获取步骤，获取观察者的视点的位置和朝向； 第二获取步骤，获取具有可移动部分的现实对象的位置和朝向； 用于获取可移动部分的移动量的获取步骤； 移动步骤，根据所述移动量来移动代表现实对象的虚拟对象中 的、与可移动部分相对应的部分；生成步骤，根据观察者的视点的位置和朝向以及现实对象的位置和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述虛拟^w，以及输出步骤，输出在所述生成步骤中生成的图像。 为了实现本专利技术的目标，例如，本专利技术的图像处理设备包括以下配置。即， 一种用于生成和输出虛拟空间的图像的图像处理设备，其特征在于包括第一获取单元，用于获取观察者的视点的位置和朝向； 第二获取单元，用于获取具有可移动部分的现实对象的位置和朝向；用于获取可移动部分的移动量的获取单元；移动单元，用于根据所述移动量来移动代表现实对象的虚拟对象 中的、与可移动部分相对应的部分；生成单元，用于根据观察者的视点的位置和朝向以及现实对象的 位置和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述以及输出单元，用于输出由所述生成单元生成的图像。 通过以下结合附图的描述，本专利技术的其他特征和优点将变得显而 易见，其中，在整个附图中相同的参考字符表示相同或相似的部分。附图说明被引入并构成说明书一部分的附图例示了本专利技术的实施例，并且 与说明书一起用于说明本专利技术的原理。图l是示出根据本专利技术第一实施例的依照现实对象的可移动部分 的移动来移动虚拟对象中的可移动部分的系统的设备外观的视图；图2是示出HMD 100的具体结构的视图；图3是示出计算机400的功能配置的框图4是示出依照本专利技术第一实施例的、向观察者的右眼和左眼呈 现MR空间上的图像的处理序列的示意图，其中该MR空间上的图像 是依照其位置和朝向来观看的；图5是示出根据本专利技术第二实施例的、依照现实对象的可移动部 分的移动来移动虚拟对象的可移动部分的系统的外观的视图；图6是示出根据本专利技术第二实施例的计算机400的功能配置的框图；图7是示出根据本专利技术第二实施例的向观察者的右眼和左眼呈现 MR空间上的图像的处理序列的示意图，其中该MR空间上的图像是 根据其位置和朝向来观看的；图8是示出根据本专利技术第三实施例的依照现实对象的可移动部分视图；图9是示出根据本专利技术第三实施例的向观察者的右眼和左眼呈现 MR空间上的图像的处理序列的示意图，其中该MR空间上的图像是 依照其位置和朝向来观看的；图10是示出根据本专利技术第四实施例的依照现实对象的可移动部视图；— 一 、， 一 0- p ' ;- 、,图11是示出根据本专利技术第四实施例的向观察者的右眼和左眼呈 现M R空间上的图像的处理序列的示意图，其中该M R空间上的图像 是根据其位置和朝向来观看的；图12是示出计算机400的基本配置的框图；图13示出了在本专利技术第一实施例中使用的筒单原型300的可移 动部分301的移动模式；图14示出了用于管理索引的位置和朝向信息的数据结构的示例；以及图15是用于计算观察者(用户)的位置和朝向的处理流程图。具体实施方式现在依照附图来详细描述本专利技术的优选实施例。 [第一实施例j图l是示出系统的外观的视图，其中在向观察者(用户)显示通过将虚拟空间叠加于现实空间之上所获取的MR空间的处理中，当将 代表具有可移动部分的现实对象(简单原型)叠加于该现实对象上时，分相对应的部分。参考图1，参考数字200表示用于生成磁场的发射机。参考数字 IOO表示头戴式显示器(在下文中将其称为HMD)，该头戴式显示器 安装在观察者的头部上，以便向眼部之前的位置呈现通过组合现实空 间和虚拟空间所形成的图像。HMD 100包括摄像机102R和102L、显 示设备101R和101L以及磁性接收机201。摄像机102R和102L分别连续捕捉从佩戴HDM100的观察者的 右眼和左眼看到的现实空间，并且将所捕捉的画面图像输出到计算机 400。显示设备IOIR和101L附接到HMD 100，由此当观察者将HMD 100佩戴在头部上时，所述显示设备位于右眼和左眼前方，并且根据 计算机400输出的图像信号来显示图像。由此，计算机400生成的图 像被呈现给观察者右眼和左眼之前的位置。磁性接收机201检测发射机200所生成的磁场中的变化，并且向 位置和朝向测量设备205输出检测结果信号。该检测结果信号表示磁 场变化，其中该变化是依照磁性接收机201在一个坐标系(下文中称 为传感器坐标系)上的位置和朝向而被本文档来自技高网...

【技术保护点】
一种用于生成和输出虚拟空间的图像的图像处理方法，其特征在于包括：第一获取步骤，获取观察者的视点的位置和朝向；第二获取步骤，获取具有可移动部分的现实对象的位置和朝向；用于获取可移动部分的移动量的获取步骤；移动步骤，根据所述移动量来移动代表现实对象的虚拟对象中的、与可移动部分相对应的部分；生成步骤，根据观察者的视点的位置和朝向以及现实对象的位置和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述虚拟对象中的与所述可移动部分相对应的部分在所述移动步骤中被移动；以及输出步骤，输出在所述生成步骤中生成的图像。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：远藤隆明，松井太一，野吕英生，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[日本]