图像处理装置制造方法及图纸

提供能够使用全向图像生成三维虚拟空间中的沉浸感高的背景图像的图像处理装置。图像处理装置具备：模型形成部，其生成以三维虚拟空间的基准点为中心的球体型模型，并且形成到该球体型模型的中心的距离基于地面距离信息来设定的横向平面型模型；以及描绘部，其将球体型模型上的各顶点的坐标值及横向平面型模型上的各顶点的坐标值与全向图像的坐标值对应起来，将与横向平面型模型上的各顶点的坐标值对应的全向图像的坐标值置换为对从球体型模型的中心去往各顶点的方向向量与球体型模型的各交点所设定的全向图像的坐标值，将全向图像映射到球体型模型和横向平面型模型来形成三维虚拟空间的背景图像。成三维虚拟空间的背景图像。成三维虚拟空间的背景图像。

【技术实现步骤摘要】
图像处理装置


[0001]本专利技术涉及形成三维虚拟空间的背景图像的图像处理装置。

技术介绍

[0002]作为简单地创建虚拟现实(VR：Virtual Reality)空间的背景的技术，已知将通过全向(全天球)照相机等拍摄的全向图像粘贴到球体型三维模型的方法。在将用该方法创建的背景图像显示于头戴式显示器(HMD：Head Mounted Display)的情况下，从佩戴该HMD的用户观测到周围投影有全向图像这样的三维虚拟空间。
[0003]例如，在专利文献1中公开了一种图像处理装置，具备：模型形成单元，其将与全向图像的特征对应的多个网格(mesh)形状组合来形成三维网格形状模型；以及描绘单元，其基于在三维空间中设定的虚拟基准点的坐标值和三维网格形状模型的各像素的坐标值，将各像素的坐标值转换为全向图像的坐标系，将全向图像映射到三维网格形状模型来形成全向立体图像。根据该图像处理装置，能够在虚拟环境下提供具有立体感的全向图像。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1：JP2019
‑
133310A

技术实现思路

[0007]专利技术要解决的问题
[0008]然而，在将使全向图像仅粘贴到球体型三维模型而成的背景图像投影到HMD的情况下，在佩戴HMD的用户所观测的三维虚拟空间内，在相当于地面的位置不存在图像的信息，因此，该用户会产生漂浮感。在上述的专利文献1中，由于是与全向图像中的水平面(地面)对应地形成平面网格形状模型，将全向图像映射到使该平面网格形状模型与球体网格形状模型组合而成的三维网格形状模型，因此，得以减轻用户的漂浮感。
[0009]但是，专利文献1的平面网格形状模型与全向图像实际拍摄时的拍摄位置与地面之间的距离无关，其是与全向图像中的水平面的位置对应地形成的。因此，观看映射到该平面网格形状模型的地面的图像的用户有可能对三维虚拟空间内的到地面的距离感觉到不协调感，有可能三维虚拟空间的临场感下降，沉浸感被削减。
[0010]本专利技术是着眼于上述情况而完成的，其目的在于提供能够使用全向图像生成三维虚拟空间中的沉浸感高的背景图像的图像处理装置。
[0011]用于解决问题的方案
[0012]为了实现上述的目的，本专利技术的一方案提供一种图像处理装置，具备：存储部，其存储由全向照相机对包含地面和立体物的现实空间进行拍摄而得到的全向图像；模型形成部，其以所述存储部中存储的所述全向图像的特征为基础，形成将多个网格组合而构成的三维模型；以及描绘部，其以在三维虚拟空间中设定的基准点的坐标值为基础，将由所述模型形成部形成的所述三维模型上的各顶点的坐标值转换为所述存储部中存储的所述全向
图像的坐标系，将所述全向图像映射到所述三维模型来形成全向立体图像。在该图像处理装置中，所述存储部构成为存储表示从所述全向照相机的拍摄位置到所述地面的距离的地面距离信息。所述模型形成部构成为形成以所述三维虚拟空间中的所述基准点为中心的球体型模型，并且形成与所述地面对应的横向平面型模型，所述横向平面型模型在从该球体型模型的中心观看时配置在下方，且到该中心的距离基于所述存储部中存储的所述地面距离信息来设定。所述描绘部构成为通过以所述三维虚拟空间中的所述基准点的坐标值为基础，将由所述模型形成部形成的所述球体型模型上的各顶点的坐标值转换为所述存储部中存储的所述全向图像的坐标系，并且将由所述模型形成部形成的所述横向平面型模型上的各顶点的坐标值置换为对从所述球体型模型的中心去往所述横向平面型模型上的各顶点的各个方向向量与所述球体型模型的各交点所设定的坐标系转换后的坐标值，将所述全向图像映射到所述球体型模型和所述横向平面型模型来形成所述全向立体图像。
[0013]专利技术效果
[0014]根据本专利技术所涉及的图像处理装置，得以抑制与三维虚拟空间内的到地面的距离相关的用户的不协调感，因此能够使用全向图像生成三维虚拟空间中的沉浸感高的背景图像。
附图说明
[0015]图1是示出应用了本专利技术的第1实施方式所涉及的图像处理装置的驾驶模拟器系统的概要构成的框图。
[0016]图2是示出由第1实施方式中的模型形成部形成的三维模型(球体型模型和横向平面型模型)的概念图。
[0017]图3是用于说明由第1实施方式中的描绘部执行的将球体型模型上的各顶点的坐标值与全向图像的坐标值对应起来的处理的概念图。
[0018]图4是用于说明由第1实施方式中的描绘部执行的将与横向平面型模型上的各顶点的坐标值对应的UV坐标值置换为球体型模型中设定的UV坐标值的处理的概念图。
[0019]图5是示出由本专利技术的第2实施方式所涉及的图像处理装置的模型形成部形成的三维模型(球体型模型、横向平面型模型以及纵向平面型模型)的概念图。
[0020]图6是用于说明由第2实施方式中的描绘部执行的将与纵向平面型模型上的各顶点的坐标值对应的UV坐标值置换为球体型模型中设定的UV坐标值的处理的概念图。
[0021]图7是用于说明第2实施方式的效果的概念图。
[0022]图8是示出第3实施方式中被粘贴全向图像的三维模型的截面的概念图。
[0023]图9是示出与第2实施方式关联的变形例的概念图。
[0024]附图标记说明
[0025]1…
驾驶模拟器系统
[0026]2…
全向照相机
[0027]3…
图像处理装置
[0028]4…
头戴式显示器(HMD)
[0029]31
…
输入部
[0030]32
…
存储部
[0031]33
…
模型形成部
[0032]34
…
描绘部
[0033]35
…
输出部
[0034]C
…
球体型模型的中心(三维虚拟空间的基准点)
[0035]D1
…
从拍摄位置到地面的距离
[0036]D2
…
从拍摄位置到立体物的距离
[0037]Dh
…
从球体型模型的中心到横向平面型模型的距离
[0038]Dv
…
从球体型模型的中心到纵向平面型模型的距离
[0039]G
…
地面
[0040]I
…
全向图像
[0041]Io
…
立体物的图像
[0042]Imap
…
三维虚拟空间的背景图像
[0043]Mh
…
横向平面型模型
[0044]Ms
…
球体型模型
[0045]Mv、Mv
′…
纵向平面型模型
[0046]O
…
立体物
[0047]Ph
…
横向平面型模型的顶点
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，具备：存储部，其存储由全向照相机对包含地面和立体物的现实空间进行拍摄而得到的全向图像；模型形成部，其以所述存储部中存储的所述全向图像的特征为基础，形成将多个网格组合而构成的三维模型；以及描绘部，其以在三维虚拟空间中设定的基准点的坐标值为基础，将所述存储部中存储的所述全向图像映射到由所述模型形成部形成的所述三维模型来形成所述三维虚拟空间的背景图像，所述图像处理装置的特征在于，所述存储部构成为，存储表示从所述全向照相机的拍摄位置到所述地面的距离的地面距离信息，所述模型形成部构成为，形成以所述三维虚拟空间中的所述基准点为中心的球体型模型，并且形成与所述地面对应的横向平面型模型，所述横向平面型模型在从该球体型模型的中心观看时配置在下方，且到该中心的距离基于所述存储部中存储的所述地面距离信息来设定，所述描绘部构成为，通过以所述三维虚拟空间中的所述基准点的坐标值为基础，将由所述模型形成部形成的所述球体型模型上的各顶点的坐标值与所述存储部中存储的所述全向图像的坐标值对应起来，并且将由所述模型形成部形成的所述横向平面型模型上的各顶点的坐标值与所述存储部中存储的所述全向图像的坐标值对应起来，将与所述横向平面型模型上的各顶点的坐标值对应的所述全向图像的坐标值置换为对从所述球体型模型的中心去往所述横向平面型模型上的各顶点的各个方向向量与所述球体型模型的各交点所设定的所述全向图像的坐标值，从而将所述全向图像映射到所述球体型模型和所述横向平面型模型来形成所述三维虚拟空间的背景图像。2.根据权利要求1所述的图像处理装置，其特征在于，对所述全向图像的各像素分别设定有UV坐标系中的UV坐标值，所述描绘部构成为，根据所述三维虚拟空间中的所述基准点与所述球体型模型上的各顶点及所述横向平面型模型上的各顶点的位置关系，设定与各个顶点的坐标值对应的所述全向图像的UV坐标值，并且使分别将所述球体型模型的中心与所述横向平面型模型上的各顶点相连的直线向径向外侧延长，取得对该各直线与所述球体型模型的各交点所设定的UV坐标值，将与所述横向平面型模型上的各顶点的坐标值对应的所述全向图像的UV坐标值置换为该取得的各UV坐标值。3.根据权利要求1所述的图像处理装置，其特征在于，所述存储部构成为，存储表示从所述全向照相机的拍摄位置到所述立体物的距离的立体物距离信息，所述模型形成部构成为，形成与所述立体物对应的纵向平面型...

【专利技术属性】
技术研发人员：真野勇人，山崎拓真，
申请(专利权)人：铃木株式会社，
类型：发明
国别省市：