全方位视频的影像处理方法及装置制造方法及图纸

本发送提供全方位视频的影像处理装置及方法。本公开的影像处理方法包括：从全方位摄像头获取输入影像的步骤；基于上述全方位摄像头的结构将所获取的上述输入影像构建为二维影像阵列的步骤；在所构建的上述二维影像阵列中确定与用户的动作相对应的输出影像的步骤；以及向用户提供所确定的上述输出影像的步骤。

【技术实现步骤摘要】
全方位视频的影像处理方法及装置
本公开涉及全方位视频的影像处理装置及方法。更加具体地，本公开涉及提供反映出观看者的旋转及移动运动的360度全方位视频的装置及方法。
技术介绍
虚拟现实(virtualreality)服务能够以实图或计算机图形(CG，ComputerGraphics)形式生成360度全方位视频(或全方位视频)从而在作为个人终端的头戴式显示器(HMD，HeadMountedDisplay)播放，它正朝着可使沉醉感和现场感极大化的方向发展。360度视频(或全方位视频)为超出二维视频的固定视点而在用户观看视频时可使其在所需方向的视点观看视频的视频。图1为说明用于获取本公开一实施例的360度视频的摄像头结构及播放影像格式的图。与普通摄像头不同，用于获取360度视频的全方位摄像头配置为：可为了获取从全方位的被拍摄体反射的光而以摄像头的中心点110为基准朝向全方位。从构成全方位摄像头的各个摄像头获取的多个影像可通过影像拼接(stitching)步骤播放于头戴式显示器。构成拼接影像120的C1、C2、C3……等影像可表示从构成全方位摄像头的各个摄像头获取的影像。当通过头戴式显示器观看借助以往的360度摄像头来获取的影像时，观看者的凝视方向与多个摄像头直视的方向相一致，而仅在观看者旋转360度的情况下才可观看相应方向的影像。并且，由于观看者的方向要与摄像头的方向一致，因而当观看者向左右或上下方向移动时，观看者看到的影像没有变化。另一方面，在逼真的显示器中，为了向观看者提供沉醉感和自然影像而需要一种根据用户的动作或眼睛主视的位置改变视差(parallax)及焦点的方法。图2为用于说明本公开一实施例的头戴式显示器的六自由度(DoF，DegreesofFreedom)的图。以佩戴头戴式显示器的观看者为中心，第一动作210可表示水平轴的左右往复运动(movesidetoside)，第二动作220可表示水平轴的旋转运动(lookupanddown)，第三动作230可表示上下轴的上下往复运动(moveupanddown)，第四动作240可表示上下轴的旋转运动(looksidetoside)，第五动作250可表示前后轴的前后往复运动(movefronttoback)，以及第六动作260可表示前后轴的旋转运动(tiltheadsidetoside)。一般情况下，为了提供宽范围的视差，图2中的视图(view)轴方向的值必须要大。并且，为了连续改变焦点，需要视点间隔窄的影像，为此需要大量的数据量或大量的运算量，因而需要一种用于在显示器有效地再现视点影像的方法。另一方面，为了在头戴式显示器播放自然且沉醉感高的360度视频，需要再现六自由度。即，需要通过头戴式显示器画面播放与观看者的左右移动、上下旋转、上下移动、左右旋转等6个方向的移动相对应地凝视的影像。到目前为止，用于播放实图影像的头戴式显示器通过检测以上下旋转及左右旋转为主的动作来播放影像，而在提供与观看者的左右移动及上下移动有关的凝视影像方面存在局限性。
技术实现思路
本公开的技术问题在于，提供全方位视频的影像处理装置及方法。本公开的再一技术问题在于，提供用于提供反映出观看者的旋转及移动运动的全方位360度视频的装置及方法。本公开的另一技术问题在于，提供用于提供360度摄像头结构的装置及方法，上述360度摄像头结构通过头戴式显示器提供更加自然的六自由度的360度视频。本公开的还又一技术问题在于，提供用于提供影像格式的装置及方法，上述影像格式通过头戴式显示器提供更加自然的六自由度的360度视频。根据本公开的一实施方式，可提供影像处理方法，上述影像处理方法包括：从全方位摄像头获取输入影像的步骤；基于上述全方位摄像头的结构将所获取的上述输入影像构建为二维影像阵列的步骤；在所构建的上述二维影像阵列中确定与用户的动作相对应的输出影像的步骤；以及向用户提供所确定的上述输出影像的步骤。根据本公开的另一实施方式，可提供影像处理装置，上述影像处理装置包括：影像接收部，用于从全方位摄像头获取输入影像；控制部，基于上述全方位摄像头的结构将所获取的上述输入影像构建为二维影像阵列，并在所构建的上述二维影像阵列中确定与用户的动作相对应的输出影像；以及输出部，用于向用户提供所确定的上述输出影像。以上针对本公开简要概括的特征仅仅为以下本公开的详细说明的示例性实施方式，而并非限制本公开的范围。根据本公开，可提供全方位视频的影像处理装置及方法。并且，根据本公开，可提供用于提供反映出观看者的上下/左右旋转及上下/左右移动运动的360度全方位视频的装置及方法。并且，根据本公开，可提供用于提供360度摄像头结构的装置及方法，上述360度摄像头结构通过头戴式显示器提供更加自然的六自由度的360度视频。并且，根据本公开，可提供用于提供影像格式的装置及方法，上述影像格式通过头戴式显示器提供更加自然的六自由度的360度视频。本公开中可获得的效果并不局限于以上所提及的效果，本专利技术所属
的普通技术人员可从以下记载中明确理解未被提及的其他效果。附图说明图1为说明用于获取360度视频的摄像头结构及播放影像格式的图。图2为用于说明本公开一实施例的头戴式显示器的六自由度的图。图3为用于说明本公开一实施例的支持六自由度的360度摄像头结构的图。图4为用于说明本公开一实施例的生成支持六自由度的影像格式，并在头戴式显示器播放所生成的影像格式的过程的图。图5为用于说明本公开一实施例的提供反映出观看者的旋转运动的头戴式显示器影像的过程的图。图6为用于说明本公开一实施例的提供反映出观看者的移动运动的头戴式显示器影像的过程的图。具体实施方式本专利技术可实施多种变更，可具有多种实施例，将在附图中例示特定实施例并进行详细说明。但是，这并非表示要将本专利技术限定于特定实施方式，而应当理解为包括本专利技术的思想及技术范围内的所有变更、等同技术方案及代替技术方案。在附图中，类似的附图标记表示多方面相同或类似的功能。为了明确说明，附图中的多个要素的形状及大小可能被夸大。对示例性实施例的以下详细说明参照以特定实施例作为例示来示出的附图。充分详细地说明这些实施例使得本
的普通技术人员可以实施。应当理解，多种实施例互不相同但无需相互排斥。例如，关于一实施例，在不脱离本专利技术的思想及范围的情况下，可通过其他实施例实现本说明书中所记载的特定形状、结构及特性。并且应当理解，在不脱离实施例的思想和范围的情况下，可以改变每个公开的实施例中的各个结构要素的位置或配置。因此，后述的详细说明不应被视为具有限制意义，只要说明得当，示例性实施例的范围与其权利要求的主张等同的所有范围一同由权利要求来限制。在本专利技术中，可在说明多种结构要素的过程中使用第一、第二等术语，但是上述结构要素不应受上述术语的限制。上述术语仅以从其他结构要素中区分一个结构要素的目的来使用。例如，在不脱离本专利技术的权利范围的情况下，第一结构要素可命名为第二结构要素，类似地，第二结构要素也可命名为第一结构要素。术语“和/或”包括多个相关记载的项目的组合或者多个相关记载的项目中的某个项目。当提及一个结构要素与其他结构要素“相连接”或“相接触”时，应当理解为可直接与其他结构要素相连接或相接触，还可在中间包括其他结构本文档来自技高网...

【技术保护点】
1.一种影像处理方法，其特征在于，包括：从全方位摄像头获取输入影像的步骤；基于上述全方位摄像头的结构将所获取的上述输入影像构建为二维影像阵列的步骤；在所构建的上述二维影像阵列中确定与用户的动作相对应的输出影像的步骤；以及向用户提供所确定的上述输出影像的步骤。

【技术特征摘要】
2017.06.15 KR 10-2017-00758031.一种影像处理方法，其特征在于，包括：从全方位摄像头获取输入影像的步骤；基于上述全方位摄像头的结构将所获取的上述输入影像构建为二维影像阵列的步骤；在所构建的上述二维影像阵列中确定与用户的动作相对应的输出影像的步骤；以及向用户提供所确定的上述输出影像的步骤。2.根据权利要求1所述的影像处理方法，其特征在于，在上述全方位摄像头的结构中，构成上述全方位摄像头的多个单摄像头以多边形形态的结构配置，位于上述多边形形态中的相同边的多个单摄像头以平行轴(平行摄像机(parallelcamera))或交叉轴(前束、全聚度摄像机(toe-in，convergencecamera))方式配置。3.根据权利要求2所述的影像处理方法，其特征在于，在上述二维影像阵列中，与所获取的上述输入影像有关的多个拼接影像分别沿着水平方向及垂直方向配置。4.根据权利要求3所述的影像处理方法，其特征在于，沿着上述水平方向配置的拼接影像为通过对从在呈上述多边形形态的多个边中分别选择的多个摄像头获取的多个影像进行拼接而成的影像，沿着上述垂直方向配置的拼接影像为通过对从包含于呈上述多边形形态的多个边中的一个边的多个摄像头获取的多个影像进行拼接而成的影像。5.根据权利要求4所述的影像处理方法，其特征在于，将所获取的上述输入影像构建为二维影像阵列的步骤还包括利用上述多个拼接影像生成插值影像的步骤。6.根据权利要求5所述的影像处理方法，其特征在于，通过头戴式显示器向上述用户提供上述输出影像，上述输出影像包含反映了上述用户的双眼视差的左侧头戴式显示器影像及右侧头戴式显示器影像，上述左侧头戴式显示器影像及右侧头戴式显示器影像分别为上述二维影像阵列的一部分拼接影像。7.根据权利要求6所述的影像处理方法，其特征在于，在上述用户的动作为左右旋转或上下旋转运动的情况下，确定上述输出影像的步骤包括使上述左侧头戴式显示器影像及右侧头戴式显示器影像分别沿着水平方向移动规定的距离来确定左侧头戴式显示器输出影像及右侧头戴式显示器输出影像的步骤。8.根据权利要求6所述的影像处理方法，其特征在于，在上述用户的动作为左右移动或上下移动运动的情况下，确定上述输出影像的步骤包括使上述左侧头戴式显示器影像及右侧头戴式显示器影像分别沿着垂直方向移动规定的距离来确定左侧头戴式显示器输出影像及右侧头戴式显示器输出影像的步骤。9.根据权利要求6所述的影像处理方法，其特征在于，在上述用户的动作为左右移动和旋转运动、或上下移动和旋转运动的情况下，确定上述输出影像的步骤包括使上述左侧头戴式显示器影像及右侧头戴式显示器影像分别沿着对角线方向移动规定的距离来确定左侧头戴式显示器输出影像及右侧头戴式显示器输出影像的步骤。10.一种影像处理装置，其特征在于，包括：影像接收部，用于从全方位摄像头获取输入影像；控制部，基于上述全方位摄像头的结构将所获取的上述输入影像构建为二维影像阵列，并在所构建的上述二维影像阵列中确定...

【专利技术属性】
技术研发人员：李光淳，郭相云，尹国镇，尹正日，
申请(专利权)人：韩国电子通信研究院，
类型：发明
国别省市：韩国,KR