用于收集产生沉浸式视频的图像数据的方法和用于基于图像数据观看空间的方法技术

一种用于收集旨在产生沉浸式视频的图像数据的方法包括确定视角区并设置位于所述视角区末端处的一组源点，以及在所述源点中的每一个放置第一组扫描器中的一个扫描器以用于通过扫描光束逐步扫描空间，接着依次扫描由所述视角区预定的范围内的方位角和仰角，并基于反射扫描光束来确定图像数据，所述图像数据由被光束触摸的点与产生所讨论的扫描光束的扫描器之间的距离和所述触摸点的颜色参数形成，并将它们存储在存储器中。

Method for collecting image data generated by immersive video and method for viewing space based on image data

A method for image data collection is designed to produce immersive video includes determining view area and set a set of source points located in the view area at the ends and at the source point in each group in the first place the scanner a scanner for scanning beam through step-by-step scanning space, then scan the azimuth and elevation range of the predetermined by the view area within, and reflection scanning beam is determined based on the image data, the image data from the scanner is between the touch point and the beam produced by the discussion of the scanning beam and the distance of the touch point parameters of the color formation, and stores them in memory in.

【技术实现步骤摘要】
【国外来华专利技术】本专利技术涉及一种用于收集旨在产生沉浸式视频的图像数据的方法，该方法包括设置至少n(n>1)个扫描器的第一扫描器组，每个扫描器被提供用于产生扫描光束，该方法还包括通过所述第一扫描器组的每个扫描器通过扫描光束来扫描预定空间以用于产生所述空间的图像数据，其中图像数据被存储在存储器中。她还涉及此图像数据的可视化方法。这种方法从美国专利申请2013/0083173中已知。这种方法也被用于视频游戏以创建风景。为了使沉浸式视频能够产生可视化的图像，首先必须收集图像数据。这是通过扫描器组来实现的，扫描器组扫描形成发生沉浸式视频的场景的预定空间。如此收集的图像数据被存储在存储器中。当视频游戏的用户希望在视频游戏的三维场景中移动自己时，他通常将使用执行视频游戏的键盘和计算机鼠标。然后，视频游戏将从虚拟人的新视角开始实时计算3D场景的渲染，并将此渲染显示在计算机屏幕上。这使用户能够在视频游戏的虚拟世界中移动自己，并与此世界进行交互。这些简单的交互已经使一些用户在游戏的几分钟内感觉到自己存在于视频游戏的虚拟人物的皮肤中。虚拟沉浸感觉包括向用户提供在物理上真正处于虚拟3D场景内的印象。这种感觉在通过用户的感官所感受到的以及如果用户真处于虚拟3D场景的物理等效环境中(换言之在现实世界中)所感受到的之间的适当性方面在某种程度上是强烈的。向用户眼睛呈现与他头部的旋转移动一致的图像的系统通常被称为虚拟现实系统。最常用于获得虚拟现实系统的技术是虚拟现实头戴式套件。用户将头戴式套件戴在他的头上，并且头戴式套件被连接到计算机。通过屏幕和被放置在用户眼睛之前的透镜组，头戴式套件向每只眼睛呈现由计算机实时计算的合成图像。头戴式套件还包括能够测量用户头部的定向的传感器。原理如下：用户转动他的头部，虚拟现实头戴式套件捕捉此头部移动，并将关于用户的新的头部定向的信息发送给计算机，计算机产生虚拟3D场景的立体渲染，其中两个虚拟相机的定向对应于用户眼睛的新定向，由计算机实时渲染的图像被显示在用户眼前。不同的因素将在视觉水平上影响虚拟沉浸的质量。主要因素是用户的头部移动(由他的内耳测量)与他的视野之间的适当性。在现实世界中人类习惯于这两种感觉之间的完美适当性。根据眼睛所看到的图像和用户内耳所感觉到的移动之间的不一致范围，后者将会感觉到轻微不适的感觉、视觉疲劳、头痛、不适感以及甚至可导致呕吐的反胃。这些影响被称为虚拟现实不适或“网络不适”，并与晕船不适相类似。已知的沉浸式视频是覆盖用户周围360度的视野的单视的或立体的预录或预计算的电影。这些已知的沉浸式视频可通过虚拟现实头戴式套件而被可视化。虚拟现实头戴式套件测量用户的头部定向，并使计算机能够向头戴式套件显示器传送与此定向对应的右眼图像和左眼图像。对于已知的沉浸式视频如普通视频，图像是预录的或预计算的，因此它们不是实时计算的。因此，代替例如实时计算图像的1/60秒，这可在超过一小时内计算出来。这使得能够具有比虚拟现实的图像质量好得多的图像质量。当用户用他的头部执行平移运动时，他的视野将被移位。在这种移位期间，靠近用户的物体的图像将比更远离用户的物体的图像移动得更快。当一个人在移动的火车内通过窗户看时，此效果被清楚地观察到：此人看到近处的栅栏移动得很快，而远处的山看起来好像保持静止。这种效果被称为视差。已知的沉浸式视频的问题在于它们不考虑用户头部的平移移动，并因此它们不能提供交互式视差。此限制大大限制了已知沉浸式视频的沉浸式质量。事实上，用户的脑部希望在他的头部移动时看到视差，但这没有被感知到。这种缺点降低了用户的视觉舒适度和沉浸式感受，并大大增加了“网络不适”的风险。本专利技术的一个目的是实现一种用于收集旨在产生沉浸式视频的图像数据的方法，其能够考虑用户头部的这些移动，特别是平移移动。为此目的，一种用于收集旨在产生沉浸式视频的图像数据的方法的特征在于，视角区通过界定的体积被确定，通过该视角区沉浸式视频的用户将能够看到所述空间并在视角区内执行头部移动(特别是平移移动)，此后确定位于视角区末端的第二组m(m>1)个源点，其中对所述第一组至少n个扫描器的设置通过每次在所述源点中的每一个放置所述第一组的所述扫描器中的一个来实现，对所述空间的所述扫描是通过放置在所述源点处的所述扫描器来完成的，以及连续地一方面根据方位角，并在另一方面根据各位于由所述视角区预定的范围内的仰角逐步扫描所述空间，其中图像数据的生成是通过针对每个产生的扫描光束收集每次被触摸点反射的扫描光束来执行的，所述触摸点位于所述空间内并被有关的扫描光束触摸并基于所述反射的扫描光束，通过每个步骤确定在所述触摸点和已经产生该有关的扫描光束的所述扫描器之间的距离以及所述触摸点的颜色参数，以根据方位角和仰角构造的矩阵形式在存储器中存储所述数据。通过确定界定体积的视角区(沉浸式视频的用户将能够从该视角区看到所述空间并在该视角区内用他的头部执行移动)，确定扫描器将被放置的源点并从而从这些源点扫描该空间变得可能。这将然后使得能够从该视角区收集图像数据，并从而考虑用户头部的移动(特别是平移移动)，并在头戴式套件内部提供具有交互式视差效果的视图。通过与可视为被动的视差相反的视差来说明交互式视差，这将与由沉浸式视频的导演执行的视角在沉浸式视频中的位移相关联。虚拟现实系统能够具有这种交互式视差，但是它们因此能可实时地计算呈现给用户眼睛的图像。实时计算大大降低了图像质量。根据本专利技术的一种用于创建具有交互式视差的沉浸式视频的方法使用预计算的合成图像或现实拍摄，从而提供与实时虚拟现实相比更好的图像质量。在沉浸式视频内包含交互式视差使用户能够感受到非常好的沉浸式感觉，并显著降低了网络不适的风险。视角区能够限制为了再现被扫描的空间必须存储的信息的数量。信息的这种限制使得能够具有可被管理的一定数量的信息和数据。视角区的配置、尺寸和形状预确定了用于扫描空间的扫描器的数量和设置。根据本专利技术的方法的第一优选实施例的特征在于，视角区由具有至少30cm的高度、至少30cm的深度、以及至少30厘米的宽度的基本上矩形体(特别是长方体)形成的。这使得能够覆盖在用户的头部的平移移动和/或旋转期间可到达的位置(在用户将其剩余身体保持在固定位置的情况下)。根据本专利技术的方法的第二优选实施例的特征在于，通过针对扫描器所触摸的每个点确定该点是否可被所述n个扫描器中的至少另一个扫描器发射的光束达到来过滤经存储的数据，并在所述n个扫描器中的至少另一个扫描器发射的光束可到达所考虑的触摸点的情况下，基于预定的选择标准来确定是否必须从经存储的数据中消除所考虑的触摸点的经存储的数据。此过滤步骤使得能过滤和仅保存提供有用信息的点。这使得能够降低用于产生具有交互式视差的沉浸式视频的存储数据量。根据本专利技术的方法的第三优选实施例的特征在于，选择标准是基于在根据方位角的两个连续扫描步骤以及根据仰角的两个连续扫描步骤之间由产生了所考虑的触摸点的扫描器和其他n个扫描器中能够达到所考虑的触摸点的单个或多个扫描器扫描的表面的面积。优选地，根据本专利技术的方法的特征在于，所使用的扫描器是虚拟扫描器或物理扫描器。场景可因此通过虚拟扫描器或物理扫描器产生，物理扫描器的使用方式与导演用他的相机记录他电影的场景一样。根据根据本专利技术本文档来自技高网...

【技术保护点】
一种用于收集旨在产生沉浸式视频的图像数据的方法，所述方法包括设置第一组至少n(n>1)个扫描器，每个扫描器被提供用于产生扫描光束，所述方法还包括通过所述第一组扫描器的每个扫描器通过用于产生所述空间的所述图像数据的扫描光束来扫描预定空间，其中图像数据被存储在存储器中，其特征在于，视角区通过界定体积被确定，通过所述体积所述沉浸式视频的用户将能够看到所述空间并在所述视角区内执行头部移动，特别是平移移动，此后确定位于所述视角区末端的第二组m(m>1)个源点，其中对所述第一组至少n个扫描器的设置通过每次在所述源点中的每一个放置所述第一组扫描器中的一个来实现，对所述空间的所述扫描是通过放置在所述源点处的所述扫描器来实现的，以及连续地在一方面根据方位角，并在另一方面根据位于由所述视角区预定的范围内的仰角逐步扫描所述空间，其中图像数据的生成是通过针对每个产生的扫描光束收集每次被触摸点反射的所述扫描光束来实现的，所述触摸点位于所述空间内并被有关的扫描光束触摸并基于所述反射的扫描光束，通过每个步骤确定在所述触摸点和已经产生有关的扫描光束的所述扫描器之间的距离(d)以及所述触摸点的颜色参数，以根据所述方位角和仰角构造的矩阵的形式存储所述数据。...

【技术特征摘要】
【国外来华专利技术】2014.10.22 BE BE2014/050251.一种用于收集旨在产生沉浸式视频的图像数据的方法，所述方法包括设置第一组至少n(n>1)个扫描器，每个扫描器被提供用于产生扫描光束，所述方法还包括通过所述第一组扫描器的每个扫描器通过用于产生所述空间的所述图像数据的扫描光束来扫描预定空间，其中图像数据被存储在存储器中，其特征在于，视角区通过界定体积被确定，通过所述体积所述沉浸式视频的用户将能够看到所述空间并在所述视角区内执行头部移动，特别是平移移动，此后确定位于所述视角区末端的第二组m(m>1)个源点，其中对所述第一组至少n个扫描器的设置通过每次在所述源点中的每一个放置所述第一组扫描器中的一个来实现，对所述空间的所述扫描是通过放置在所述源点处的所述扫描器来实现的，以及连续地在一方面根据方位角，并在另一方面根据位于由所述视角区预定的范围内的仰角逐步扫描所述空间，其中图像数据的生成是通过针对每个产生的扫描光束收集每次被触摸点反射的所述扫描光束来实现的，所述触摸点位于所述空间内并被有关的扫描光束触摸并基于所述反射的扫描光束，通过每个步骤确定在所述触摸点和已经产生有关的扫描光束的所述扫描器之间的距离(d)以及所述触摸点的颜色参数，以根据所述方位角和仰角构造的矩阵的形式存储所述数据。2.如权利要求1所述的方法，其特征在于，所述视角区由具有至少30cm的高度、至少30cm的深度、以及至少30厘米的宽度的基本上矩形体(特别是长方体)形成的。3.如权利要求1所述的方法，其特征在于，所述视角区由基本上为八面体形状的体积形成。4.如权利要求1至3中任一项所述的方法，其特征在于，通过针对扫描器所触摸的每个点确定该点是否能被所述n个扫描器中的至少另一个扫描器发射的光束达到来过滤所述经存储的数据，并在所述n个扫描器中的至少另一个扫描器发射的光束能到达所考虑的触摸点的情况下，基于预定的选择标准来确定是否必须从所述经存储的数据中消除所考虑的触摸点的所述经存储的数据。5.如权利要求4所述的方法，其特征在于，所述选择标准基于由已产生所考虑的触摸点的扫描器和其他扫描器中能够达到所考虑的触摸点的单个或多个扫描器在根据方位角的两个连续扫描步骤之间和根据仰角的两个连续扫描步骤扫描的表面的面积。6.如权利要求5所述的方法，其特征在于，垂直于所述扫描表面的线与产生所述触摸点的所述扫描光束之间的角度(β)被确定，基于所述距离(d)的平方除以所述角度β的余弦来确定表面面积并形成所述选择标准，以及其中存储有具有最小扫描面积的值的所述数据被保持。7.如权利要求4所述的方法，其特征在于，所述选择标准基于所述触摸点和已产生所述触摸点的所述扫描器之间...

【专利技术属性】
技术研发人员：T·萨洛梅，M·德科宁克，C·马斯卡雷洛，J·范德黑根，G·霍诺雷斯，
申请(专利权)人：帕拉拉克斯特公司，
类型：发明
国别省市：比利时;BE