生成和回放虚拟现实多媒体的方法、系统和装置制造方法及图纸

本申请提供了一种在具有和存储器互连的处理器的开发计算装置上生成虚拟现实多媒体的方法。该方法包括：在该处理器中采集一个表示一个场景的点云，点云数据包括对应于采集范围中的位置的多个点的颜色和深度数据；在处理器中生成一个点云选定部分的二维投影，该投影包括选定部分的颜色和深度数据；将二维投影存储至存储器。

Method, system and device for generating and replaying virtual reality multimedia

The present application provides a method for generating virtual reality multimedia on a development computing device having a memory interconnection. The method includes: a representation of a scene point cloud acquisition in the processor, color and depth data of multiple point cloud data which corresponds to the position of the acquisition range; generating a point cloud selected part of the 2D projection in the processor, the projection includes selected part of the color and depth the data will be stored in the memory; 2D projection.

【技术实现步骤摘要】
【国外来华专利技术】生成和回放虚拟现实多媒体的方法、系统和装置本申请要求2014年5月13日递交的申请号为NO.61/992488的题为“虚拟现实系统和方法”的美国临时专利申请的优先权，其内容以引用方式被包含于此。本说明书涉及基于计算机的视频，尤其涉及一种虚拟现实系统和方法。所述术语“虚拟现实”在此处具有一般意义上的含义并可以用于，例如，传统虚拟现实系统、增强现实系统或混合现实系统。得益于运动图像专家组(MotionPicturesExpertGroup，MPEG)标准和相关标准，数字二维视频已被广泛接受并具备一定的商业规模。同样的，数字三维视频的进步正在使成本降低并使其更易获取。同样地，视频游戏中的虚拟现实越来越多地被接受，并且类似于美国加利福尼亚州OculusVR公司OculusRift的产品正在增加用户对虚拟现实体验的机会。然而，虚拟现实计算系统和方法仍然面临许多挑战。对于整合视频到虚拟现实并成功集成360度立体图像的早期尝试集中在要求每只眼睛对应一个视频流时，解决固定瞳孔间距问题的方案。一种可以提供从多个用户高度进行观看，对应多个瞳孔间距，且在位置跟踪时能保持合适的视差同时确保场景连续性(没有因阻挡丢失的像素)的视频信息流的解决方案仍然很难找到。根据本说明书的一个方面，提供了一种在一个开发计算设备上生成虚拟现实多媒体的方法。该开发计算设备包括一个处理器，和一个与该处理器相连的存储器。该方法包括：在该处理器中采集一个用于表示一个场景的点云，该点云数据包括多个点中每个点的颜色和深度数据，该多个点对应于采集范围内的某些位置；在该处理器中生成一个点云中选定部分的二维投影，该投影包括该选定部分的颜色和深度数据；和将二维投影存储在该存储器中。根据本说明书的另一方面，提供了一种开发计算设备。该设备包括：一个存储器；和一个与该存储器互连的处理器，该处理器被配置为执行上述方法。根据本说明书的又一方面，提供了一种在用户计算设备上回放虚拟现实多媒体的方法。该计算设备包括一个处理器，该处理器与一个存储器和一个显示器互连。该方法包括：接收一个点云的二维投影，该投影包括该点云的颜色和深度数据；从二维投影再生该点云；和在该显示器上渲染该点云。根据本说明书的又一方面，提供了一种用户计算设备。该设备包括：一个存储器；一个显示器；和一个与该存储器和该显示器互连的处理器，该处理器被配置为执行上述方法。根据本说明书的又一方面，提供了一种生成和回放虚拟现实多媒体的系统。该系统包括上述开发计算设备，上述用户计算设备和一个连接到上述开发计算设备的用于采集点云的采集装置。参考以下附图对实施例进行描述，其中：图1是根据一个非限制性实施例所示的一个生成和回放虚拟现实多媒体数据的系统的示意图；图2是根据一个非限制性实施例所示的球面坐标和使用球面坐标放置的点云的参考图；图3是根据一个非限制性实施例所示的一个生成和回放虚拟现实多媒体数据的流程；图4是根据一个非限制性实施例所示的在图3所述流程中运行的软件组件；图5是根据一个非限制性实施例所示的图1所述系统的示例性的采集装置；图6是根据一个非限制性实施例所示的图5所述采集装置的三视图；图7是根据一个非限制性实施例所示的图5所述采集装置的变体的三视图；图8是根据一个非限制性实施例所示的生成和回放虚拟现实多媒体数据的一种方法；图9是根据一个非限制性实施例所示的执行图8中步骤805的一种方法；图10是根据一个非限制性实施例所示的执行图8中步骤810的一种方法；图11是根据一个非限制性实施例所示的一个示例性的点云；图12是根据一个非限制性实施例所示的使用图8所述的方法生成的一个示例性的二维投影；图13A-13B是根据一个非限制性实施例所示的图12所述投影的示例性的数据结构；图14A-14C是根据一个非限制性实施例所示的图12所述投影的其他的数据结构；图15是根据一个非限制性实施例所示的一种执行图8中步骤805和810的示例性操作流程；图16是根据一个非限制性实施例所示的一种执行图8中步骤815的示例性操作流程；图17是根据一个非限制性实施例所示的另一种执行图8中步骤815的示例性操作流程；图18是根据一个非限制性实施例所示的通过执行图8中步骤815获得的示例性的文件结构；图19是根据一个非限制性实施例所示的通过执行图8中步骤815获得的另一种示例性的文件结构；图20是根据一个非限制性实施例所示的一种执行图8中步骤820的示例性操作流程；图21是根据一个非限制性实施例所示的一种执行图8中步骤825的示例性操作流程；图22是根据一个非限制性实施例所示的通过执行图8中步骤825生成的点云；图23是根据一个非限制性实施例所示的一种执行图8中步骤820和825的示例性操作流程；图24是根据一个非限制性实施例所示的一个图8中步骤830的优化的渲染过程的示意图。图1描述了一个用于生成和回放虚拟现实多媒体数据的系统10。例如，系统10被配置为生成和回放虚拟现实视频数据(所述视频数据可以伴随有音频数据)。所述虚拟现实视频数据可以在视频所描述的场景中模拟观看者的存在。因此，例如可以跟踪观看者头部的移动并且将其用于更新视频中的显示。系统10包括一个生成计算设备28。所述计算设备也可以被称为开发计算设备28、开发设备28或简称为设备28。简而言之，开发设备28被配置为生成上述多媒体数据。系统10进一步包括客户计算设备36。该客户计算设备36也可以被称为用户计算设备36、用户设备36或简称为设备36。用户设备36被配置为接收并回放开发设备28生成的多媒体数据。例如，多媒体数据可以通过网络112在开发设备28和用户设备36之间传递。网络112可以包括有线网络和无线网络的任意合适的组合，包括但不限于广域网(WideAreaNetwork,WAN)，例如，因特网、局域网(LocalAreaNetwork,LAN)，例如，企业数据网络、手机网络、WiFi网络和WiMax网络等等。在一些实施例中，中间计算设备，例如，内容存储服务器(图中未示出)，可以参与所述多媒体数据从开发设备28到用户设备36的传输。在另一些实施例中，所述多媒体数据可以通过物理介质(例如，光盘、闪存等等)，而非网络112，进行传递。开发设备28可以基于任何合适的计算环境，例如一台服务器或一台个人计算机。在本实施例中，开发设备28可以是一个台式计算机，所述台式计算机包括一个或多个处理器。所述处理器统称为处理器116。处理器116的种类不限。例如，处理器116可以包括一个或多个通用的中央处理单元(centralprocessingunits,CPUs)，还可以包括一个或多个图形处理单元(graphicprocessingunits,GPUs)。这里讨论的各种处理任务的执行可以由所述中央处理单元和图形处理单元共同承担，这对于本领域技术人员而言是显而易见的。处理器116与一个非暂时性计算机可读存储介质相连，例如存储器120。存储器120可以是易失性存储器(例如，随机存取存储器("RAM"))、非易失性存储器(例如，只读存储器("ROM")、电擦除可编程只读存储器("EEPROM")、闪存、磁性计算机存储设备或光盘)的任意合适的组合。在本实施例中，存储器120包括一个易失性存储器和一个非易失本文档来自技高网...

【技术保护点】
一种在一个开发计算设备上生成虚拟现实多媒体的方法，所述开发计算设备包括一个处理器，和一个与所述处理器相连的存储器，包括：在所述处理器中采集一个用于表示一个场景的点云，所述点云数据包括多个点中每个点的颜色和深度数据，所述多个点对应于采集范围内的某些位置；在所述处理器中生成一个所述点云中选定部分的二维投影，所述投影包括所述选定部分的颜色和深度数据；以及将所述二维投影存储在所述存储器中。

【技术特征摘要】
【国外来华专利技术】2014.05.13 US 61/992,4881.一种在一个开发计算设备上生成虚拟现实多媒体的方法，所述开发计算设备包括一个处理器，和一个与所述处理器相连的存储器，包括：在所述处理器中采集一个用于表示一个场景的点云，所述点云数据包括多个点中每个点的颜色和深度数据，所述多个点对应于采集范围内的某些位置；在所述处理器中生成一个所述点云中选定部分的二维投影，所述投影包括所述选定部分的颜色和深度数据；以及将所述二维投影存储在所述存储器中。2.权利要求1所述的方法，进一步包括：传输所述二维投影至一个用户计算设备用于回放。3.权利要求1所述的方法，进一步包括：采集多个点云，所述点云表示在一段时间内的所述场景，以及，针对每个点云，生成所述点云中选定部分的一个二维投影。4.权利要求1所述的方法，其中生成所述二维投影包括：生成一个包含所述颜色数据的第一二维阵列；以及生成一个包含所述深度数据的第二二维阵列。5.权利要求4所述的方法，其中将所述二维投影存储在所述存储器中进一步包括：在所述处理器中，压缩所述第一二维阵列；以及将所述第一二维阵列和所述第二二维阵列组合到一个数字视频文件中。6.权利要求1所述的方法，其中采集所述点云进一步包括：在所述处理器中从相应的多个采集节点接收多组点云；将所述多组点云中的每一组与一个基准参考系配准；以及用单个点替换多个重叠点，所述重叠点表示所述采集范围内一个共同位置。7.权利要求6所述的方法，其中每个采集节点包括一个相机和一个深度传感器。8.权利要求1所述的方法，其中生成所述二维投影进一步包括：在所述点云内选择一个视点；对于从所述视点处开始的多个路径的每一个路径：将与所述路径相交的第一点放置到所述二维投影的一个投影区域中；判定所述路径是否与任何其它点相交；以及当所述判定结果为肯定时，将所述其他点中的至少一个放置在所述二维投影的一个折叠区域中。9.权利要求8所述的方法，进一步包括：通过判定所述至少一个其它点在视点运动的最大预测范围内是否可见，选择所述至少一个其它点以放置到所述折叠区域中。10.权利要求8所述的方法，进一步包括：生成一...

【专利技术属性】
技术研发人员：埃里克·彼得森，阿里亚·沙星果哈，
申请(专利权)人：PCP虚拟现实股份有限公司，
类型：发明
国别省市：加拿大,CA