一种虚拟现实内容多模式多角度同步展示方法及系统技术方案

本发明专利技术涉及虚拟现实计算机技术领域，具体为一种虚拟现实内容多模式多角度同步展示方法及系统。其方法包括在虚拟现实场景内相对第一人称位置，布置多个虚拟摄像机群组，实时跟踪、录制虚拟场景的多视角、多通道画面数据，并实时同步到流媒体服务器。流媒体服务器将多个视角的多通道数据存储于本地，实现多种客户端的实时观看需求，并能选择视角模式。并能选择视角模式。并能选择视角模式。

【技术实现步骤摘要】
一种虚拟现实内容多模式多角度同步展示方法及系统


[0001]本专利技术涉及虚拟现实计算机
，具体为一种虚拟现实内容多模式多角度同步展示方法及系统。

技术介绍

[0002]虚拟现实(VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中，近年来，随着社会生产力、科学技术的发展以及“元宇宙”概念的提出，各行各业对虚拟现实(VR)技术的需求日益旺盛，虚拟现实(VR)技术也取得了巨大进步。
[0003]现有虚拟显示空间内画面同步技术：使用屏幕共享的方式，将虚拟显示空间内第一人称视野内所看到的场景实时展示出来。采用这种方式的同步技术，观看场景对象及范围受虚拟现实场景内第一人称视野方向确定；将摄像机定位在虚拟显示空间内第一人称位置的后方，以第三人称视角方式，对虚拟现实场景内操作者进行跟随拍摄，将场景内容展示出来，摄像机视角与虚拟现实场景内操作者视角相同。采用这种方式的同步技术，可以看到操作者完整的操作过程，但因机位固定，视角固定，无法进行其他视角场景内容观看及进行监控画面合成等多视角同步观看；观看者使用带上VR眼睛，与操作者运行相同的应用软件，并加入导操作者所在的虚拟显示空间内，以自由漫步或操作跟随形式，进行操作者所在虚拟显示空间内场景观看。采样此类同步技术，可以多方位观看虚拟显示空间内场景，但由于观看者会出现在操作者视野内，会对处于虚拟现实场景内操作者的正常交互产生干扰，影响用户性能。

技术实现思路

[0004]针对现有技术的不足，本专利技术的目的提供一种虚拟现实内容多模式多角度同步展示方法，同时提供一种虚拟现实内容多模式多角度同步展示系统、一种头戴式虚拟现实设备、一种流媒体服务器，为实现上述目的，本专利技术采用如下技术方案：一种虚拟现实内容多模式多视角同步展示方法，所述的方法包括步骤：在虚拟现实场景中相对于第一人称初始位置在多个角度设置虚拟摄像机群组，实时跟踪第一人称位置变化，拍摄多角度视频信息；基于所述虚拟现实场景中多角度视频信息，依据观看角度选择对应通道视频数据，处理成多角度、多协议、多分辨率视频数据；基于多角度视频流与多模式视频流，满足各类显示设备多视角观看虚拟现实场景内场景。
[0005]进一步，所述虚拟摄像机群组按照以下方法设置：在虚拟现实场景中，获取第一人称初始位置；基于所述虚拟现实场景中所获取的第一人称初始位置，在多个视角分别设置同步
的虚拟摄像机群组，每个摄像机群组内设置多个摄像机；基于所述虚拟现实场景中所获取的第一人称位置变化数据，各视角的虚拟摄像机群组实时跟踪第一人称位置变化情况，保持固定的相对位置及视角参数。
[0006]进一步，所述虚拟摄像机群组相对应第一人称初始位置的设置的角度包括顶视视角、侧视视角、正视视角。
[0007]进一步，“在虚拟现实场景中相对于第一人称初始位置在多个角度设置虚拟摄像机群组，实时跟踪第一人称位置变化”具体地，所述虚拟摄像机群组实时位置跟踪，依据所设置的位置而采用不同的追踪方式：所述顶视视角虚拟摄像机群组，采用三维索道方式跟踪方式；所述正视视角虚拟摄像机群组，采用摇臂式跟踪方式；所述侧视视角虚拟摄像机群组，采用轨道式跟踪方式等；进一步，所述虚拟摄像机群组采用集群分布方式，每个位置点布置多个摄像机，每个摄像机独立工作，分别赋予不同的工作参数及镜头参数，每个摄像机视频录制输出为一个独立通道。
[0008]进一步，所述虚拟摄像机群组在进行实时位置跟踪时，采用阻尼算法，以消除摄像机在跟踪过程中的抖动。
[0009]进一步，所述“基于多角度视频流与多模式视频流，满足各类显示设备多视角观看虚拟现实场景内场景”，具体地，基于所获取的多视角虚拟摄像机群组多通道视频流信息，依据观看视角进行多通道视频流分组；基于所选择的观看角度，选择多个通道视频数据处理成包括但不限于3D视频流、360
°
全向媒体视频流、2D视频流的视频流；基于所获取的多视角虚拟摄像机群组多通道视频流信息，分别获取多个角度的视频流通道，处理成监控画中画模式视频流；基于所述的多角度多模式视频流，进行连接端口号分配，等待观看设备连接后，主动向其进行视频流推送。
[0010]一种虚拟现实内容多模式多视角同步展示系统，包括虚拟现实设备和流媒体服务器，包括虚拟现实操作端、流媒体服务器端、观看终端，所述虚拟现实操作端，用于操作者第一人称在虚拟现实场景场景交互，并录制虚拟现实场景场景多视角多通道视频数据同步传输到流媒体服务器；所述流媒体服务器端，用于将虚拟现实设备同步录制的多视角多通道视频数据，处理成不同的视频流或照片，从不同端口输出，所述视频流包括360
°
视频流、不同视角3D视频流、画中画视频流，所述照片包括720
°
照片；所述观看终端包括VR头显、电视、PC机。
[0011]进一步，所述的虚拟现实设备包括虚拟摄像机模块和数据融合模块，所述流媒体服务器端包括数据转换模块和视频流分发模块；虚拟摄像机模块用于提供虚拟现实场景内场景视频数据采集，实现用户多角度多模式同步查看场景内影像的业务需求；数据融合模块用于完成多通道多模式视频数据的融合及压缩操作，并将数据同步传输到同步服务器；数据转换模块用于多通道融合压缩后的数据解压后还原出各通道影像数据及摄像机工作参数等，依据观看角度选择对应通道视频数据，处理成多角度多协议、多分辨率视
频数据，以适配多种显示设备；视频流分发模块用于提供可供播放请求入口信息。
[0012]进一步，所述数据转换模块处理成多角度多协议、多分辨率视频数据包括：在同一虚拟摄像机群组内选择两个不同通道的视频流，处理成适合3D电视观看的3D视频流；选择不同视角的虚拟摄像机群组，处理成正视、侧视、俯视等不同视角的3D视频流；在同一虚拟摄像机群组内选择不同角度的两个通道视频流，处理成不同旋转角度画面3D视频流；在不同角度虚拟摄像机群组内分别选择一个通道视频流，处理成360
°
视频流、画中画视频流、720
°
照片；在同一虚拟摄像机群组内选择上下左右前后的影像，处理成该视角位置下可旋转角度的全视频流；在同一虚拟摄像机群组内选择左右眼的影像，处理成该视角位置下的3D视频流。
[0013]一种头戴式虚拟现实设备，所述头戴式虚拟现实设备包括：存储器、显示器、处理器和通信接口，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：S01.根据虚拟现实场景第一人称位置动态设置第一人称视角影像，第一人称位置与虚拟头戴设备的输入摄像机位置保持一致；S02.以第一人称机位为参考，设置第三人称视角摄像机群组机位，第三人称虚拟摄像机群组机位位置可以根据业务场景进行动态跟随设置或者在固定位置设置,并依据所设置的摄像机群组位置进行第一人称位置遮挡判断，根据需要进行遮挡规避操作；S03.摄像机跟随，第一人称和第三人称虚拟摄像机群组机位均参照于虚拟空间设备的摄像机位置进行跟随，在跟随过程中采用阻尼视角方式来减轻摄像机画面的大幅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟现实内容多模式多视角同步展示方法，其特征在于：所述的方法包括步骤：在虚拟现实场景中相对于第一人称初始位置在多个角度设置虚拟摄像机群组，实时跟踪第一人称位置变化，拍摄多角度视频信息；基于所述虚拟现实场景中多角度视频信息，依据观看角度选择对应通道视频数据，处理成多角度、多协议、多分辨率视频数据；基于多角度视频流与多模式视频流，满足各类显示设备多视角观看虚拟现实场景内场景。2.根据权利要求1所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，所述虚拟摄像机群组按照以下方法设置：在虚拟现实场景中，获取第一人称初始位置；基于所述虚拟现实场景中所获取的第一人称初始位置，在多个视角分别设置同步的虚拟摄像机群组，每个摄像机群组内设置多个摄像机；基于所述虚拟现实场景中所获取的第一人称位置变化数据，各视角的虚拟摄像机群组实时跟踪第一人称位置变化情况，保持固定的相对位置及视角参数。3.根据权利要求2所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，所述虚拟摄像机群组相对应第一人称初始位置的设置的角度包括顶视视角、侧视视角、正视视角。4.根据权利要求3所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，“在虚拟现实场景中相对于第一人称初始位置在多个角度设置虚拟摄像机群组，实时跟踪第一人称位置变化”具体地，所述虚拟摄像机群组实时位置跟踪，依据所设置的位置而采用不同的追踪方式：所述顶视视角虚拟摄像机群组，采用三维索道方式跟踪方式；所述正视视角虚拟摄像机群组，采用摇臂式跟踪方式；所述侧视视角虚拟摄像机群组，采用轨道式跟踪方式等。5.根据权利要求2所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，所述虚拟摄像机群组采用集群分布方式，每个位置点布置多个摄像机，每个摄像机独立工作，分别赋予不同的工作参数及镜头参数，每个摄像机视频录制输出为一个独立通道。6.根据权利1所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，其特征在于，所述虚拟摄像机群组在进行实时位置跟踪时，采用阻尼算法，以消除摄像机在跟踪过程中的抖动。7.根据权利要求1所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，所述“基于多角度视频流与多模式视频流，满足各类显示设备多视角观看虚拟现实场景内场景”，具体地，基于所获取的多视角虚拟摄像机群组多通道视频流信息，依据观看视角进行多通道视频流分组；基于所选择的观看角度，选择多个通道视频数据处理成包括但不限于3D视频流、360
°
全向媒体视频流、2D视频流的视频流；基于所获取的多视角虚拟摄像机群组多通道视频流信息，分别获取多个角度的视频流通道，处理成监控画中画模式视频流；基于所述的多角度多模式视频流，进行连接端口号分配，等待观看设备连接后，主动向其进行视频流推送。8.一种虚拟现实内容多模式多视角同步展示系统，其特征在于，包括虚拟现实设备和
流媒体服务器，包括虚拟现实操作端、流媒体服务器端、观看终端，所述虚拟现实操作端，用于操作者第一人称在虚拟现实场景场景交互，并录制虚拟现实场景场景多视角多通道视频数据同步传输到流媒体服务器；所述流媒体服务器端，用于将虚拟现实设备同步录制的多视角多通道视频数据，处理成不同的视频流或照片，从不同端口输出，所述视频流包括360
°
视频流、不同视角3D视频流、画中画视频流...

【专利技术属性】
技术研发人员：张斌，符曦，王春燕，田维辉，郝松，马聪，
申请(专利权)人：深圳市数聚能源科技有限公司，
类型：发明
国别省市：