VR环境中特写镜头的运用及显示方法和系统技术方案

本发明专利技术涉及一种VR环境中特写镜头的运用及显示方法和系统，在直播现场增加特写镜头的拍摄机位，同时对已拼接的VR全景视频信号和特写镜头信号作压缩编码，随后进行直播发布，远程的接收服务器将这两路直播内容解码，与提前导入的3D大屏进行渲染合成，然后使用专用VR播放器来播放。体验者所观看的直播内容，除了现场360度全方位的全景视频画面，还能够观看虚拟植入的特写镜头，捕捉重点区域的细节画面，保证了现场沉浸感，提升了VR现场直播的综合体验。

Application and display method and system of close-up lens in VR environment

The present invention relates to a VR environment in close-up and display method and system in live close-up shooting increase flight, while VR panoramic video signal and the signal of the close-up of mosaic compression encoding, followed by a live release, the receiving server remote will these two live content decoding, 3D big screen with the advance into the rendering synthesis, and then use the special VR player. Experience of watching the live content, in addition to the panoramic video scene 360 degrees, also can watch close-up virtual implants, capture the key areas of detail to ensure the scene of immersion, to enhance the experience of comprehensive VR live.

【技术实现步骤摘要】

本专利技术涉及一种VR显示方法，特别是一种VR环境中特写镜头的运用及显示方法和系统。
技术介绍
通常VR应用于非直播的情况，采用多个专业级摄像机，按照固定的空间位置摆放，相对位置关系保持不变，对360度全方位的现场信号进行拍摄，每个设备将拍摄的视频内容以文件的形式记录到设备本地的存储介质。整个现场拍摄工作结束后，将所有机位录制下来的文件导入统一的编辑设备，例如一台专业级计算机，其具备很高图像处理性能，再使用商业软件进行拍摄内容的离线拼接处理，根据拍摄时的位置关系，手动对机位顺序、拼缝等作出调整。经过后期拼接处理之后，使用VR显示终端，例如VR头盔或VR眼镜，就能够观看制作好的VR全景视频，给体验者带来置身于拍摄现场的沉浸式感受。用于播放VR全景视频的专业工作站，通过获取VR显示终端的水平、垂直、角度等实时姿态参数，经过复杂的运算处理，随后在VR显示终端的视野中显示当前姿态对应视角的现场画面，这样足不出户就能够实现置身拍摄现场的沉浸式体验。但是，如果要实现VR全景视频的现场直播及互动，就要解决现场不同机位拍摄信号的实时拼接处理，以及后续全景视频信号的直播发布等问题。在直播现场，为了获取最佳的现场氛围及完整的现场画面，VR全景视频拍摄装置通常放置于直播现场的中央。但是，由于拍摄装置使用的镜头无法改变焦距，带来的好处是拍摄范围更加宽阔，适合进行不同机位拍摄信号的拼接处理；存在的问题也显而易见，无法对镜头进行控制，对重点区域的局部细节进行展现。这样，体验者佩戴VR显示终端后，虽然可以看到直播现场的全景视频画面，但是无法捕捉到重点区域的局部细节，例如演唱会演员的表情，沉浸于现场直播氛围之余，难免产生些许的遗憾。综上，现阶段VR技术在实际应用中，还有很多问题亟待解决，从业务需求的角度出发，还有很大完善的空间。
技术实现思路
本专利技术的目的是通过以下技术方案实现的。为解决现有技术的问题，本专利技术提出了一种VR环境中特写镜头的运用及显示系统，包括：全向音频拾取模块，全景信号拍摄模块，拼接服务器，信号监看终端，后台管理服务器，特写信号拍摄模块，发布服务器，接收服务器，VR显示终端，互动服务器，互动显示终端。其中，全向音频拾取模块和全景信号拍摄模块采集的信号发送到拼接服务器，拼接服务器处理后的信号发送给发布服务器和信号监看终端，特写信号拍摄模块采集的信号发送给发布服务器，发布服务器处理后的信号发送给接收服务器，接收服务器分别与VR显示终端、互动服务器、后台管理服务器互相交互信号，互动服务器还分别与拼接服务器、后台管理服务器互相交互信号，互动服务器的信息可以通过互动显示终端进行显示；拼接服务器,用于对全景信号拍摄模块采集的信号进行实时拼接处理，与全向音频拾取模块采集的现场全向音频信号进行合成；特写信号拍摄模块，用于实时捕捉特写镜头，并将拍摄的特写视频信号输出至发布服务器；发布服务器，同时接收两路信号，一路来自特写信号拍摄模块的特写镜头视频信号，一路来自拼接服务器的VR全景视频信号，发布服务器分别对这两路现场信号进行实时压缩编码，经过压缩处理的视频流，分别发布到指定的直播地址和端口号；接收服务器，用于通过访问两个直播发布地址，对接收到的直播内容同时进行实时解码，其中一路为VR全景视频信号，另外一路为现场特写镜头，并把3D物件植入VR环境中的虚拟大屏，然后，通过接收服务器的渲染合成单元，对解码后的直播内容，进行实时合成渲染，将特写镜头直接在植入的虚拟大屏上面显示。根据本专利技术的一个方面，VR显示终端,连接到接收服务器，体验者通过VR显示终端观看VR全景视频信号，当佩戴的VR显示终端姿态发生改变时，即观看角度、空间位置发生变化时，字幕始终保持在视野中央偏下的位置，位于当前显示视频图像的前面。根据本专利技术的一个方面，VR显示终端,连接到接收服务器，体验者佩戴VR显示终端以后，通过植入的虚拟大屏，可以观看虚拟大屏上面播放的特写镜头，将VR全景视频和特写镜头两种直播相结合。根据本专利技术的一个方面，互动显示终端，连接到互动服务器，互动服务器连接到接收服务器，当通过网页收看直播时自动播放特写镜头的画面进行现场直播。根据本专利技术的一个方面，互动显示终端，连接到互动服务器，互动服务器连接到接收服务器，体验者可输入登录信息与后台管理数据库的用户信息进行核验，验证通过后，位于现场的互动服务器就可以看到远程登录的用户信息，从而，直接和现场互动服务器建立连接，进行直播互动。本专利技术还提出了一种采用上述VR环境中特写镜头的运用及显示系统的方法，包括如下步骤：采用全景信号拍摄模块中的若干专业级摄像机，对直播现场进行360度全方位拍摄，并通过专业视频输出接口，将不同视角的拍摄信号输出至拼接服务器；拼接服务器按照预设的校准参数，对拍摄信号进行实时拼接处理，并将合成的VR全景视频信号输出至发布服务器；特写信号拍摄模块实时捕捉特写镜头，并将拍摄的特写视频信号输出至发布服务器；发布服务器同时接收来自特写信号拍摄模块的特写镜头视频信号和拼接服务器的VR全景视频信号，并对这两路现场信号进行实时压缩编码，然后，将经过压缩处理的视频流，分别发布到指定的直播地址和端口号；通过接收服务器访问两个直播发布地址，实时解码两路直播内容，其中一路为VR全景视频信号，另外一路为现场特写镜头，并把3D物件植入VR环境中的虚拟大屏，然后，通过接收服务器的渲染合成单元，对解码后的直播内容，进行实时合成渲染，将特写镜头直接在植入的虚拟大屏上面显示。根据本专利技术的一个方面，体验者通过VR显示终端观看VR全景视频信号，当佩戴的VR显示终端姿态发生改变时，即观看角度、空间位置发生变化时，字幕始终保持在视野中央偏下的位置，位于当前显示视频图像的前面。根据本专利技术的一个方面，体验者佩戴VR显示终端以后，通过植入的虚拟大屏，可以观看虚拟大屏上面播放的特写镜头，将VR全景视频和特写镜头两种直播相结合。根据本专利技术的一个方面，当通过网页收看直播时自动播放特写镜头的画面进行现场直播。根据本专利技术的一个方面，体验者可输入登录信息与后台管理数据库的用户信息进行核验，验证通过后，位于现场的互动服务器就可以看到远程登录的用户信息，从而，直接和现场互动服务器建立连接，进行直播互动。本专利技术产生的有益效果是：在直播现场增加特写镜头拍摄机位，对直播现场的局部细节进行实时捕捉，并与拼接后的VR全景视频信号同时进行直播发布，远程的接收服务器，对上述直播内容以及导入的虚拟大屏进行渲染合成，通过植入的虚拟大屏显示特写镜头，然后使用专用VR播放器对最终的合成信号进行解码控制。若配备了VR显示终端，佩戴VR显示终端后体验者就可以观看直播内容，除了现场360度全方位的全景视频图像以外，还能够在植入的虚拟大屏上观看特写镜头，捕捉重点区域的细节画面，例如教室黑板的板书、电子白板显示的PPT，亦或综艺直播的演员特写，从而提升VR现场直播的综合体验，在沉浸于现场氛围的同时兼顾细节。当然，若没有配备专业的VR显示终端，也可以在接收服务器上面通过网页方式收看以特写镜头为主的现场直播。此外，在直播过程中，通过语音或文字的方式，与现场进行直播互动。本专利技术的优点在于：本专利技术将现场拍摄的全方位视频信号实时拼接成VR全景视频信号，并运用特写镜头展现直播现场局部细节的方案，是一本文档来自技高网...

【技术保护点】
一种VR环境中特写镜头的运用及显示系统，包括：全向音频拾取模块，全景信号拍摄模块，拼接服务器，信号监看终端，后台管理服务器，特写信号拍摄模块，发布服务器，接收服务器，VR显示终端，互动服务器，互动显示终端，其特征在于：全向音频拾取模块和全景信号拍摄模块采集的信号发送到拼接服务器，拼接服务器处理后的信号发送给发布服务器和信号监看终端，特写信号拍摄模块采集的信号发送给发布服务器，发布服务器处理后的信号发送给接收服务器，接收服务器分别与VR显示终端、互动服务器、后台管理服务器互相交互信号，互动服务器还分别与拼接服务器、后台管理服务器互相交互信号，互动服务器的信息可以通过互动显示终端进行显示；拼接服务器，用于对全景信号拍摄模块采集的信号进行实时拼接处理，与全向音频拾取模块采集的现场全向音频信号进行合成；特写信号拍摄模块，用于实时捕捉特写镜头，并将拍摄的特写视频信号输出至发布服务器；发布服务器，同时接收两路信号，一路来自特写信号拍摄模块的特写镜头视频信号，一路来自拼接服务器的VR全景视频信号，发布服务器分别对这两路现场信号进行实时压缩编码，经过压缩处理的视频流，分别发布到指定的直播地址和端口号；接收服务器，用于通过访问两个直播发布地址，对接收到的直播内容同时进行实时解码，其中一路为VR全景视频信号，另外一路为现场特写镜头，并把3D物件植入VR环境中的虚拟大屏，然后，通过接收服务器的渲染合成单元，对解码后的直播内容，进行实时合成渲染，将特写镜头直接在植入的虚拟大屏上面显示。...

【技术特征摘要】
1.一种VR环境中特写镜头的运用及显示系统，包括：全向音频拾取模块，全景信号拍摄模块，拼接服务器，信号监看终端，后台管理服务器，特写信号拍摄模块，发布服务器，接收服务器，VR显示终端，互动服务器，互动显示终端，其特征在于：全向音频拾取模块和全景信号拍摄模块采集的信号发送到拼接服务器，拼接服务器处理后的信号发送给发布服务器和信号监看终端，特写信号拍摄模块采集的信号发送给发布服务器，发布服务器处理后的信号发送给接收服务器，接收服务器分别与VR显示终端、互动服务器、后台管理服务器互相交互信号，互动服务器还分别与拼接服务器、后台管理服务器互相交互信号，互动服务器的信息可以通过互动显示终端进行显示；拼接服务器，用于对全景信号拍摄模块采集的信号进行实时拼接处理，与全向音频拾取模块采集的现场全向音频信号进行合成；特写信号拍摄模块，用于实时捕捉特写镜头，并将拍摄的特写视频信号输出至发布服务器；发布服务器，同时接收两路信号，一路来自特写信号拍摄模块的特写镜头视频信号，一路来自拼接服务器的VR全景视频信号，发布服务器分别对这两路现场信号进行实时压缩编码，经过压缩处理的视频流，分别发布到指定的直播地址和端口号；接收服务器，用于通过访问两个直播发布地址，对接收到的直播内容同时进行实时解码，其中一路为VR全景视频信号，另外一路为现场特写镜头，并把3D物件植入VR环境中的虚拟大屏，然后，通过接收服务器的渲染合成单元，对解码后的直播内容，进行实时合成渲染，将特写镜头直接在植入的虚拟大屏上面显示。2.如权利要求1所述的VR环境中特写镜头的运用及显示系统，其特征在于：VR显示终端,连接到接收服务器，体验者通过VR显示终端观看VR全景视频信号，当佩戴的VR显示终端姿态发生改变时字幕始终保持在视野中央偏下的位置，位于当前显示视频图像的前面。3.如权利要求1所述的VR环境中特写镜头的运用及显示系统，其特征在于：VR显示终端,连接到接收服务器，体验者佩戴VR显示终端以后，通过植入的虚拟大屏，观看虚拟大屏上面播放的特写镜头，将VR全景视频和特写镜头两种直播相结合。4.如权利要求1所述的VR环境中特写镜头的运用及显示系统，其特征在于：互动显示终端，连接到互动服务器，互动服务...

【专利技术属性】
技术研发人员：颜庆聪，周成，李智鹏，郁隆，周华，
申请(专利权)人：北京美吉克科技发展有限公司，
类型：发明
国别省市：北京;11