一种基于自由视角视频数据的传输方法及接收处理方法技术

本发明专利技术揭示了一种基于自由视角视频数据的传输方法及接收处理方法，用于用户在观看视频时自由切换观看视角，本发明专利技术采用不同视角的多个摄像机协同拍摄生成的多个视频流，服务端向客户端提供观看的可变视角范围；用户选择出自己想观看的目标视角，服务端选取出该目标视角所依赖的各拍摄相机参数信息以及对应生成的视频数据流并传输给客户端，用户端分析计算后进行渲染呈现。本发明专利技术实现了客户端对于可交互自由视角视频的消费需求，以及提高了数据传输效率，最终给用户带来更好的体验。最终给用户带来更好的体验。最终给用户带来更好的体验。

【技术实现步骤摘要】
一种基于自由视角视频数据的传输方法及接收处理方法


[0001]本专利技术涉及自由视角视频数据封装与传输过程的设计应用领域，具体地，涉及一种基于自由视角视频数据的传输方法及接收处理方法。

技术介绍

[0002]随着信息技术的快速发展，基于固定视角的传统视频消费模式趋于成熟，如何为用户提供更高逼真度、更强交互性、更加个性化的视觉通信体验逐渐成为发展热点。新型视觉通信通过多相机协同拍摄，内容实时生成、高效编解码器、自适应传输系统和交互式终端等技术，为用户提供不受时间、地域、现实条件限制的、身临其境的真实体验，更给新应用带来无限空间。
[0003]新型视觉媒体数据生成、封装、传输、处理和呈现等方面与传统媒体数据存在较大的不同，新型视觉媒体数据量更加巨大，种类更加多元化。为满足用户的不同呈现需求，相应的数据描述及传输方法也受到了广泛的关注。得益于深度相机技术和虚拟视角视频渲染技术的发展，自由视角视频的相关技术在学术界和工业界引起了广泛的研究和探索。
[0004]自由视角视频是允许用户在观看视频时可以交互式选择视角的一种新型媒体形式。传统的媒体形式只允许用户在一个或多个固定视角进行观看，且用户可选的观看视角由内容制作者事先决定。而自由视角视频允许用户主动调整想要观看的视角，之后由服务端实时选取相应视角的媒体数据流并传输至用户端。因此，自由视角视频可以为用户带来真实灵活，实时交互的沉浸式消费体验。
[0005]目前对于如何存储、封装多视角视频数据已有一定的研究，但现有多视角视频的传输信令只考虑了数据整体呈现效果，并未加入对用户实时控制视角变换的封装传输信令支持。因此，为满足用户自由选择视角的需求，需要对现有的自由视角视频数据的传输信令进行扩展，使用户端与服务器端进行实时交互，使用户在消费时可以自由改变想要观看的视角，以满足自由视角视频媒体的灵活呈现需求。

技术实现思路

[0006]本专利技术提供了一种基于自由视角视频数据的传输方法及接收处理方法，采用对用户选择出的目标视角所依赖的各拍摄相机参数信息以及对应的视频数据流进行分析计算后渲染呈现的方法，满足自由视角视频媒体的灵活呈现需求。
[0007]依据上述目的，实施本专利技术的一种基于自由视角视频数据的传输方法，其特征在于，包括如下步骤：
[0008]传输视角可变范围信息、初始观看视角及其对应的视频数据流给客户端；
[0009]接收从视角可变范围信息中选取的目标视角，选取该目标视角所依赖的各拍摄相机；
[0010]将选取的各拍摄相机的拍摄相机参数信息、各拍摄相机生成的视频数据流传输给客户端。
[0011]可选的，多个视频流由不同视角的多个拍摄相机协同拍摄生成，每个拍摄相机对应生成一个视频流。
[0012]可选的，所述初始观看视角设置为多个拍摄相机的不同视角中的一个。
[0013]可选的，所述视角可变范围信息包括如下至少一项：
[0014]用户能够选取的视角的x轴分量最小值、x轴分量最大值、y轴分量最小值、y轴分量最大值、z轴分量最小值、z轴分量最大值。
[0015]可选的，所述目标视角包括如下至少一项：
[0016]目标视角对应的虚拟相机的x轴分量、虚拟相机的y轴分量、虚拟相机的z轴分量、虚拟相机焦距的x轴分量、虚拟相机焦距的y轴分量。
[0017]依据上述目的，实施本专利技术的一种基于自由视角视频的数据接受处理方法，其特征在于，包括如下步骤：
[0018]接收视角可变范围信息、初始观看视角及其对应的视频数据流，对初始观看视角对应的视频数据流进行呈现；
[0019]从视角可变范围中选取目标视角并发送给服务端；
[0020]接收该目标视角所依赖的各拍摄相机参数信息及相应的媒体数据流，并进行分析计算生成所述目标视角的视频数据流；
[0021]对生成的目标视角的视频数据流进行呈现。
[0022]依据上述目的，实施本专利技术的一种服务端，其特征在于，用于执行前述的一种基于自由视角视频数据的传输方法。
[0023]依据上述目的，实施本专利技术的一种客户端，其特征在于，用于执行前述一种基于自由视角视频的数据接受处理方法。
[0024]依据上述目的，实施本专利技术的一种基于自由视角视频的交互系统，其特征在于，包括前述的一种服务端和前述的一种客户端。
[0025]采用了本专利技术的技术方案，针对现有技术的不足，提供视角可变范围供用户选择，采用对用户选择出的目标视角所依赖的各拍摄相机参数信息以及对应的视频数据流进行分析计算后渲染呈现的方法，实现自由视角视频媒体的灵活呈现。
附图说明
[0026]图1为本专利技术所提出的基于自由视角视频消费的系统架构图；
[0027]图2为本专利技术所提出的基于自由视角视频的用户交互和传输方法的流程图。
具体实施方式
[0028]下面结合附图和实施例进一步说明本专利技术的技术方案。
[0029]实施例一
[0030]附图1所示为本专利技术所提出的基于自由视角视频消费的系统架构图，主要包括如下几个部分：
[0031]一、在拍摄场地进行拍摄的拍摄系统。
[0032]拍摄系统由不同视角的多个拍摄相机组成，每个拍摄相机对拍摄现场进行拍摄生成一个视频流，上述不同视角的多个拍摄相机协同拍摄形成多个视角的视频流，拍摄系统
实时将视频流通过通信网络(例如5G)传输给服务端(云端)。
[0033]二、服务器端(云端)。
[0034]服务器端接收拍摄系统传输的多个视角的视频流，并进行存储。
[0035]为了对视频流进行管理，方便后续的使用，定义了两个对这些信息的组织结构：
[0036]一是表示拍摄多视角视频的一个拍摄相机的结构：
[0037][0038]二是表示初始传输时服务器端向客户端提供的一个初始观看视角：
[0039]aligned(8)class FV_InitViewStruct(){
[0040]FV_CameraStruct()；
[0041]}
[0042]上述信息的组织结构所包含的字段含义主要如下：
[0043]camera_pos_x：一个拍摄相机位置的x分量取值；
[0044]camera_pos_y：一个拍摄相机位置的y分量取值；
[0045]camera_pos_z：一个拍摄相机位置的z分量取值；
[0046]camera_focal_length_x：一个拍摄相机焦距的x分量取值；
[0047]camera_focal_length_y：一个拍摄相机焦距的y分量取值；
[0048]camera_resolution_x：一个拍摄相机采集的纹理图、深度图的分辨率宽度；
[0049]camera_resolution_y：一个拍摄相机采集的纹理图、深度图的分辨率高度；
[0050]camera_count：合成一个虚拟视角需要的拍摄相机个数；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自由视角视频数据的传输方法，其特征在于，包括如下步骤：传输视角可变范围信息、初始观看视角及其对应的视频数据流给客户端；接收从视角可变范围信息中选取的目标视角，选取该目标视角所依赖的各拍摄相机；将选取的各拍摄相机的拍摄相机参数信息、各拍摄相机生成的视频数据流传输给客户端。2.如权利要求1所述的一种基于自由视角视频数据的传输方法，其特征在于，多个视频流由不同视角的多个拍摄相机协同拍摄生成，每个拍摄相机对应生成一个视频流。3.如权利要求1所述的一种基于自由视角视频数据的传输方法，其特征在于，所述初始观看视角设置为多个拍摄相机的不同视角中的一个。4.如权利要求1所述的一种基于自由视角视频数据的传输方法，其特征在于，所述视角可变范围信息包括如下至少一项：用户能够选取的视角的x轴分量最小值、x轴分量最大值、y轴分量最小值、y轴分量最大值、z轴分量最小值、z轴分量最大值。5.如权利要求1所述的一种基于自由视角视频数据的传输方法，其特征在...

【专利技术属性】
技术研发人员：徐异凌，杨开发，侯朴玥，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：