基于自由视点的视频直播处理方法、系统、装置及介质制造方法及图纸

基于自由视点的视频直播处理方法、设备、系统、芯片及介质，方法包括：采集多角度的若干同步视频；将若干同步视频拼接成大图，传输至服务器；在服务器上解码获取大图，选择角度播放。本发明专利技术可以让用户自由地切换视点，并且通过滑动的控制实现自定义子弹时间的效果。

【技术实现步骤摘要】
基于自由视点的视频直播处理方法、系统、装置及介质
本专利技术涉及视频直播领域，具体地说是一种基于自由视点技术的视角可变的视频直播处理方法、设备、系统、芯片及介质，实现了端到端的实时、多视角的交互直播，可以广泛适用于主播、晚会、体育赛事等主播直播活动中。
技术介绍
随着网络多媒体技术的高速发展，人们对信息处理能力的需求不断增强。信息传递的载体也由文字、图像发展到视频，视频直播和短视频社交等应用逐渐流行起来。尤其是随着5G商用正式启动、基站不断完善扩展，高速便捷的网络基础推动了直播产业诸多创新。传统视频直播用户不能随意选择自己想要观看的视角画面，基本都是导播推给你什么画面就看什么画面，缺乏娱乐性和新鲜感。传统的视频直播方式通常采用一台或多台摄像机进行拍摄。在主播直播中，往往是只有一台相机，因而用户只能从单一视角观看直播；而在晚会或体育赛事中，现场会有多台相机，由导播负责镜头的切换，而观众根据导播的切换来观看直播。上述的直播方式存在的问题是观众的观看视角比较单一且不可控，观众只能被动的接受当前的直播视角，而不能自由选择自己希望看到的视角。随着宽带技术的发展和5G技术的兴起，直播方实际上是可以将多路视频流的同时推送给观众，使得观众可以自由切换视角。但是这种方式并不能很好的改善观看体验，观众往往不能以最优的方式来进行视角切换，并且切换的过程中会有卡顿和不连续的体验，反而不如由导播端来进行镜头切换。此外，子弹时间作为一种电影中的视频特效，具有360度观看、时间凝结等诸多优势，往往应用于慢动作回放中，具有极好的观看体验和视觉效果。但是传统的子弹时间是一种后期的特效，不能应用在直播中，且子弹时间效果的片段选取和速度都是特效制作人员确定的，用户无法在任一自己喜欢的瞬间来观看子弹时间效果，具有很大的限制性。
技术实现思路
本专利技术为解决现有的问题，旨在提供一种基于自由视点技术的视频直播处理方法、设备、系统、芯片及介质，可以让用户在观看直播时在一定范围内流畅地自由切换视角，做到无延时、无卡顿，进而实现用户可控的动静态子弹时间特效。为了达到上述目的，本专利技术采用的技术方案的方法包括如下步骤：S1，采集多角度的若干同步视频；S2，将所述若干同步视频拼接成大图，并传输至服务器；S3，在服务器上解码获取大图，选择角度播放。在一些实施例中，S1中，通过相机阵列采集不同视角的同步视频的画面。在一些实施例中，S1中还包括，对若干同步视频进行图像校正。在一些实施例中，所述图像校正包括：通过相机拍摄的图像对标定点进行定位，从而计算出被测物相对于标准位置的偏差，得到生成校正后的同步视频图像。在一些实施例中，S2中，对大图的画面进行压缩，进而封装成流媒体格式，然后对其进行传输。在一些实施例中，将原始流加入时间标签后生成分组原始流，在分组原始流包的包头中比较解码时间戳和显示时间戳，分别用于指示该数据在解码端的解码时间和显示时间。在一些实施例中，采用当前分组原始流包中数据对应的采集时间作为该分组原始流包头中的显示时间戳，并通过帧类型计算得到解码时间戳。在一些实施例中，S2中，将每个同步视频分别压缩到同一低分辨率后，再将同时刻的若干同步视频拼接成一幅超高分辨率的大图画面。在一些实施例中，S4中，用户在服务器上拉取直播数据进行解码，得到大图的画面后选择画面，进行显示播放。在一些实施例中，得到大图的画面后，用户滑动屏幕或者鼠标拖动时，切换显示不同相机的画面，从而实现子弹时间的效果。本专利技术还提供一种视频直播处理系统，包括：获取模块、拼接模块、压缩模块和解码模块，其中：获取模块用于采集多角度的同步视频；拼接模块用于将同步视频拼接成大图，通过压缩模块压缩后拼接成一幅超高分辨率的大图画面，并传输至服务器；解码模块用于接收服务器的压缩数据并解码，由用户选择视角进行播放。其中，所述获取模块通过相机阵列采集不同视角的同步视频的画面。其中，还包括校正模块，所述校正模块用于对若干同步视频进行图像校正。其中，校正模块通过相机拍摄的图像对标定点进行定位，从而计算出被测物相对于标准位置的偏差，得到生成校正后的同步视频图像。其中，拼接模块用于将每个同步视频分别压缩到同一低分辨率后，再将同时刻的若干同步视频拼接成一幅超高分辨率的大图画面。本专利技术还提供一种视频直播装置，包括相机阵列、服务器、主控制器和播放器，其中，每个服务器控制若干相机，并于主控制器连接；所属主控制器还与若干播放器连接；相机和服务器用于相机的同步采集和分布式处理，主控制器用于图像拼接和推流，播放器用于视频解码和交互式视频渲染。本专利技术还提供一种芯片，其特征在于，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行任一项所述的方法。本专利技术还提供一种电子设备，包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行任一所述的方法。本专利技术还提供一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令被处理执行时，实现任一所述的方法。和现有技术相比，本专利技术可以让用户自由地切换视点，并且通过滑动的控制实现自定义子弹时间的效果。这给予了极大的自由选择视角的权利，真正做到了每个观众可以看到不同的视频直播效果。本专利技术通过图像拼接传输的方式保证了同步视频画面和音频的严格同步，消除了切换视频流所带来的延时和卡顿的情况，做到了流畅平滑的切换效果。该系统具有很强的拓展性，在用于交互式视频直播的同时，也可以在主控电脑上对各路画面进行编辑处理，制作子弹时间效果的视频而直接在晚会和赛事直播现场进行播放。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1a、图1b为本专利技术实施例的相机阵列的结构示意图；图2为视频直播装置的结构示意图；图3为本专利技术实施例的流程示意图。具体实施方式以下通过具体实例结合附图图1-3来说明本申请的实施方式。本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。参见图3，为本专利技术实施例的流程示意图。具体实施步骤如下：S1：通过环形阵列相机同步采集不同视角的同步视频画面。首先需要搭建环形相机阵列，可以拍摄不同角度的视频画面。在大多数视频直播中，由于观众往往只是对人物或舞台的正面感兴趣，因而通常会采用120-180度的相机阵列。本实施例以120度、16个相机的相机阵列为例，相机摆放如本文档来自技高网...

【技术保护点】
1.一种视频直播处理方法，其特征在于包括如下步骤：/nS1，采集多角度的若干同步视频；/nS2，将所述若干同步视频拼接成大图，并传输至服务器；/nS3，在服务器上解码获取大图，选择角度播放。/n

【技术特征摘要】
1.一种视频直播处理方法，其特征在于包括如下步骤：
S1，采集多角度的若干同步视频；
S2，将所述若干同步视频拼接成大图，并传输至服务器；
S3，在服务器上解码获取大图，选择角度播放。


2.根据权利要求1所述的视频直播处理方法，其特征在于：S1中，通过相机阵列采集不同视角的同步视频的画面。


3.根据权利要求1或2所述的视频直播处理方法，其特征在于：S1中还包括，对若干同步视频进行图像校正。


4.根据权利要求3所述的视频直播处理方法，其特征在于：所述图像校正包括：通过相机拍摄的图像对标定点进行定位，从而计算出被测物相对于标准位置的偏差，得到生成校正后的同步视频的图像。


5.根据权利要求1或2所述的视频直播处理方法，其特征在于：S2中，对大图进行压缩，封装成流媒体格式，然后对其进行传输。


6.根据权利要求5所述的视频直播处理方法，其特征在于：将原始流加入时间标签后生成分组原始流，在分组原始流包的包头中比较解码时间戳和显示时间戳，分别用于指示该数据在解码端的解码时间和显示时间。


7.根据权利要求5或6所述的视频直播处理方法，其特征在于：采用当前分组原始流包中数据对应的采集时间作为该分组原始流包头中的显示时间戳，并通过帧类型计算得到解码时间戳。


8.根据权利要求1或2所述的视频直播处理方法，其特征在于：S2中，将每个同步视频分别压缩到同一低分辨率后，再将同时刻的若干同步视频拼接成一幅超高分辨率的大图画面。


9.根据权利要求1所述的视频直播处理方法，其特征在于：S4中，用户在服务器上拉取直播数据进行解码...

【专利技术属性】
技术研发人员：胡强，孙正忠，张迎梁，
申请(专利权)人：叠境数字科技上海有限公司，
类型：发明
国别省市：上海;31