一种多视点视频的视点切换方法和系统技术方案

本发明专利技术公开了一种多视点视频的视点切换方法，包括：终端接收到视点切换请求后，检查当前视点的终端本地缓存内容预设时长内是否存在IDR帧；如果预设时长内存在IDR帧，则将该IDR帧的时间点加入视点切换请求，上报服务器；如果预设时长内不存在IDR帧，且缓存内容大于预设时长，则将预设时长后的时间点加入视点切换请求，上报服务器；如果预设时长内不存在IDR帧，且缓存内容不足预设时长，则将缓存末端的时间点加入视点切换请求，上报服务器；清空上报服务器视点切换请求中的时间点之后的终端本地缓存。本发明专利技术实现了多视点视频切换中的不同视点时间戳的对齐，使得前后视点的衔接在时间上同步。本发明专利技术还公开了相应的多视点视频的视点切换系统。

A view switching method and system for multi view video

【技术实现步骤摘要】
一种多视点视频的视点切换方法和系统
本专利技术属于视频播放
，更具体地，涉及一种多视点视频的视点切换方法和系统。
技术介绍
多视点视频由多个相机组成的相机阵列从不同位置和角度对同一场景或物体进行拍摄得到，如图1所示，相对于单视点视频，多视点视频可以提供同一场景或物体多角度的信息，使人们获得更为丰富的视觉体验。相机阵列采集的多视点视频数据经过编码服务器的编码后传入CDN(ContentDeliveryNetwork，内容分发网络)服务器，由CDN服务器将视频进行流化处理，发送到用户终端(例如电视机顶盒、PC、手机等)。用户通过终端观看时，可以通过如方向键、拖动等方式自由切换多视点视频中的视点以变换角度观看被摄对象的情况，达到相比传统单个视点视频更好的观看体验。编码服务器对相机阵列采集的多视点原始视频码流进行编码压缩后，形成压缩的多路视频码流，压缩的视频帧一般分为I/P/B三类帧。I帧为关键帧，是构成一个帧组(GOP，GroupofPicture)的第一个帧；P帧是未来单项预测帧，只储存与之前一个已解压画面的差值，B帧是双向预测帧，除了参考之前解压过了的画面外，也会参考后面一帧中的画面信息。I帧中包括IDR(InstantaneousDecodingRefresh，即时解码刷新)帧，IDR帧的作用是立刻刷新，使错误不致传播，从IDR帧开始，重新算一个新的序列开始编码，其具有普通I帧所不具有的随机访问能力，从随机存取的视频流中，播放器永远可以从一个IDR帧播放。CDN服务器完成对多视点视频内容的流化打包，并针对用户需求，取出某一个视点的视频码流发送给终端。在发送过程中，CDN服务器一般会存在临时保存视频数据的缓存区，同时终端也存在临时保存视频数据的缓存区，CDN服务器及终端缓冲区的视频内容总长可能达到秒级甚至十秒级，故而终端播放的内容与CDN服务器当前处理的内容在时间点上会有较大延迟。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术的目的在于提供一种多视点视频的视点切换方法和系统，在多视点视频视点切换时，对切换时间点的当前和下个视点的视频播放进行处理，实现同一时间点上不同视点间视频自然的衔接以完善视点切换效果。为实现上述目的，按照本专利技术的一个方面，提供了一种多视点视频的视点切换方法，包括：终端接收到用户视点切换请求后，检查当前视点的终端本地缓存内容预设时长内是否存在IDR帧；如果当前视点的终端本地缓存内容预设时长内存在IDR帧，则将该IDR帧的时间点加入视点切换请求，上报服务器；如果当前视点的终端本地缓存内容预设时长内不存在IDR帧，且缓存内容大于预设时长，则将预设时长后的时间点加入视点切换请求，上报服务器；如果当前视点的终端本地缓存内容预设时长内不存在IDR帧，且缓存内容不足预设时长，则将终端本地缓存末端的时间点加入视点切换请求，上报服务器；清空上报服务器视点切换请求中的时间点之后的终端本地缓存。本专利技术的一个实施例中，所述终端向服务器上报视点切换请求后，还接收服务器发送的切换视点后的视频流，具体为：服务器接收终端发送的视点切换请求；如果终端本地缓存内容预设时长内存在IDR帧，则直接从服务器上保存的要切换到的下个视点视频中，找出对应时间点的IDR帧，清空服务器缓存后，从该时间点流化打包并发送到终端；如果终端本地缓存内容在上报视点切换请求中的时间点前不存在IDR帧，则将服务器上要切换到的下个视点的对应时间点视频帧结合该时间点所处GOP的相关视频帧，计算合成出一个IDR帧，替换原有的该时间点的非IDR帧，清空服务器缓存后，从该时间点流化打包并发送到终端。本专利技术的一个实施例中，在所述多视点视频中，每路视频在每个n秒的时间节点上有一个IDR帧，各路视频的IDR帧在时间点上对齐，n为预设值。本专利技术的一个实施例中，所述将服务器上要切换到的下个视点的对应时间点视频帧结合该时间点所处GOP的相关视频帧，计算合成出一个IDR帧，具体为：将该时间点所属的GOP内所有的编码帧进行解压缩处理生成原始视频数据，并根据该时间点相对GOP起点时间的偏移截取原始视频数据，以该时间点为起点对截取的原始视频数据进行压缩编码，首帧生成IDR帧替换原GOP内的编码帧。本专利技术的一个实施例中，视频内容的每帧原始视频数据前增加扩展字段用于视点切换，所述扩展字段包括相机视点信息和时间戳信息。本专利技术的一个实施例中，所述相机视点信息包括：当前视点的编号，视点的总数，报文中帧信息，帧类型。本专利技术的一个实施例中，所述n取值为2秒，所述预设时长取值为500毫秒。按照本专利技术的另一方面，还提供了一种多视点视频的视点切换系统，包括终端和服务器，其中：所述终端用于在接收到用户视点切换请求后，检查当前视点的终端本地缓存内容预设时长内是否存在IDR帧；如果当前视点的终端本地缓存内容预设时长内存在IDR帧，则将该IDR帧的时间点加入视点切换请求，上报服务器；如果当前视点的终端本地缓存内容预设时长内不存在IDR帧，且缓存内容大于预设时长，则将预设时长后的时间点加入视点切换请求，上报服务器；如果当前视点的终端本地缓存内容预设时长内不存在IDR帧，且缓存内容不足预设时长，则将终端本地缓存末端的时间点加入视点切换请求，上报服务器；清空上报服务器视点切换请求中的时间点之后的终端本地缓存。本专利技术的一个实施例中，所述终端向服务器上报视点切换请求后，还接收服务器发送的切换视点后的视频流，具体为：所述服务器接收终端发送的视点切换请求；如果终端本地缓存内容预设时长内存在IDR帧，则直接从服务器上保存的要切换到的下个视点视频中，找出对应时间点的IDR帧，清空服务器缓存后，从该时间点流化打包并发送到终端；如果终端本地缓存内容在上报视点切换请求中的时间点前不存在IDR帧，则将服务器上要切换到的下个视点的对应时间点视频帧结合该时间点所处GOP的相关视频帧，计算合成出一个IDR帧，替换原有的该时间点的非IDR帧，清空服务器缓存后，从该时间点流化打包并发送到终端。本专利技术的一个实施例中，在所述多视点视频中，每路视频在每个n秒的时间节点上有一个IDR帧，各路视频的IDR帧在时间点上对齐，n为预设值。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有如下有益效果：(1)本专利技术中实现了多视点视频切换中的不同视点时间戳的对齐，使得前后视点的衔接在时间上同步；(2)本专利技术通过对IDR帧的判断和处理，可以保证在视点切换衔接过程中不出现花屏、黑屏等情况，提高视点切换的用户体验；(3)本专利技术通过对CDN服务器和机顶盒终端的视频缓存情况的处理，可以提高切换前后视点衔接过程中的播放流畅度。附图说明图1为多视点视频通过相机阵列采集多视点视频的示意图；图2为本专利技术实施例中的多视点视频播放的业务场景架构图；图3为多视点视频编码IDR/P/B帧示意图；...

【技术保护点】
1.一种多视点视频的视点切换方法，其特征在于，包括：/n终端接收到用户视点切换请求后，检查当前视点的终端本地缓存内容预设时长内是否存在IDR帧；/n如果当前视点的终端本地缓存内容预设时长内存在IDR帧，则将该IDR帧的时间点加入视点切换请求，上报服务器；/n如果当前视点的终端本地缓存内容预设时长内不存在IDR帧，且缓存内容大于预设时长，则将预设时长后的时间点加入视点切换请求，上报服务器；/n如果当前视点的终端本地缓存内容预设时长内不存在IDR帧，且缓存内容不足预设时长，则将终端本地缓存末端的时间点加入视点切换请求，上报服务器；/n清空上报服务器视点切换请求中的时间点之后的终端本地缓存。/n

【技术特征摘要】
1.一种多视点视频的视点切换方法，其特征在于，包括：
终端接收到用户视点切换请求后，检查当前视点的终端本地缓存内容预设时长内是否存在IDR帧；
如果当前视点的终端本地缓存内容预设时长内存在IDR帧，则将该IDR帧的时间点加入视点切换请求，上报服务器；
如果当前视点的终端本地缓存内容预设时长内不存在IDR帧，且缓存内容大于预设时长，则将预设时长后的时间点加入视点切换请求，上报服务器；
如果当前视点的终端本地缓存内容预设时长内不存在IDR帧，且缓存内容不足预设时长，则将终端本地缓存末端的时间点加入视点切换请求，上报服务器；
清空上报服务器视点切换请求中的时间点之后的终端本地缓存。


2.如权利要求1所述的多视点视频的视点切换方法，其特征在于，所述终端向服务器上报视点切换请求后，还接收服务器发送的切换视点后的视频流，具体为：
服务器接收终端发送的视点切换请求；
如果终端本地缓存内容预设时长内存在IDR帧，则直接从服务器上保存的要切换到的下个视点视频中，找出对应时间点的IDR帧，清空服务器缓存后，从该时间点流化打包并发送到终端；
如果终端本地缓存内容在上报视点切换请求中的时间点前不存在IDR帧，则将服务器上要切换到的下个视点的对应时间点视频帧结合该时间点所处GOP的相关视频帧，计算合成出一个IDR帧，替换原有的该时间点的非IDR帧，清空服务器缓存后，从该时间点流化打包并发送到终端。


3.如权利要求1或2所述的多视点视频的视点切换方法，其特征在于，在所述多视点视频中，每路视频在每个n秒的时间节点上有一个IDR帧，各路视频的IDR帧在时间点上对齐，n为预设值。


4.如权利要求2所述的多视点视频的视点切换方法，其特征在于，所述将服务器上要切换到的下个视点的对应时间点视频帧结合该时间点所处GOP的相关视频帧，计算合成出一个IDR帧，具体为：将该时间点所属的GOP内所有的编码帧进行解压缩处理生成原始视频数据，并根据该时间点相对GOP起点时间的偏移截取原始视频数据，以该时间点为起点对截取的原始视频数据进行压缩编码，首帧生成IDR帧替换原GOP内的编码帧。


5.如权利要求1或2所述的多视点...

【专利技术属性】
技术研发人员：田路，夏洪升，
申请(专利权)人：烽火通信科技股份有限公司，
类型：发明
国别省市：湖北;42