一种基于参考帧替换的快速视角切换方法技术

本发明专利技术公开了一种基于参考帧替换的快速视角切换方法。本发明专利技术包括如下步骤：当视角发生切换时，播放器计算当前视角对应Tile请求该Tile的Representation1的ELSegments下载、解码并做终端实时渲染；当视角没发生切换时，播放器计算切换后视角对应Tile以及当前视频播放时间定位请求该Tile的Representation2对应EL Segments的RARF帧下载、解码并做终端实时渲染；播放器继续下载该RARF帧后EL Segments Representation1中剩余的P帧；播放器基于RARF帧和剩余的P帧序列进行解码，并做实时渲染。本发明专利技术通过在全景视频传输系统中每个Tile每种码率具备两个Representation，利用Representation中每个P帧一一对应，结合MPEG‑DASH协议的特征提出基于参考帧替换的快速视角切换方案，来缩短用户视角切换时延，调高用户体验。

【技术实现步骤摘要】
一种基于参考帧替换的快速视角切换方法
本专利技术属于全景视频视角切换
，特别是涉及一种基于参考帧替换的快速视角切换方法。
技术介绍
全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。常有人将全景视频与VR虚拟技术混淆，其实两者实际概念有很大差别，VR虚拟技术更多是体现互动，而全景视频则体现观赏。全景视频大多运用于旅游展览，或者城市介绍等，使得全景视频凭借全新的沉浸式体验迅速成为网络视频业务的重要内容之一。在全景视频传输系统中，时延是影响用户体验的一个关键参数；在基于Tile的全景视频传输系统中，用户在进行视角转换的时候总是伴随着高清Tile的传输与切换。MPEG-DASH的基本下载单元是一个媒体分段，当用户的视点区域内出现新的Tile画面时，客户端必须下载新Tile的下一个片段。这个新下载的Tile分段无法被立即融合解码，在其播放时间到达之前也不会立即显示。全景视频传输系统在这个过程中存在较大的时延，因此用户在进行视角切换的时候总是不能及时获取对应视点区域的高清内容，大大降低了用户的沉浸感。
技术实现思路
本专利技术的目的在于提供一种基于参考帧替换的快速视角切换方法，通过在全景视频传输系统中每个Tile每种码率具备两个Representation，结合MPEG-DASH协议的特征提出基于参考帧替换的快速视角切换方案，解决了现有的用户视角切换时延大、用户体验差的问题。为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术为一种基于参考帧替换的快速视角切换方法，包括如下步骤：步骤S1：服务器编码端设定禁止使能时域MV；步骤S2：服务器编码端进行ELTile编码准备两种Representation，一种Representation1为通用完整版，另一种Representation2为随机接入版；步骤S3：服务器按需推流；步骤S4：判断用户视角是否发生切换；若发生切换，则执行步骤S5；若未发生切换，则执行步骤S6；步骤S5：播放器计算当前视角对应Tile请求该Tile的Representation1的ELSegments下载、解码并做终端实时渲染，循环至步骤S4继续对用户视角是否切换进行判断；步骤S6：播放器计算切换后视角对应Tile以及当前视频播放时间定位请求该Tile的Representation2对应ELSegments的RARF帧下载、解码并做终端实时渲染；步骤S7：播放器继续下载该RARF帧后ELSegmentsRepresentation1中剩余的P帧；步骤S8：播放器基于RARF帧和剩余的P帧序列进行解码，并做实时渲染，循环至步骤S4继续对用户视角是否切换进行判断。优选地，所述步骤S2中，EL的每个Tile每种码率具备两个Representation；其中，通用版的Representation1包含完整的视频内容，全RAP帧的Representation2随机接入版本；所述随机接入版本不包含对应的Representation1中每个Segment起始的I帧。优选地，所述随机接入版本中的每个Segment有RAP帧，且与Representation1中的每个P帧一一对应；当用户进行切换时，RAP帧会替换其对应的P帧并作为后面P帧的新参考帧。优选地，所述步骤S6中，当用户进行视角切换的时候，确定当前视频的播放位置，根据播放位置定位到下一个P帧对应的RARF并下载，对获取新的Segment的URL和对应的ByteRange下载对应Tile剩下的P帧；对下载的MPEG-DASH文件解封装在进行解码播放。优选地，所述用户视角切换时，下载的RARF的长度相同。本专利技术具有以下有益效果：本专利技术通过在全景视频传输系统中每个Tile每种码率具备两个Representation，利用Representation中每个P帧一一对应，结合MPEG-DASH协议的特征提出基于参考帧替换的快速视角切换方案，来缩短用户视角切换时延，调高用户体验。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的一种基于参考帧替换的快速视角切换方法流程图；图2为码流预处理流程示意图；图3为视角切换流程示意图；图4为参考帧替换流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图1所示，本专利技术为一种基于参考帧替换的快速视角切换方法，包括如下步骤：步骤S1：服务器编码端设定禁止使能时域MV；步骤S2：服务器编码端进行ELTile编码准备两种Representation，一种Representation1为通用完整版，另一种Representation2为随机接入版；步骤S3：服务器按需推流；步骤S4：判断用户视角是否发生切换；若发生切换，则执行步骤S5；若未发生切换，则执行步骤S6；步骤S5：播放器计算当前视角对应Tile请求该Tile的Representation1的ELSegments下载、解码并做终端实时渲染，循环至步骤S4继续对用户视角是否切换进行判断；步骤S6：播放器计算切换后视角对应Tile以及当前视频播放时间定位请求该Tile的Representation2对应ELSegments的RARF帧下载、解码并做终端实时渲染；步骤S7：播放器继续下载该RARF帧后ELSegmentsRepresentation1中剩余的P帧；步骤S8：播放器基于RARF帧和剩余的P帧序列进行解码，并做实时渲染，循环至步骤S4继续对用户视角是否切换进行判断。其中，步骤S2中，EL的每个Tile每种码率具备两个Representation；其中，通用版的Representation1包含完整的视频内容，全RAP帧的Representation2随机接入版本，随机接入版本的内容是不完整的；随机接入版本不包含对应的Representation1中每个Segment起始的I帧。其中，随机接入版本中的每个Segment有RAP帧，且与Representation1中的每个P帧一一对应；当用户进行切换时，RAP帧会替换其对应的P帧并作为后面P帧的新参考帧，称之为随机接入参考帧，如图2所示。...

【技术保护点】
1.一种基于参考帧替换的快速视角切换方法，其特征在于，包括如下步骤：/n步骤S1：服务器编码端设定禁止使能时域MV；/n步骤S2：服务器编码端进行ELTile编码准备两种Representation，一种Representation1为通用完整版，另一种Representation2为随机接入版；/n步骤S3：服务器按需推流；/n步骤S4：判断用户视角是否发生切换；/n若发生切换，则执行步骤S5；/n若未发生切换，则执行步骤S6；/n步骤S5：播放器计算当前视角对应Tile请求该Tile的Representation1的ELSegments下载、解码并做终端实时渲染，循环至步骤S4继续对用户视角是否切换进行判断；/n步骤S6：播放器计算切换后视角对应Tile以及当前视频播放时间定位请求该Tile的Representation2对应ELSegments的RARF帧下载、解码并做终端实时渲染；/n步骤S7：播放器继续下载该RARF帧后ELSegmentsRepresentation1中剩余的P帧；/n步骤S8：播放器基于RARF帧和剩余的P帧序列进行解码，并做实时渲染，循环至步骤S4继续对用户视角是否切换进行判断。/n...

【技术特征摘要】
1.一种基于参考帧替换的快速视角切换方法，其特征在于，包括如下步骤：
步骤S1：服务器编码端设定禁止使能时域MV；
步骤S2：服务器编码端进行ELTile编码准备两种Representation，一种Representation1为通用完整版，另一种Representation2为随机接入版；
步骤S3：服务器按需推流；
步骤S4：判断用户视角是否发生切换；
若发生切换，则执行步骤S5；
若未发生切换，则执行步骤S6；
步骤S5：播放器计算当前视角对应Tile请求该Tile的Representation1的ELSegments下载、解码并做终端实时渲染，循环至步骤S4继续对用户视角是否切换进行判断；
步骤S6：播放器计算切换后视角对应Tile以及当前视频播放时间定位请求该Tile的Representation2对应ELSegments的RARF帧下载、解码并做终端实时渲染；
步骤S7：播放器继续下载该RARF帧后ELSegmentsRepresentation1中剩余的P帧；
步骤S8：播放器基于RARF帧和剩余的P帧序列进行解码，并做实时渲染，循环至步骤S4继续对用户视角是否切换进行判断。


2.根据权利要求1所述的...

【专利技术属性】
技术研发人员：刘睿，严柯，胡勇，
申请(专利权)人：深圳市佳创视讯技术股份有限公司，
类型：发明
国别省市：广东;44