视频数据处理方法、解码设备、编码设备及存储介质技术

本申请公开了一种视频数据处理方法、解码设备、编码设备及存储介质，该方法包括：接收到显示设备发送的视点生成显示指令时，获取所述显示设备的当前视点；从当前视点对应的传输路径接收到的图像帧序列的视频帧中截取所述当前视点的图像所需的图像并显示；在接收到所述显示设备发送的视点切换指令时，获取所述视点切换指令对应的目标视点，并从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像并显示；在满足切换条件时，将由所述目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像并显示，从而提高视频画面显示效果。从而提高视频画面显示效果。从而提高视频画面显示效果。

【技术实现步骤摘要】
视频数据处理方法、解码设备、编码设备及存储介质


[0001]本申请涉及视频数据处理
，尤其涉及一种多视点视频数据处理方法、解码设备、编码设备及存储介质。

技术介绍

[0002]自由视点技术是一种实现自由视角观看视频的技术。目前的应用自由视点技术的自由视点应用可以允许观看者在一定范围内以连续视点的形式观看视频。观看者可以设定视点的位置、角度，而不再局限于只能观看一个固定的摄像机视角拍摄的视频，实现了360
°
自由视角观看视频。
[0003]目前的自由视点应用往往使用空域拼接方法将多个视点的单路视频拼接在一起，当用户在自由视点应用端的进行视点切换时，自由视点应用通过拼接在一起的多个视点的单路视频为用户显示所切换视点对应的单路视频。但是，使用空域拼接方法对多个视点的单路视频拼接之后，导致各个视点的单路视频的分辨率下降，从而造成自由视点应用显示所需的画面分辨率不足，导致最终生成的视点画面分辨率不高。

技术实现思路

[0004]本申请实施例通过提供一种多视点视频数据处理方法、解码设备、编码设备及存储介质，旨在解决使用空域拼接方法对多个视点的单路视频拼接之后，导致自由视点应用显示所需的画面分辨率不足，进而导致最终生成的视点画面分辨率下降的技术问题。
[0005]本申请实施例提供了一种应用于解码设备的多视点视频数据处理方法，所述多视点视频数据处理方法，包括：
[0006]接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点；/>[0007]将由所述当前视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述当前视点的图像所需的图像，并将所述生成所述当前视点的图像所需的图像发送至所述显示设备以生成当前视点画面；
[0008]在接收到所述显示设备发送的视点切换指令时，获取所述视点切换指令对应的目标视点，并从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成目标视点画面；
[0009]在满足切换条件时，将由所述目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，并将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成所述目标视点的图像。
[0010]在一实施例中，从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像的步骤包括：
[0011]获取所述目标视点对应的视点标识以及所述视频帧的排布信息；
[0012]根据所述排布信息以及所述视点标识确定所述生成所述目标视点的图像所需的图像在所述视频帧中的位置信息；
[0013]在由所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述位置信息对应的目标视点的图像所需的图像。
[0014]在一实施例中，所述生成所述当前视点的图像所需的图像以及所述生成所述目标视点的图像所需的图像均包括视点画面或者视点深度图画面中的至少一个，且所述当前视点对应的画面的分辨率大于所述目标视点对应的画面的分辨率。
[0015]在一实施例中，所述切换条件包括以下至少一个：
[0016]当前显示的图像对应的视频帧的时间戳与所述目标视点对应的传输路径中的视频帧的时间戳相同；
[0017]所述从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧的时间戳达到预设时间点。
[0018]本申请实施例提供了一种应用于编码设备的多视点视频数据处理方法，所述多视点视频数据处理方法，包括：
[0019]获取各个摄像机拍摄的各个视点的图像，不同摄像机拍摄不同视点对应的图像，其中，将每个视点作为主视点生成第一图像，并将所述主视点之外的视点作为所述主视点对应的从视点生成所述从视点的第二图像，所述图像包括视点画面或者视点深度图画面中的至少一个；
[0020]将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，并根据拍摄时间对拼接后的所述主视点对应的视频帧进行编码以生成对应的图像帧序列，其中，所述第一图像的分辨率大于所述第二图像的分辨率；
[0021]在解码设备接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点之后，将所述当前视点对应的图像帧序列由所述当前视点对应的传输路径传输至解码设备。
[0022]在一实施例中，所述将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，并根据拍摄时间对拼接后的所述主视点对应的视频帧进行编码以生成对应的图像帧序列的步骤包括：
[0023]将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧；
[0024]按照拍摄时间将所述主视点对应的视频帧进行排序，生成拼接图像序列；
[0025]对所述拼接图像序列进行编码以得到每个所述主视点对应的图像帧序列，其中，将每个所述主视点对应的图像帧序列中的第一帧图像编码为I帧。
[0026]在一实施例中，所述对所述拼接图像序列进行编码以得到每个所述主视点对应的图像帧序列的步骤包括：
[0027]获取所述主视点对应的视频帧的排布信息，所述排布信息至少包括各个所述视点的视点标识和各个所述视点的图像在主视点对应的视频帧中的位置信息；
[0028]对所述拼接图像序列进行编码，并将所述排布信息插入编码后的所述拼接图像序列的序列头中以得到所述主视点对应的图像帧序列。
[0029]此外，为实现上述目的，本申请还提供了一种解码设备，所述解码设备包括：
[0030]第一接收模块，用于接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点；
[0031]第一发送模块，用于将由所述当前视点对应的传输路径接收到的图像帧序列的视频帧中截取所述当前视点的图像，并将所述当前视点的图像发送至所述显示设备以生成当前视点画面；
[0032]第二接收模块，用于在接收到所述显示设备发送的视点切换指令时，获取所述视点切换指令对应的目标视点，并从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成目标视点画面，其中，所述生成所述当前视点的图像所需的图像以及所述生成所述目标视点的图像所需的图像均包括视点画面或者视点深度图画面中的至少一个，且所述当前视点对应的画面的分辨率大于所述目标视点对应的画面的分辨率；
[0033]第二发送模块，用于在满足切换条件时，将由所述目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，并将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成当前视点画面。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视点视频数据处理方法，其特征在于，应用于解码设备；所述多视点视频数据处理方法包括：接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点；将由所述当前视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述当前视点的图像所需的图像，并将所述生成所述当前视点的图像所需的图像发送至所述显示设备以生成当前视点画面；在接收到所述显示设备发送的视点切换指令时，获取所述视点切换指令对应的目标视点，并从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成目标视点画面；在满足切换条件时，将由所述目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，并将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成所述目标视点的图像。2.如权利要求1所述的方法，其特征在于，所述从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像的步骤包括：获取所述目标视点对应的视点标识以及所述视频帧的排布信息；根据所述排布信息以及所述视点标识确定所述生成所述目标视点的图像所需的图像在所述视频帧中的位置信息；在由所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述位置信息对应的目标视点的图像所需的图像。3.如权利要求1所述的方法，其特征在于，所述生成所述当前视点的图像所需的图像以及所述生成所述目标视点的图像所需的图像均包括视点画面或者视点深度图画面中的至少一个，且所述当前视点对应的画面的分辨率大于所述目标视点对应的画面的分辨率。4.如权利要求1所述的方法，其特征在于，所述切换条件包括以下至少一个：当前显示的图像对应的视频帧的时间戳与所述目标视点对应的传输路径中的视频帧的时间戳相同；所述从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧的时间戳达到预设时间点。5.一种多视点视频数据处理方法，其特征在于，应用于编码设备；所述多视点视频数据处理方法包括：获取各个摄像机拍摄的各个视点的图像，不同摄像机拍摄不同视点对应的图像，其中，将每个视点作为主视点生成第一图像，并将所述主视点之外的视点作为所述主视点对应的从视点生成所述从视点的第二图像，所述图像包括视点画面或者视点深度图画面中的至少一个；将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，并根据拍摄时间对拼接后的所述主视点对应的视频帧进行编码以生成对应的图像帧序列，其中，所述第一图像的分辨率大于所述第二图像的分辨率；在解码设备接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令
获取所述显示设备的当前视点之后，将所述当前视点对应的图像帧序列由所述当前视点对应的传输路径传输至解码设备。6.如权利要求5所述的方法，其特征在于，所述将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，并根据拍摄时间对拼接后的所述主视点对应的视频帧进行编码以生...

【专利技术属性】
技术研发人员：王荣刚，王振宇，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：