一种基于内容自适应的光场视频编码方法技术

本发明专利技术公开了一种基于内容自适应的光场视频编码方法，方法包括：选取所述光场图像中的子图像的中心视点子图像和相邻子图像；对中心视点子图像进行编码后与所述相邻子图像的光场视频相减得到残差视频；根据残差视频在帧之间的相关性值R1的绝对值与相关性阈值τ的关系，将残差视频重排序为空域残差视频或者继续计算残差视频中的残差子图像在帧之间的残差能量值E1及在残差子图像之间的残差能量值E2，并选择相应的编码方法。本发明专利技术为残差视频自适应地从空域多视图编码方法和时域多视图编码方法中选择更好的方法，减小了残差视频的编码码流，提高了编码效率，进而提高了光场视频的编码效率。

【技术实现步骤摘要】
一种基于内容自适应的光场视频编码方法
本专利技术涉及光场编码领域，尤其涉及一种基于内容自适应的光场视频编码方法。
技术介绍
光场技术自提出以来，一直吸引着众多研究学者和企业的关注。企业例如Lytro致力于开发消费级光场相机，目前已推出两代产品，但是光场相机分辨率低的问题一直存在，这主要限制于当前的硬件水平。从长远来看，光场技术在可见未来的VR、AR技术中有着充足的潜力，正因如此，它仍吸引着众多研究学者投入资源进行研究。光场相机捕获到的一张原光场图在记录平面场景的同时记录了角度信息，这使得一张光场图是目前普通相机拍出照片的数十倍大小。在未来想要将光场技术应用到消费级AR、VR技术中，无论是影视作品还是实时AR直播与通话，存储传输光场内容时都对光场图的文件大小有着极高的要求。为了保证光场图像内容的质量，光场图像的原生文件大小不可能减小反而在未来还会增加，编码则成为解决这个问题的关键。目前针对光场编码有两种主要的类别：编码单张光场图和编码光场视频。编码单张光场图的思路很简单：由单张光场图得到多张记录各个不同角度信息的子图像，将子图像按照特定的顺序串连成一个视频，采用HEVC对这个视频序列进行编码。在编码单张光场图中，研究者们的主要工作集中在设计特定的扫描顺序来串连子图像，更充分地利用子图像之间的冗余信息。编码光场视频略微复杂一些，编码对象为多张时域连续的光场图。一张光场图被称为帧，每帧得到同等数量的子图像，一个子图像代表一个视图，采用多视图编码技术对其进行编码。但现有的多视图编码技术对光场视频进行编码时，对子视图间的相关性利用不够充分，编码效率也较低，不能在未来的AR、VR技术中面对日益增大的原生文件充分利用光场技术。
技术实现思路
本专利技术目的是为了解决现有技术中对较大原生文件在编码过程中需要高效率的光场编码的问题，提出一种基于内容自适应的光场视频编码方法。本专利技术提出的一种基于内容自适应的光场视频编码方法，包括：S1、获取光场图像，选取所述光场图像中的子图像的中心视点子图像，除中心视点子图像以外的子图像为相邻子图像；S2、采用多视图编码方法对所述中心视点子图像进行编码获得中心视点光场视频；S3、将所述中心视点光场视频与所述相邻子图像的光场视频相减得到残差视频；S4、计算残差视频在帧之间的相关性值R1，并与帧之间的相关性阈值τ进行比较；S5、若相关性值R1的绝对值小于相关性阈值τ，将残差视频重排序为空域残差视频，将其编码为空阈残差视频码流后输出；若相关性值R1的绝对值大于相关性阈值τ，则执行步骤S6；S6、计算残差视频中的残差子图像在帧之间的残差能量值E1，以及残差视频在残差子图像之间的残差能量值E2；S7、当帧之间的残差能量值E1小于残差子图像之间的残差能量值E2时，将残差视频重排序为时域残差视频，将其编码为时域残差视频码流后输出；否则，将残差视频重排序为空域残差视频，将其编码为空阈残差视频码流后输出。优选地，所述光场视频包括N个帧，即N个光场图像，每帧有140个残差子图像。优选地，计算残差子视频在帧之间的相关性值R1的步骤包括：S41、在时域上的所有帧，从每帧中140个残差子图像中随机选取3个残差子图像；S42、对选取的每个残差子图像，分别计算光场视频中每个帧与其实际编码过程用到的参考帧之间的相关性值；其中，每个参考帧的数量为n1，对单个帧计算得到n1个相关性值，并取其平均值作为单个帧的相关性值；N个帧共获得N个相关性值；对获得的N个相关性值求取其平均值得到残差子图像的相关性值；S43、将3个残差子图像获得的3个相关性值取平均值获得残差视频在帧之间的相关性值R1。优选地，所述步骤S4中残差子图像在帧之间的相关性值R1的算法基于MATLAB的内建函数corr2。优选地，残差能量值的计算公式为E＝(A-B)2，其中，A、B为两个矩阵，E代表A、B之间的残差能量。优选地，步骤S6中计算残差能量值E1的步骤包括：S611、对时域上的所有帧，从每帧中140个残差子图像中随机选取3个残差子图像；S612、对选取的每个残差子图像，计算每个帧与其实际编码过程用到的参考帧之间的能量；其中，每个帧的参考帧数量为n1，对单个帧计算得到n1个能量值，并取n1个能量值的平均值作为单个帧的能量值；N个帧共获得N个能量值；对获得的N个能量值求取平均值得到残差子图像的能量值；S613、将3个残差子图像获得的3个能量值取平均值获得残差视频在帧之间的能量值E1。优选地，步骤S6中计算残差能量值E2的步骤包括：S621、从N张光场图像随机选取3张光场图像以及光场图像上的所有残差子图像M个；S622、计算每个残差子图像与其实际编码过程用到的参考残差字图像之间的能量；其中，每个残差子图像的参考残差子图像数量为n1，对单个残差子图像计算得到n1个能量值，并取其平均值作为单个残差子图像的能量值；M个残差子图像共获得M个能量值；S623、将获得的M个能量值求取其平均值得到残差子图像之间的能量值E2。优选地，所述空域残差视频采用空域多视图编码方法进行编码；所述时域残差视频采用时域多视图编码方法进行编码。优选地，将残差视频重排序为时域残差视频的步骤包括将每个帧中所有子图像串连成一个视频序列，得到对应于帧数量的多个视频序列；将残差视频重排序为空域残差视频的步骤包括将每个视图的所有帧串连成一个视频序列，得到对应于视图数量的多个视频序列。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的方法。本专利技术的有益效果包括：本专利技术在分别编码中心视点子图像视频和残差视频的基础上，通过分析残差视频视图间、帧间的相关性和残差能量来选择不同的编码方法，进一步提高了残差视频部分的编码效率。由于相关性和残差能量为光场视频自身固有的信息，使得提出的方法完全基于残差视频内容自适应地选择更好的编码方法，进一步充分利用了子图像之间的冗余信息。为残差视频自适应地从空域多视图编码方法和时域多视图编码方法中选择更好的方法，减小了残差视频的编码码流，提高了编码效率，进而提高了光场视频的编码效率。附图说明图1是本专利技术实施例中基于内容自适应的光场视频编码方法流程示意图。图2是本专利技术实施例中由原始光场图像获得子图像的示意图。图3是本专利技术实施例中子图像划分的示意图。具体实施方式下面结合具体实施方式并对照附图对本专利技术作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。如图1所示，本实施例提出一种基于内容自适应的光场视频编码方法，包括以下步骤：S1、获取光场图像，选取所述光场图像中的子图像的中心视点子图像，除中心视点子图像以外的子图像为相邻子图像；S2、采用多视图编码方法对所述中心视点子图像进行编码获得中心视点光场视频；...

【技术保护点】
1.一种基于内容自适应的光场视频编码方法，其特征在于，包括以下步骤：/nS1、获取光场图像，选取所述光场图像中的子图像的中心视点子图像，除中心视点子图像以外的子图像为相邻子图像；/nS2、采用多视图编码方法对所述中心视点子图像进行编码获得中心视点光场视频；/nS3、将所述中心视点光场视频与所述相邻子图像的光场视频相减得到残差视频；/nS4、计算残差视频在帧之间的相关性值R1，并与帧之间的相关性阈值τ进行比较；/nS5、若相关性值R1的绝对值小于相关性阈值τ，将残差视频重排序为空域残差视频，将其编码为空阈残差视频码流后输出；/n若相关性值R1的绝对值大于相关性阈值τ，则执行步骤S6；/nS6、计算残差视频中的残差子图像在帧之间的残差能量值E1，以及残差视频在残差子图像之间的残差能量值E2；/nS7、当帧之间的残差能量值E1小于残差子图像之间的残差能量值E2时，将残差视频重排序为时域残差视频，将其编码为时域残差视频码流后输出；/n否则，将残差视频重排序为空域残差视频，将其编码为空阈残差视频码流后输出。/n

【技术特征摘要】
1.一种基于内容自适应的光场视频编码方法，其特征在于，包括以下步骤：
S1、获取光场图像，选取所述光场图像中的子图像的中心视点子图像，除中心视点子图像以外的子图像为相邻子图像；
S2、采用多视图编码方法对所述中心视点子图像进行编码获得中心视点光场视频；
S3、将所述中心视点光场视频与所述相邻子图像的光场视频相减得到残差视频；
S4、计算残差视频在帧之间的相关性值R1，并与帧之间的相关性阈值τ进行比较；
S5、若相关性值R1的绝对值小于相关性阈值τ，将残差视频重排序为空域残差视频，将其编码为空阈残差视频码流后输出；
若相关性值R1的绝对值大于相关性阈值τ，则执行步骤S6；
S6、计算残差视频中的残差子图像在帧之间的残差能量值E1，以及残差视频在残差子图像之间的残差能量值E2；
S7、当帧之间的残差能量值E1小于残差子图像之间的残差能量值E2时，将残差视频重排序为时域残差视频，将其编码为时域残差视频码流后输出；
否则，将残差视频重排序为空域残差视频，将其编码为空阈残差视频码流后输出。


2.如权利要求1所述的基于内容自适应的光场视频编码方法，其特征在于：所述光场视频包括N个帧，即N个光场图像，每帧有140个残差子图像。


3.如权利要求1所述的基于内容自适应的光场视频编码方法，其特征在于：计算残差子视频在帧之间的相关性值R1的步骤包括：
S41、在时域上的所有帧，从每帧中140个残差子图像中随机选取3个残差子图像；
S42、对选取的每个残差子图像，分别计算光场视频中每个帧与其实际编码过程用到的参考帧之间的相关性值；其中，每个参考帧的数量为n1，对单个帧计算得到n1个相关性值，并取其平均值作为单个帧的相关性值；N个帧共获得N个相关性值；对获得的N个相关性值求取其平均值得到残差子图像的相关性值；
S43、将3个残差子图像获得的3个相关性值取平均值获得残差视频在帧之间的相关性值R1。


4.如权利要求3所述的基于内容自适应的光场视频编码方法，其特征在于：所述步骤S4中残差子图像在帧之间的相关性值R1的算法基于MATLAB的内建函数corr2。


5.如权利要求1所述的...

【专利技术属性】
技术研发人员：金欣，涂望，李羚俊，颜成钢，戴琼海，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44