对待编码的视频序列的图像进行编码的方法、解码方法、具有空间图像子采样的相应装置和系统制造方法及图纸

本发明专利技术涉及一种用于对视频序列的图像进行编码的方法，包括实施以下步骤：c)获取表示显示装置的结构特性的初始配置(E100)，并且对于被称作输入子序列的视频序列的图像，d1)通过使用定向在第一方向上并包括子采样因子值的第一集合(ENS1)的滤波器，对图像的元素执行第一空间子采样操作(E102)，该子采样因子值的第一集合是根据初始配置确定的，然后将所得图像插入到输出子序列中，以及e)对输出子序列的图像进行编码(E2)。图像进行编码(E2)。图像进行编码(E2)。

【技术实现步骤摘要】
【国外来华专利技术】对待编码的视频序列的图像进行编码的方法、解码方法、具有空间图像子采样的相应装置和系统


[0001]本专利技术涉及视频序列编码和解码
更具体地，本专利技术涉及编码方法和装置、解码方法和装置以及相应的装置。

技术介绍

[0002]为了传输高空间和时间分辨率的视频内容，如专利申请WO2020/025510中所述，实施所谓的可缩放方法是已知的。使用这种方法处理视频序列减少了待传输的视频数据量，而当显示图像时，在空间和时间域中视频序列质量没有可见的改变。

技术实现思路

[0003]在这种背景下，根据本专利技术的第一方面，提出了一种对视频序列的图像进行编码的方法，每个图像由组织成行和列的元素形成。该方法包括实施以下步骤：
[0004]c)获取表示显示装置的结构特性的初始配置，并且对于被称作输入子序列的视频序列的一个或多个图像的子序列中的至少一个图像，
[0005]d1)使用定向在第一方向上并且包括至少两个不同子采样因子值的第一集合的滤波器，对图像的至少部分元素执行第一空间子采样，值的第一集合是根据所述初始配置确定的，然后将所得图像插入输出子序列中，以及
[0006]e)对输出子序列的图像进行编码(E2)。
[0007]有利的是，根据本专利技术第一方面的方法可以减少待传输的编码数据量，而不会损失观看视频序列的用户的视觉质量。实际上，子采样取决于用户观看视频序列的显示装置的结构特性(例如，光学特性或与显示装置的形状相关的特性)。因此，相对于所使用的显示装置，可以将子采样调整到用户关注的图像区域。
[0008]优选地，步骤d1)还包括使用定向在第二方向上并包括至少两个不同子采样因子值的第二集合的滤波器，对子采样图像的至少部分元素进行第二空间子采样，值的第二集合是根据所述初始配置确定的。
[0009]实施使用定向在两个不同方向上的两个滤波器的两个连续子采样操作使得生成相对复杂的图案成为可能，该图案定义了具有不同空间分辨率值的区域。然后，可以根据显示装置的结构特性，精细地调整处理过的图像的每个区域的分辨率。
[0010]优选地，使用定向在以下方向之一的滤波器来执行空间子采样：
[0011]‑
水平，
[0012]‑
竖直。
[0013]这些方向的选择允许在编码装置内实施特别简单的解决方案，同时允许复杂的空间分辨率图案。
[0014]值的集合中的每个子采样因子值优选地分别应用于滤波器定向方向上的至少一组p个连续元素，p是正整数。
[0015]根据一个实施方式，该方法可以还包括分析步骤，该分析步骤包括对所述输入子序列的至少一个图像的内容进行分析，以及在实施步骤d1)之前根据内容的分析结果更新子采样因子值的步骤。
[0016]根据一个实施方式，该方法还可以包括分析步骤，该分析步骤包括对表示用户所做运动的测量进行分析，显示装置是由所述用户(例如，他/她的头部和/或眼睛)佩戴的头戴式显示器，以及在实施步骤d1)之前根据测量的分析结果更新子采样因子值的步骤。
[0017]根据另一个实施方式，该方法还可以包括另一个分析步骤，该分析步骤包括对所述输出子序列的图像的视觉质量进行分析，以及如果视觉质量低于预定阈值则在实施步骤d1)之前更新子采样因子值的步骤。
[0018]根据另一实施方式，该方法可以还包括预备步骤，该预备步骤包括以下子步骤：
[0019]a)从所述视频序列获取所谓的初始子序列，并且对于至少一个初始子序列：
[0020]b1)确定表示初始子序列的至少一个图像的内容的信息，并且根据所述信息，
[0021]b2)根据所确定的信息，为初始子序列确定低于或等于初始图像显示频率的处理频率，以及
[0022]b3)根据所确定的处理频率，在形成输入子序列的图像子序列中插入图像的组的所有或部分图像。
[0023]优选地，该方法可以还包括用于输出子序列的M个图像的后验步骤，M是整数，所述后验步骤包括以下子步骤：
[0024]d2)将与输出子序列的图像相关的处理频率与初始图像显示频率进行比较，以及
[0025]如果处理频率低于初始频率，则将输出子序列的M个图像中的每一个在空间上分成N个子图像，N是整数，其值取决于处理频率与初始频率之间的比值，编码步骤e)对应于输出子序列的M
×
N个子图像的编码，
[0026]否则，编码步骤e)对应于输出子序列的所述M个图像的编码。
[0027]根据另一个实施方式，该方法可以还包括针对每个输出子序列的以下步骤：
[0028]‑
获取表示以下列表中至少一个元素的信息：
[0029]ο子采样因子值，
[0030]ο表示用户进行的运动的测量值，显示装置是由所述用户佩戴的头戴式显示器，
[0031]ο显示装置的结构特性，
[0032]ο处理频率，以及
[0033]‑
对所述信息进行编码。
[0034]根据本专利技术的第二方面，提出了一种用于对对应于视频序列的图像的数据进行解码的方法，每个图像由组织成行和列的元素形成，视频序列的图像被分组成被称作输出子序列的一个或多个图像的子序列。该方法包括实施以下步骤：
[0035]c1)获取表示显示装置的结构特性的初始配置，并且对于输出子序列的至少一个图像；
[0036]d11)使用定向在第一方向上并且包括至少两个不同过采样因子值的第一集合的滤波器，对图像的至少部分元素执行第一空间过采样，值的第一集合是根据所述初始配置确定的，然后将所得图像插入到待解码的子序列中，以及
[0037]e1)对待解码的子序列的图像进行解码。
[0038]优选地，步骤d11)可以还包括使用定向在第二方向上并且包括至少两个不同过采样因子值的第二集合的滤波器，对过采样图像的至少部分元素进行第二空间过采样，值的第二集合是根据所述初始配置确定的。
[0039]根据本专利技术的第三方面，提出了一种用于对视频序列的图像进行编码的装置，每个图像由组织成行和列的元素形成。该装置被配置为实施以下步骤：
[0040]c)获取表示显示装置的结构特性的初始配置，并且对于被称作输入子序列的视频序列的一个或多个图像的子序列中的至少一个图像，
[0041]d1)使用定向在第一方向上并且包括至少两个不同子采样因子值的第一集合的滤波器，对图像的至少部分元素执行第一空间子采样，值的第一集合是根据所述初始配置确定的，然后将所得图像插入输出子序列中，以及
[0042]e)对输出子序列的图像进行编码。
[0043]根据本专利技术的第四方面，提出了一种用于对对应于视频序列的图像的数据进行解码的装置，每个图像由组织成行和列的元素形成，视频序列的图像被分组成被称作输出子序列一个或多个图像的子序列。该装置被配置为实施以下步骤：
[0044]c1)获取表示显示装置的结构特性的初始配置，并且对于输出子序列的至少一个图像；
[0045]d1本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对视频序列的图像进行编码的方法，每个图像由组织成行和列的元素形成，所述方法包括实施以下步骤：c)获取表示显示装置的结构特性的初始配置(E100)，并且，对于被称作输入子序列的所述视频序列的一个或多个图像的子序列中的至少一个图像，d1)使用定向在第一方向上并且包括至少两个不同子采样因子值的第一集合(ENS1)的滤波器，对所述图像的至少部分元素执行第一空间子采样(E102)，值的所述第一集合是根据所述初始配置确定的，然后将所得图像插入到输出子序列中，以及e)对所述输出子序列的图像进行编码(E2)。2.根据前述权利要求所述的方法，其中，步骤d1)还包括使用定向在第二方向上并且包括至少两个不同子采样因子值的第二集合(ENS2)的滤波器，对子采样图像的至少部分元素进行第二空间子采样，值的所述第二集合是根据所述初始配置确定的。3.根据权利要求1或2中任一项所述的方法，其中，空间子采样是使用定向在以下方向之一的滤波器来执行的：
‑
水平，
‑
竖直。4.根据前述权利要求中任一项所述的方法，其中，值的集合中的每个子采样因子值被分别应用于所述滤波器的定向方向上的至少一组p个连续元素，p是正整数。5.根据前述权利要求中任一项所述的方法，还包括分析步骤(E1003，E1008)，所述分析步骤包括对所述输入子序列的至少一个图像的内容进行分析，以及在实施步骤d1)之前根据所述内容的分析结果更新所述子采样因子值的步骤。6.根据前述权利要求中任一项所述的方法，还包括分析步骤，所述分析步骤包括对表示用户进行的运动的测量进行分析，所述显示装置是所述用户佩戴的头戴式显示器，以及在实施步骤d1)之前根据所述测量的分析结果更新所述子采样因子值的步骤。7.根据前述权利要求中任一项所述的方法，还包括另一个分析步骤，所述另一个分析步骤包括对所述输出子序列的图像的视觉质量(E1005)进行分析，以及如果所述视觉质量低于预定阈值则在实施步骤d1)之前更新所述子采样因子值的步骤。8.根据前述权利要求中任一项所述的方法，包括预备步骤(E101)，所述预备步骤包括以下子步骤：a)从所述视频序列中获取所谓的初始子序列，并且对于至少一个初始子序列：b1)确定表示所述初始子序列的至少一个图像的内容的信息，并且根据所述信息，b2)根据所确定的信息，为所述初始子序列确定低于或等于初始图像显示频率的处理频率，以及b3)根据所确定的处理频率，在形成输入子序列的图像子序列中插入图像的组的所有或部分图像。9.根据前述权利要求所述的方法，包括用于输出子序列的M个图像的后验步骤(E103)，M是整数，所述后验步骤包括以下子步骤：d2)将与所述输出子序列的图像相关的所述处理频率与所述初始图像显示频率进行比较，以及如果所述处理频率低于初始频率，...

【专利技术属性】
技术研发人员：贝努瓦，
申请(专利权)人：丰达西翁必卡姆公司，
类型：发明
国别省市：