由球面投影处理等量矩形对象数据以补偿畸变制造技术

多向图像数据通常包含图像内容的畸变，这种畸变在由被设计用于处理传统的“平面”图像内容的视频编码器处理时引起问题。本公开的实施方案提供了使用此类编码器对多向图像数据进行编码的技术。对于有待编码的帧中的每个像素块，编码器可基于相应地输入像素块的位置与搜索窗口内的基准画面的一部分之间的位移来转换搜索窗口内的关于输入像素块的位置的基准画面数据。该编码器可在经转换的基准画面数据其间执行预测搜索，以识别输入像素块与经转换的基准画面的一部分之间的匹配，并且当匹配被识别时，该编码器可相对于经转换的基准画面的匹配部分对输入像素块进行差分编码。该转换可通过多向格式来抵消施加于基准画面数据的图像内容的畸变，该多向格式将所述内容与输入画面的图像内容对齐。该技术适用于帧内编码和帧间编码两者。

Equal rectangular object data are processed by spherical projection to compensate for distortion

【技术实现步骤摘要】
【国外来华专利技术】由球面投影处理等量矩形对象数据以补偿畸变
技术介绍
本公开涉及用于全方位多向图像和视频的编码技术。一些现代成像应用程序从相机的多个方向捕获图像数据。一些相机在图像捕获期间枢转，这允许相机在扩大相机的有效视场的角度扫描中捕获图像数据。一些其他相机具有多个成像系统，其在若干不同视场中捕获图像数据。在任一种情况下，可创建表示从这些多个视图捕获的图像数据的合并或“拼接”的聚合图像。许多现代编码应用程序并非设计用于处理此类全方位或多方向的图像内容。此类编码应用程序是基于假设图像内的图像数据是“平面的”或从单个视场捕获而设计的。因此，编码应用程序不考虑图像畸变，而图像畸变在处理这些其中包含畸变的全方位或多方向图像时可能出现。这些畸变可导致普通视频编码器无法识别图像内容中的冗余，从而导致编码效率低下。因此，本专利技术人认为本领域需要可处理全方位和多方向图像内容并限制畸变的编码技术。附图说明图1示出了可采用本公开的实施方案的系统。图2是根据本公开的一个实施方案的编码系统的功能框图。图3示出了可与本公开的实施方案一起使用的图像源。图4示出了通过多向成像捕获的示例性等量矩形投影图像。图5对在球面图像中可能出现的畸变效应进行建模。图6为示出示例性等量矩形帧中的示例性对象的畸变的曲线图。图7示出了根据本公开的一个实施方案的编码方法。图8示出了根据本公开的一个实施方案的编码方法。图9示出了根据图8的方法可应用于参考帧数据的转换。图10是根据本公开的一个实施方案的编码系统的功能框图。图11是根据本公开的一个实施方案的解码系统的功能框图。图12示出了适合与本公开的实施方案一起使用的计算机系统。具体实施方式本公开的实施方案提供用于编码球面图像和视频的技术。对于有待编码的帧中的每个像素块，编码器可基于相应地输入像素块的位置与搜索窗口内的基准画面的一部分之间的位移来转换搜索窗口内的关于输入像素块的位置的基准画面数据。编码器可在经转换的基准画面数据其间执行预测搜索，以识别输入像素块与经转换的基准画面的一部分之间的匹配，并且当匹配被识别时，编码器可相对于经转换的基准画面的匹配部分对输入像素块进行差分编码。该转换可通过球面投影格式来抵消施加于基准画面数据的图像内容的畸变，该球面投影格式将内容与输入画面的图像内容对齐。图1示出了可采用本公开的实施方案的系统100。系统100可以包括经由网络130互连的至少两个终端110-120。第一终端110可具有生成多方向且全方位视频的图像源。终端110还可包括编码系统和传输系统(未示出)，以将多方向视频的编码表示传输到第二终端120，在该第二终端处可消耗编码表示。例如，第二终端120可在本地显示器上显示球面视频，其可执行视频编辑程序以修改球面视频，或者可将球面视频整合到应用程序(例如，虚拟现实程序)中，可存在于头戴式显示器(例如，虚拟现实应用程序)中，或者可存储球面视频以供之后使用。图1示出了适合从第一终端110向第二终端120单向传输球面视频的部件。在一些应用中，可能适合提供视频数据的双向交换，在这种情况下，第二终端120可包括其自身的图像源、视频编码器和发射器(未示出)，并且第一终端110可包括其自身的接收器和显示器(也未示出)。如果希望双向交换球面视频，则可复制下文论述的技术以生成一对独立的球面视频单向交换。在其他应用中，应当允许在一个方向(例如，从第一终端110到第二终端120)传输球面视频并且在相反方向上传输“平面”视频(例如，来自有限视场的视频)。在图1中，第二终端120被示为计算机显示器，但本公开的原理不受此限制。本公开的实施方案可应用于膝上型计算机、平板电脑、智能电话、服务器、媒体播放器、虚拟现实头戴式显示器、增强现实显示器、全息图显示器和/或专用视频会议设备。网络130代表在终端110-120其间输送经编码的视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络130可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非下文作出解释，否则网络130的架构和拓扑结构对本公开的操作是无关紧要的。图2是根据本公开的一个实施方案的编码系统200的功能框图。系统200可包括图像源210、图像处理系统220、视频编码器230、视频解码器240、基准画面存储库250、预测器260和任选地一对球面转换单元270、280。图像源210可生成作为多方向图像的图像数据，该图像数据包含在多个方向上围绕基准点延伸的视场的图像数据。图像处理系统220可根据需要转换来自图像源210的图像数据以适应视频编码器230的要求。视频编码器230通常可通过利用图像数据中的空间和/或时间冗余来生成其输入图像数据的编码表示。视频编码器230可输出输入数据的编码表示，该编码表示在传输和/或存储时比输入数据消耗更少的带宽。视频解码器240可反转由视频编码器230执行的编码操作，以从经编码的视频数据获得重建画面。通常，视频编码器230所应用的编码过程是有损过程，这导致重建画面在与原始画面比较时具有各种误差。视频解码器240可重建被指定为“基准画面”的选定编码画面的画面，并将经解码的基准画面存储在基准画面存储库250中。在不存在传输误差的情况下，解码的基准画面将复制解码器(图2中未示出)所获得的经解码的基准画面。预测器260可在编码新输入画面时为其选择预测基准。对于被编码输入画面的每个部分(为了方便起见称为“像素块”)，预测器260可选择编码模式并识别基准画面中可充当被编码的像素块的预测基准搜索的一部分。编码模式可为帧内编码模式，在这种情况下，可从被编码画面的先前编码(和解码)部分绘制预测基准。另选地，编码模式可以是帧间编码模式，在这种情况下，可从另一先前编码和解码的画面绘制预测基准。在一个实施方案中，预测器260可搜索对已被转换为球面投影表示的输入画面和基准画面进行操作的被编码画面的预测基准。球面转换单元270、280可将输入画面和基准画面转换为球面投影表示。当适当的预测基准被识别时，预测器260可将预测数据提供至视频编码器230。视频编码器230可相对于由预测器260提供的预测数据而对输入视频数据进行差分编码。通常，对逐个像素块操作预测操作和差分编码。预测残差表示输入像素块和预测像素块之间的像素级差值，其可经受进一步的编码操作以进一步减小带宽。如所指出的，由视频编码器230输出的编码视频数据在传输和/或存储时应当消耗小于输入数据的带宽。编码系统200可将编码视频数据输出到输出设备290，诸如发射器(未示出)，该发射器可跨通信网络130(图1)或存储设备(也未示出)诸如电子存储介质、磁性存储介质和/或光学存储介质传输编码视频数据。图3示出了可与本公开的实施方案一起使用的图像源310、340。第一图像源可以是相机310，如图3(a)所示，其具有沿轴线枢转的单个图像传感器(未示出)。在操作期间，相机310可在其沿预定角距离(优选地，完整的360度)枢转时捕获图像内容，并将所捕获的图像内容合并到360°图像中。捕获操作可产生具有预定尺寸M×N像素的等量矩形图像320。等量矩形画面320可表示沿着将圆柱形视场划分成二维数据阵列的切片322被分割的多向视场3本文档来自技高网...

【技术保护点】
1.一种用于对包含多向图像内容的输入像素块进行编码的方法，所述方法包括：从基准画面中，基于相应地所述输入像素块的位置与搜索窗口内的所述基准画面的一部分之间的位移，转换所述搜索窗口内的关于所述输入像素块的所述位置的所述基准画面的一部分；在经转换的基准画面数据其间执行预测搜索，以识别所述输入像素块与经转换的基准画面的一部分之间的匹配；并且当匹配被识别时，相对于所述经转换的基准画面的所述匹配部分，对所述输入像素块进行差分编码。

【技术特征摘要】
【国外来华专利技术】2017.02.15 US 15/433,5051.一种用于对包含多向图像内容的输入像素块进行编码的方法，所述方法包括：从基准画面中，基于相应地所述输入像素块的位置与搜索窗口内的所述基准画面的一部分之间的位移，转换所述搜索窗口内的关于所述输入像素块的所述位置的所述基准画面的一部分；在经转换的基准画面数据其间执行预测搜索，以识别所述输入像素块与经转换的基准画面的一部分之间的匹配；并且当匹配被识别时，相对于所述经转换的基准画面的所述匹配部分，对所述输入像素块进行差分编码。2.根据权利要求1所述的方法，其中对于所述搜索窗口中的每个候选运动矢量，所述转换包括转换由所述候选运动矢量从所述基准画面所识别的基准块。3.根据权利要求1所述的方法，其中所述转换包括转换搜索窗口内的关于像素块行的所述基准画面的一部分，所述像素块行包括所述输入像素块，并且其中所述经转换的基准画面用于在所述行中的所述像素块的预测搜索。4.根据权利要求1所述的方法，其中所述转换包括转换搜索窗口内的关于像素块列的所述基准画面的一部分，所述像素块列包括所述输入像素块，并且其中所述经转换的基准画面用于在所述列中的所述像素块的预测搜索。5.根据权利要求1所述的方法，其中所述转换包括沿针对帧所识别的运动方向来转换搜索窗口内的所述基准画面的一部分，所述帧包括所述输入像素块。6.根据权利要求1所述的方法，其中所述编码为帧内编码，并且所述基准画面包括相同帧的先前编码数据的经解码数据，所述输入像素块位于所述相同帧中。7.根据权利要求1所述的方法，其中所述编码为帧间编码，并且所述基准画面包括在对帧编码之前编码的另一帧的经解码数据，所述输入像素块位于所述帧中。8.根据权利要求1所述的方法，其中所述多向图像内容由具有鱼眼镜头的多视角相机生成。9.根据权利要求1所述的方法，其中所述多向图像内容由全向相机生成。10.根据权利要求1所述的方法，其中所述多向图像内容由计算机应用程序生成。11.根据权利要求1所述的方法，其中所述编码包括：计算表示所述输入像素块的像素与所述经转换的基准画面的所述匹配部分之间的差值的预测残差；将所述预测残差转换成转换系数；对所述转换系数进行量化；以及对所述经量化的系数进行熵编码。12.根据权利要求1所述的方法，还包括用所述输入像素块的经编码数据传输参数，所述参数识别在所述基准画面上执行的转换的类型。13.根据权利要求1所述的方法，还包括分别通过以下操作对多个输入像素块进行编码：估计有待应用于每个相应像素块的预测模式；以及当所述所估计的预测模式是帧间编码模式时，对所述相应像素块执行所述转换、所述预测搜索和所述编码；并且当所述所估计的预测模式是帧内编码模式时，省略所述相应像素块的所述转换、所述预测搜索和所述编码。14.根据权利要求1所述的方法，还包括：估计所述输入像素块所属的帧的全局运动，其中所述转换包括相对于所述输入像素块的帧在空间上对齐所述基准画面。15.计算机可读存储介质具有存储在其上的程序指令，所述程序指令在由处理设备执行时使得所述设备：从基准画面中，基于相应地输入像素块的位置与搜索窗口内的所述基准画面的一部分之间的位移，转换所述搜索窗口内的关于所述输入像素...

【专利技术属性】
技术研发人员：J·H·金，C·Y·钟，张大忠，袁航，HJ·吴，翟杰夫，周小松，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US