一种视频编解码的方法及装置制造方法及图纸

本发明专利技术的一方面提供一种具有处理电路的装置。所述处理电路用于接收根据从球面到矩形平面的投影来从所述球面的多个图像投影得到的所述矩形平面内的多个图像，并且基于与所述投影相关的所述矩形平面的多个图像特征对所述矩形平面内的所述多个图像进行编码/解码。

A Method and Device for Video Coding and Decoding

One aspect of the present invention provides a device with a processing circuit. The processing circuit is used to receive a plurality of images in the rectangular plane projected from multiple images of the sphere according to projections from the sphere to the rectangular plane, and encode/decode the plurality of images in the rectangular plane based on the plurality of image features of the rectangular plane associated with the projection.

【技术实现步骤摘要】
【国外来华专利技术】一种视频编解码的方法及装置相关申请的交叉引用本申请要求如下申请的优先权：在2016年07月15日提出的名称为“Methodsandapparatusfor360degreevideocoding”的第62/362,613号的美国临时专利申请，在2016年10月04日提出名称为“Methodsandapparatusforomni-directionalvideoandimagecoding”的第62/403,734号的美国临时专利申请，以及在2017年7月13日提出的名称为“METHODANDAPPARATUSFORVIDEOCODING”的第15/649,089号的美国专利申请。在此合并参考这些申请案的申请标的。
本专利技术有关于视频编解码方法及装置，且更具体而言，关于全向(omni-directional)视频编解码技术。
技术介绍
此处提供的
技术介绍
描述用作一般展现本专利技术的内容的目的。目前署名专利技术人的工作内容，既包含在本
技术介绍
部分中所描述的工作的内容，也包含在申请时未被认为是现有技术的说明书的各方面，这些既不明确也不暗示地被承认是本专利技术的现有技术。可渲染三维环境以提供特殊的用户体验。例如，在虚拟现实(virtualreality，VR)应用中，计算机技术创建复制现实环境的现实图像、声音以及其他感觉，或者创建想象的环境，这样用户可以具有在三维环境中实际存在的模拟体验。
技术实现思路
本专利技术的方面提供一种具有处理电路的装置。所述处理电路用于接收矩形平面内的多个图像，所述矩形平面内的所述多个图像是根据从球面到所述矩形平面的投影，来从所述球面的多个图像投影得到的，并且，基于与所述投影相关的所述矩形平面的多个图像特征对所述矩形平面内的所述多个图像进行编码/解码。根据本专利技术的一方面，所述处理电路用于接收矩形平面内的多个图像，所述矩形平面内的所述多个图像是根据球面投影来从所述球面的多个图像投影得到的，并且调节一个或者多个编码/解码参数，以作为所述矩形平面的多个纬度的函数。在一个实施例中，所述处理电路用于调节用于所述矩形平面内多个区域的比特分配，以作为所述多个区域的所述多个纬度的函数。在另一个实施例中，所述处理电路用于调节用于所述矩形平面内多个区域的分割尺寸，以作为所述多个区域的所述多个纬度的函数。在另一个实施例中，所述处理电路用于调节用于所述矩形平面内多个区域的采样率，以作为所述多个区域的所述多个纬度的函数。在另一个实施例中，所述处理电路用于调节用于所述矩形平面内多个区域的量化参数，以作为所述多个区域的所述多个纬度的函数。在另一个实施例中，所述处理电路用于基于编码单元的纬度和运动向量在帧间预测过程中计算用于所述编码单元的参考。根据本专利技术的另一方面，所述处理电路用于接收矩形平面内的多个图像，所述矩形平面内的多个图像是根据从所述球面到重新排列在所述矩形平面内的多个非空置面的正多面体投影，来从所述球面的多个图像投影得到的，并且基于所述矩形平面内多个面的多个图像特征对所述矩形平面内的多个图像进行编码/解码。在一个实施例中，所述处理电路用于在编码过程中逐面扫描块。在另一个示例中，所述处理电路用于根据多个面的空间关系给所述多个面进行排序。在另一个示例中，所述处理电路用于在编码/解码过程中跳过空置面。根据本专利技术的另一方面，所述处理电路用于接收矩形平面内的多个图像，所述矩形平面内的所述多个图像是根据使得变形作为多个位置的函数的投影，来从所述球面的多个图像投影得到的，并且在帧间预测过程中执行变形运动补偿。在一个实施例中，所述处理电路用于基于合并模式内的合并索引，选择性地执行不具有变形的运动补偿和所述变形运动补偿。在另一个实施例中，所述处理电路用于基于标志在序列级、图像级、切片级和块级中的一个处执行所述变形运动补偿。本专利技术的方面提供了一种图像处理的方法。所述方法包括处理电路接收矩形平面内的多个图像，所述矩形平面内的所述多个图像是根据从球面到所述矩形平面的投影，来从所述球面的多个图像投影得到的，以及基于与所述投影相关的所述矩形平面的多个图像特征对所述矩形平面内的所述多个图像进行编码/解码。附图说明将结合下面的附图对被提供作为示例的本专利技术的各种实施例进行详细描述，其中相同的符号表示相同的元件，以及其中：图1是根据本专利技术实施例的媒体系统100的方框图；图2是描述根据本专利技术实施例的球面投影(equirectangularprojection，ERP)的绘图200；图3是描述根据本专利技术实施例的正多面体投影(platonicsolidprojection)示例的绘图300；图4是根据本专利技术实施例的编码器430的方框图；图5是描述根据本专利技术实施例的方法(process)示例500的流程图；图6是描述根据本专利技术实施例的方法示例600的流程图；图7是根据本专利技术实施例的分割示例；图8是描述根据本专利技术实施例的用于ERP投影的参考计算的绘图800；图9是描述根据本专利技术实施例的方法示例900的流程图；图10是描述根据本专利技术实施例的块扫描(blockscan)示例的绘图1000；以及图11是描述根据本专利技术实施例的面扫描(facescan)示例的绘图1100。具体实施方式图1示出了根据本专利技术实施例的媒体系统100的方框图。所述媒体系统包括耦接在一起的源系统110、传输系统150和渲染系统160。所述源系统110用于获取用于三维环境的媒体数据，并适当地封装(encapsulate)所述媒体数据。所述传输系统150用于将来自于所述源系统110的已封装的媒体数据传输到所述渲染系统160。所述渲染系统160用于根据所述媒体数据渲染模拟的三维环境。根据本专利技术的一方面，所述媒体系统100用于获取球面(spheresurface)的视觉数据，将所述球面的视觉数据投影到二维(two-dimension，2D)矩形平面上，以作为2D图像，然后基于与投影相关的图像特征编码/解码所述2D图像。可以使用任何合适的技术来实现所述源系统110。在一个示例中，将所述源系统100的元件整合在一个设备封装中。在另一个示例中，所述源系统110是一个分布式系统，所述源系统110的多个元件可以被设置在不同位置，并适当耦接在一起，例如，通过有线连接和/或无线连接。在图1的示例中，所述源系统110包括耦接在一起的获取设备112、处理电路120、记忆体115以及接口电路111。所述获取设备112用于获取各种媒体数据，如三维环境的图像、声音等。所述获取设备112可以具有任何适当的配置。在一个示例中，所述获取设备112包括具有多个摄像机的摄像设备(未示出)，如具有两个鱼眼(fisheye)摄像机的成像系统、具有四个摄像机的四面体成像系统(tetrahedralimagingsystem)、具有六个摄像机的立方体成像系统、具有八个摄像机的八面成像系统、具有二十个摄像机的二十面成像系统等，其用于拍摄环绕空间内的各个方向的图像。在一个实施例中，由所述多个摄像机拍摄的图像是重叠的且可以被缝合，以提供比单个摄像机所能提供的更大覆盖的环绕空间。在一个示例中，由所述多个摄像机拍摄的图像可以提供全向覆盖(例如，整个环绕空间的360°的球面覆盖)。应注意，由所述多个摄像机拍摄的图像可以提供环绕空间的小于360°的球面本文档来自技高网...

【技术保护点】
1.一种装置，其特征在于，包括：处理电路，用于：接收矩形平面内的多个图像，其中所述矩形平面内的所述多个图像是根据从球面到所述矩形平面的投影，来从所述球面的多个图像投影得到的；以及基于与所述投影相关的所述矩形平面的多个图像特征对所述矩形平面内的所述多个图像进行编码/解码。

【技术特征摘要】
【国外来华专利技术】2016.07.15 US 62/362,613;2016.10.04 US 62/403,734;1.一种装置，其特征在于，包括：处理电路，用于：接收矩形平面内的多个图像，其中所述矩形平面内的所述多个图像是根据从球面到所述矩形平面的投影，来从所述球面的多个图像投影得到的；以及基于与所述投影相关的所述矩形平面的多个图像特征对所述矩形平面内的所述多个图像进行编码/解码。2.如权利要求1所述的装置，其特征在于，所述处理电路用于：调节一个或者多个编码/解码参数，以作为所述矩形平面的多个位置参数的函数。3.如权利要求2所述的装置，其特征在于，所述处理电路用于：调节用于所述矩形平面内多个区域的比特分配，以作为所述多个区域的所述多个位置参数的函数。4.如权利要求2所述的装置，其特征在于，所述处理电路用于：调节用于所述矩形平面内多个区域的分割尺寸，以作为所述多个区域的所述多个位置参数的函数。5.如权利要求2所述的装置，其特征在于，所述处理电路用于：调节用于所述矩形平面内多个区域的采样率，以作为所述多个区域的所述多个位置参数的函数。6.如权利要求2所述的装置，其特征在于，所述处理电路用于：调节用于所述矩形平面内多个区域的量化参数，以作为所述多个区域的所述多个位置参数的函数。7.如权利要求2所述的装置，其特征在于，所述处理电路用于：基于编码单元的多个位...

【专利技术属性】
技术研发人员：刘杉，许晓中，金廷宣，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71