一种用于流视频内容的方法及装置制造方法及图纸

本发明专利技术各个方面提供一种装置，其包括接口电路、处理电路和显示设备。接口电路用于接收媒体数据的媒体描述信息。所述媒体数据包括用于视频内容的在空域上具有不同覆盖的多个段流，所述媒体描述信息表示所述多个段流的在空域上的所述不同覆盖。处理电路用于基于用于图像生成的感兴趣区域以及所述多个段流的在空域上的所述不同覆盖确定一个或者多个段流，在所述一个或者多个段流中选择多个段，以及使得所述接口电路请求和接收所述选择的多个段。显示设备用于显示基于所述选择的多个段所生成的多个图像。

A method and device for streaming video content

Each aspect of the invention provides a device including an interface circuit, a processing circuit and a display device. The interface circuit is used to receive media description information of media data. The media data includes a plurality of segments with different coverage on an airspace for video content, and the media description information represents the different coverage of the plurality of segments on the airspace. The processing circuit is used to determine one or more segments based on the different coverage on the airspace based on the region of interest for image generation and the plurality of segments flow, to select a plurality of segments in the one or more segments, and to make the interface circuit request and receive a plurality of selected segments. The display device is used to display a plurality of images generated based on the selected plurality of segments.

【技术实现步骤摘要】
【国外来华专利技术】一种用于流视频内容的方法及装置优先权声明本申请主张以下申请的权利：在2016年07月14日提出申请的美国临时专利申请第62/362,078号名称为“MethodsandApparatusofStreamingVRand360videoContent”，以及在2016年07月20日提出的美国临时专利申请第62/364,364号名称为“MethodsandApparatusofStreamingVRand360videoContent”，且上述申请整体以引用方式并入本文中。
技术介绍
此处提供的
技术介绍
描述用作一般渲染本专利技术的内容的目的。目前署名专利技术人的工作内容，既包含在本
技术介绍
部分中所描述的工作的内容，也包含在申请时未被认为是现有技术的说明书的各方面，这些既不明确也不暗示地被承认是本专利技术的现有技术。可渲染三维环境以提供特殊的用户体验。例如，在虚拟现实(virtualreality，VR)应用中，计算机技术创建复制现实环境的现实图像、声音以及其他感觉，或者创建想象的环境，这样用户可以具有在三维环境中物理存在的模拟体验。
技术实现思路
本专利技术的各个方面提供一种装置，其包括接口电路、处理电路和显示设备。接口电路用于接收媒体数据的媒体描述信息。所述媒体数据包括用于视频内容的在空域上具有不同覆盖的多个段流，所述媒体描述信息表示所述多个段流的在空域上的所述不同覆盖。处理电路用于基于用于图像生成的感兴趣区域以及所述多个段流的在空域上的所述不同覆盖确定一个或者多个段流，在所述一个或者多个段流中选择多个段，以及使得所述接口电路请求和接收所述选择的多个段。显示设备用于显示基于所述选择的多个段所生成的多个图像。在一个实施例中，所述多个段流分别对应于自球面的已投影的平面的多个子图像区域。在一个示例中，所述媒体描述信息包括用于多个子图像区域的多个部分，并且在用于所述多个子图像区域的所述多个部分中分别包括地理信息；所述处理电路用于基于用于所述多个子图像区域的所述多个部分中的所述地理信息确定所述一个或者多个段流。进一步地，一个部分包括对应于所述地理信息的多个段流和不同比特率的多个表示；所述处理电路用于确定满足比特率要求的比特率的表示。根据本专利技术的一方面，所述媒体描述信息至少用于表示第一段流和第二段流，所述第一段流和所述第二段流覆盖至少部分具有不同分辨率的所述感兴趣区域；所述处理电路用于基于质量要求从所述第一段流和所述第二段流中的一个切换到另一个。根据本专利技术的另一方面，所述媒体描述信息用于表示所述多个段流对应于自球面到柏拉图立体的已投影面；所述处理电路用于确定对应于各自已投影面的所述一个或者多个段流。在一个实施例中，所述多个段流对应于在二维平面内具有不同区域的所述二维平面，所述二维平面具有特定分辨率；所述处理电路用于使用具有所述特定分辨率的所述感兴趣区域来确定一个段流。在一个示例中，所述媒体描述信息包括投影指示，所述投影指示表示从球面到平面的投影方法。在另一个示例中，所述媒体描述信息包括球面坐标系统内的地理信息，以表示空域上所述不同覆盖。在一个实施例中，所述处理电路用于检测所述感兴趣区域的变化，并确定所述一个或者多个段流的更新以响应所述变化。本专利技术的各个方面提供一种用于图像渲染的方法。所述方法包括接收媒体数据的媒体描述信息。所述媒体数据包括用于视频内容的在空域上具有不同覆盖的多个段流，所述媒体描述信息表示所述多个段流的在空域上的所述不同覆盖。更进一步，所述方法包含基于用于图像生成的感兴趣区域以及所述多个段流的在空域上的所述不同覆盖确定一个或者多个段流，在所述一个或者多个段流中选择多个段，发送所述选择的多个段的请求，接收所述选择的多个段以及显示基于所述选择的多个段所生成的多个图像。附图说明将结合下面的附图对被提供作为示例的本专利技术的各种实施例进行详细描述，其中相同的符号表示相同的元件，以及其中：图1是根据本专利技术实施例的媒体系统100的方框图。图2A-2B是根据本专利技术实施例的媒体表示描述的示例。图3-7是根据本专利技术实施例的适应集的示例。图8是根据本专利技术实施例的示出一种动态自适应流的示例的示意图。图9是根据本专利技术实施例的示出一种处理示例900的流程图。具体实施方式图1示出了根据本专利技术实施例的媒体系统100的方框图。该媒体系统包括源系统110、传输系统150和耦接在一起的渲染系统160。该源系统110用于获取用于三维环境的媒体数据，并适当地封装该媒体数据。该传输系统150用于将来自于该源系统110的已封装的媒体数据传输到该渲染系统160。该渲染系统160用于根据该媒体数据渲染模拟的三维环境。根据本专利技术的一方面，该源系统110用于生成用于该媒体数据内的视频内容的在空域内具有不同覆盖(例如，区域覆盖、质量覆盖)的段流(segmentstream)，且在描述文件中包含段流的空域信息，例如，媒体展现描述(mediapresentationdescription，MPD)文件。该传输系统150用于存储该描述文件、用于视频内容的段流以及其他合适的媒体数据。此外，该渲染系统160可以下载该描述文件，并基于空间要求(例如，用于图像生成的感兴趣区域)和段流的空域信息来确定一个或者多个段流。进一步地，该渲染系统160可以从该一个或者多个段流中选择段，并请求来自于该传输系统150的已选择的段。当该渲染系统160接收该已选择的段，该渲染系统160可以基于该已选择的段生成感兴趣区域的图像。使用任何合适的技术可以实现该源系统110。在一个示例中，在一个设备封装中组装该源系统100的元件。在另一个示例中，该源系统110是一个分布式系统，该源系统110的元件可以被设置在不同位置，并适当耦接在一起，例如，通过有线连接/无线连接。在图1的示例中，该源系统110包括耦接在一起的获取设备112、处理电路120(例如，包括图像处理电路、音频处理电路等)、存储器115以及接口电路111。该获取设备112用于获取各种媒体数据，如三维环境的图像、视频、声音等。该获取设备112可以具有任何适当的配置。在一个示例中，该获取设备112包括具有多个摄像机的摄像设备(未示出)，如具有两个鱼眼(fisheye)摄像机的成像系统、具有四个摄像机的四面体成像系统、具有六个摄像机的立体成像系统、具有八个摄像机的八面成像系统、具有二十个摄像机的二十面成像系统等，其用于拍摄环绕空间内的各个方向的图像和/或视频。在一个实施例中，由该多个摄像机拍摄的图像和/或视频是重叠的且可以被缝合，以提供比单个摄像机更大覆盖的环绕空间。在一个示例中，由该多个摄像机拍摄的图像和/或视频可以提供该整个环绕空间的360°球面覆盖。应注意，由该多个摄像机拍摄的图像和/或视频可以提供小于360°球面覆盖的环绕空间。可以适当地将获取设备112所获取的媒体数据进行存储或者缓存，例如，在存储器115内。处理电路120可以访问存储器115、处理该媒体数据以及以合适的格式封装该媒体数据。然后，将已封装的媒体数据进行存储或者缓存，例如，在存储器115内。在一个实施例中，处理电路120包括音频处理路径，其用于处理音频数据，并且包括图像/视频处理路径，其用于处理图像/视频数据。该处理电路120然后根据合适的格式对该音频、图像和视频数据与元数据(met本文档来自技高网...

【技术保护点】
一种装置，其特征在于，包括：接口电路，用于接收媒体数据的媒体描述信息，其中所述媒体数据包括用于视频内容的在空域上具有不同覆盖的多个段流，所述媒体描述信息表示所述多个段流的在空域上的所述不同覆盖；处理电路，用于基于用于图像生成的感兴趣区域以及所述多个段流的在空域上的所述不同覆盖确定一个或者多个段流，在所述一个或者多个段流中选择多个段，以及使得所述接口电路请求和接收所述选择的多个段；以及显示设备，用于显示基于所述选择的多个段所生成的多个图像。

【技术特征摘要】
【国外来华专利技术】2016.07.14 US 62/362,078;2016.07.20 US 62/364,364;1.一种装置，其特征在于，包括：接口电路，用于接收媒体数据的媒体描述信息，其中所述媒体数据包括用于视频内容的在空域上具有不同覆盖的多个段流，所述媒体描述信息表示所述多个段流的在空域上的所述不同覆盖；处理电路，用于基于用于图像生成的感兴趣区域以及所述多个段流的在空域上的所述不同覆盖确定一个或者多个段流，在所述一个或者多个段流中选择多个段，以及使得所述接口电路请求和接收所述选择的多个段；以及显示设备，用于显示基于所述选择的多个段所生成的多个图像。2.如权利要求1中所述的装置，其特征在于，所述多个段流分别对应于自球面的已投影的平面的多个子图像区域。3.如权利要求2中所述的装置，其特征在于，所述媒体描述信息包括用于多个子图像区域的多个部分，并且在用于所述多个子图像区域的所述多个部分中分别包括地理信息；所述处理电路用于基于用于所述多个子图像区域的所述多个部分中的所述地理信息确定所述一个或者多个段流。4.如权利要求3中所述的装置，其特征在于，一个部分包括对应于所述地理信息的多个段流和不同比特率的多个表示；所述处理电路用于确定满足比特率要求的比特率的表示。5.如权利要求1中所述的装置，其特征在于，所述媒体描述信息至少用于表示第一段流和第二段流，所述第一段流和所述第二段流覆盖至少部分具有不同分辨率的所述感兴趣区域；所述处理电路用于基于质量要求从所述第一段流和所述第二段流中的一个切换到另一个。6.如权利要求1中所述的装置，其特征在于，所述媒体描述信息用于表示所述多个段流对应于自球面到柏拉图立体的已投影面；所述处理电路用于确定对应于各自已投影面的所述一个或者多个段流。7.如权利要求1中所述的装置，其特征在于，所述多个段流对应于二维平面内具有不同区域的所述二维平面，所述二维平面具有特定分辨率；所述处理电路用于使用具有所述特定分辨率的所述感兴趣区域来确定一个段流。8.如权利要求1中所述的装置，其特征在于，所述媒体描述信息包括投影指示，所述投影指示表示从球面到平面的投影方法。9.如权利要求1中所述的装置，其特征在于，所述媒体描述信息包括球面坐标系统内的地理信息，以表示空域上所述不同覆盖。10.如权利要求1中所述的装置，其特征在于，所述处理电路用于检测所述感兴趣...

【专利技术属性】
技术研发人员：赖柏霖，刘杉，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71