内容串流系统及方法技术方案

根据本发明专利技术的一实施例，提供一种内容串流系统和方法，包括：编码部，生成不同帧网格数据及动态数据，并将所述网格数据变换为几何图像，对标记有所述动态数据的几何图像(Geometry Image)进行编码来生成第一串流数据；传送量控制部，基于网络带宽，选择拖放(drop)所述几何图像的拖放帧，在所述第一串流数据中将所述拖放帧的几何图像拖放来生成第二串流数据；解码部，对所述第二串流数据进行解码，并将解码的第二串流数据的几何图像变换为网格数据，通过插补(interpolation)生成所述拖放帧的网格数据。

Content stream system and method

According to an embodiment of the invention, a content stream system and method are provided, including: a coding unit, generating different frame grid data and dynamic data, and converting the grid data into geometric images, encoding a geometric image (Geometry Image) that marks some dynamic data to generate first stream data; The quantity control unit, based on the network bandwidth, selects a drag and drop frame of the geometric image described in drop, and drag and drop the geometric image of the drag and drop frame to generate second stream data in the first stream data, decode the second stream data, and transform the geometric image of the second stream data of the decoding code into a geometric image. Grid data is generated by interpolation (interpolation) to generate grid data of the drag and drop frames.

【技术实现步骤摘要】
内容串流系统及方法
本专利技术涉及内容串流系统及方法，更详细地涉及考虑通信网的带宽来控制传送量，在控制传送量的过程中，可通过利用动态数据的插补来恢复在控制传送量的过程中拖放的数据的4D内容串流系统及方法。
技术介绍
最近随着增强现实及虚拟现实市场备受瞩目，相关技术正在研究中。但是，用于体现增强现实及虚拟现实的硬盘技术在急速发展，不过，相关的内容未能丰富地供给，这被判断为市场激活的最大限制。尤其是，以实际人物为主的内容因制作方法的难度，制作十分受限制。并且，制作的内容也是因数据大小比以往的视频数据更大而在实际应用上有很大难度。
技术实现思路
本专利技术的目的在于，提供通过考虑通信网的带宽来控制传送量，并可通过利用动态数据的插补来恢复在控制传送量的过程中拖放的数据的4D内容串流方法。并且，本专利技术的另一目的在于，应用以往的基于视频的基础设施(infrastructure)，可串流能够表现实际人物的3维动态的4D内容。并且，本专利技术的另一目的在于，在串流4D数据时，利用基于动态数据的插补，从而提高串流的数据的准确度。根据本专利技术的一实施例，提供一种内容串流系统，其包括：编码部，生成不同帧的网格数据及动态数据，并将所述网格数据变换为几何图像，对标记有所述动态数据的几何图像(GeometryImage)进行编码来生成第一串流数据；传送量控制部，基于网络带宽，选择拖放(drop)所述几何图像的拖放帧，在所述第一串流数据中将所述拖放帧的几何图像拖放来生成第二串流数据；解码部，对所述第二串流数据进行解码，并将解码的第二串流数据的几何图像变换为网格数据，插补(interpolation)所述拖放帧的网格数据来生成。在本专利技术中，标记在所述拖放的几何图像的动态数据有可能不从所述拖放帧中拖放。在本专利技术中，所述解码部基于与所述拖放帧相邻的帧的网格数据及所述拖放帧的动态数据，可插补所述拖放帧的网格数据来生成。在本专利技术中，所述拖放帧在除了与所述动态数据中动态大的动态数据对应的关键帧之外可被选择。在本专利技术中，所述拖放帧可以是和所述关键帧相邻的帧。在本专利技术中，所述编码部可包括：网格数据获取部，获取不同帧的所述网格数据；动态数据获取部，获取与不同帧的所述网格数据对应的所述动态数据；关键帧设定部，将与所述动态数据中动态大的动态数据对应的帧设定为关键帧；几何图像变换部，将所述网格数据变换为所述几何图像；动态数据标记部，在所述几何图像标记(tagging)所述动态数据；编码器，对标记有所述动态数据的几何图像进行编码来生成所述第一串流数据。在本专利技术中，所述解码部可包括：解码器，对所述第二串流数据进行解码；几何图像提取部，从解码的数据中提取几何图像；网格数据变换部，将提取的几何图像变换为网格数据；网格数据插补部，基于所述拖放帧的动态数据及与所述拖放帧相邻的帧的网格数据，插补与所述拖放帧对应的网格数据来生成。在本专利技术中，所述网格数据插补部利用与所述相邻的帧的网格数据对应的动态数据，通过融合变形(BlendShape)方法，可插补所述拖放帧的网格数据来生成。根据本专利技术的另一实施例，提供一种内容串流方法，其包括：编码步骤，生成不同帧的网格数据及动态数据，并将所述网格数据变换为几何图像，对标记有所述动态数据的几何图像(GeometryImage)进行编码来生成第一串流数据；传送量控制步骤，基于网络带宽，选择拖放(drop)所述几何图像的拖放帧，在所述第一串流数据中将所述拖放帧的几何图像拖放来生成第二串流数据；解码步骤，对所述第二串流数据进行解码，并将解码的第二串流数据的几何图像变换为网格数据，插补(interpolation)所述拖放帧的网格数据来生成。在本专利技术中，标记在所述拖放的几何图像的动态数据有可能不从所述拖放帧中拖放。在本专利技术中，所述解码步骤基于与所述拖放帧相邻的帧的网格数据及所述拖放帧的动态数据，可插补所述拖放帧的网格数据来生成。在本专利技术中，所述拖放帧在除了与所述动态数据中动态大的动态数据对应的关键帧之外可被选择。在本专利技术中，所述拖放帧可以是和所述关键帧相邻的帧。在本专利技术中，所述编码步骤可包括：网格数据获取步骤，获取不同帧的所述网格数据；动态数据获取步骤，获取与不同帧的所述网格数据对应的所述动态数据；关键帧设定步骤，将与所述动态数据中动态大的动态数据对应的帧设定为关键帧；几何图像变换步骤，将所述网格数据变换为所述几何图像；动态数据标记步骤，在所述几何图像标记(tagging)所述动态数据。在本专利技术中，所述解码步骤包括：几何图像提取步骤，从解码的数据中提取几何图像；网格数据变换步骤，将提取的几何图像变换为网格数据；网格数据插补步骤，基于所述拖放帧的动态数据及与所述拖放帧相邻的帧的网格数据，插补与所述拖放帧对应的网格数据来生成。在本专利技术中，所述网格数据插补步骤利用与所述相邻的帧的网格数据对应的动态数据，通过融合变形(BlendShape)方法，可插补所述拖放帧的网格数据来生成。根据本专利技术，应用以往的基于视频的基础设施(infrastructure)，可串流能够表现实际人物的3维动态的4D内容。并且，根据本专利技术，在串流4D数据时，利用基于动态数据的插补，从而可提高串流的数据的准确度。附图说明图1为表示本专利技术一实施例的内容串流系统的结构的图。图2为将本专利技术的一实施例的内容串流系统表示为框图的图。图3为用于说明本专利技术的一实施例的内容串流系统关于第一串流数据的串流过程的图。图4为用于说明本专利技术的一实施例的内容串流系统关于第二串流数据的串流过程的图。图5为时序地表示本专利技术的一实施例的内容串流方法的图。图6为时序地表示本专利技术的一实施例的内容串流方法的一步骤的图。图7为时序地表示本专利技术的一实施例的内容串流方法的一步骤的图。附图标记说明100：内容串流系统；110：编码部；120：传送量控制部；130：解码部；20：摄像机；30：输出终端；40：通信网。具体实施方式后述的对本专利技术的详细说明，参照例示本专利技术可实施的特定实施例的附图。详细说明这种实施例，使得本专利技术所属技术人员能够充分地实施本专利技术。本专利技术的多种实施例不同，但应当理解相互无需排他。例如，记载于本说明书的特定形状、结构及特性不超过本专利技术的精神和范围的同时可由一实施例变更为其他实施例来实现。并且，应当理解各个实施例内的个别结构要素的位置或配置也不超过本专利技术的精神和范围的同时可变更。因此，后述的详细说明并不是限定的意思，本专利技术的范围包括权利要求书的权项要保护的范围及其等同的所有范围。附图中类似的附图标记在多种角度上表示相同或类似的结构要素。以下，为了令本专利技术所属
的普通技术人员容易实施本专利技术，参照附图详细说明本专利技术的多个实施例。图1为表示本专利技术一实施例的内容串流系统的结构的图。参照图1，本专利技术一实施例的内容串流系统100包括一个以上的4D摄像机20、输出终端30、通信网40、编码部110、传送量控制部120及解码部130。首先，摄像机20可以是由用于拍摄4D(4-dimension)内容的多个摄像机构成的摄像机组。在意味着立体影像的3D影像加上时轴的4D内容可被称作3D视频。本专利技术的一实施例的摄像机20可由多台的多视点摄像机构成，生成在多台的多视点摄像机同步化的时间内拍摄被拍摄体的视频，从而可生成4D内容。尤本文档来自技高网...

【技术保护点】
一种内容串流系统，其特征在于，包括：编码部，生成不同帧的网格数据及动态数据，并将所述网格数据变换为几何图像，对标记有所述动态数据的几何图像进行编码来生成第一串流数据；传送量控制部，基于网络带宽，选择拖放所述几何图像的拖放帧，在所述第一串流数据中将所述拖放帧的几何图像拖放来生成第二串流数据；解码部，对所述第二串流数据进行解码，并将解码的第二串流数据的几何图像变换为网格数据，插补所述拖放帧的网格数据来生成。

【技术特征摘要】
2016.10.21 KR 10-2016-01377041.一种内容串流系统，其特征在于，包括：编码部，生成不同帧的网格数据及动态数据，并将所述网格数据变换为几何图像，对标记有所述动态数据的几何图像进行编码来生成第一串流数据；传送量控制部，基于网络带宽，选择拖放所述几何图像的拖放帧，在所述第一串流数据中将所述拖放帧的几何图像拖放来生成第二串流数据；解码部，对所述第二串流数据进行解码，并将解码的第二串流数据的几何图像变换为网格数据，插补所述拖放帧的网格数据来生成。2.根据权利要求1所述的内容串流系统，其特征在于，标记在拖放的所述几何图像的动态数据不从所述拖放帧中拖放。3.根据权利要求1所述的内容串流系统，其特征在于，所述解码部基于与所述拖放帧相邻的帧的网格数据及所述拖放帧的动态数据，插补所述拖放帧的网格数据来生成。4.根据权利要求1所述的内容串流系统，其特征在于，所述拖放帧在除了与所述动态数据中动态大的动态数据对应的关键帧之外被选择。5.根据权利要求4所述的内容串流系统，其特征在于，所述拖放帧是和所述关键帧相邻的帧。6.根据权利要求1所述的内容串流系统，其特征在于，所述编码部包括：网格数据获取部，获取不同帧的所述网格数据；动态数据获取部，获取与不同帧的所述网格数据对应的所述动态数据；关键帧设定部，将与所述动态数据中动态大的动态数据对应的帧设定为关键帧；几何图像变换部，将所述网格数据变换为所述几何图像；动态数据标记部，在所述几何图像标记所述动态数据；编码器，对标记有所述动态数据的几何图像进行编码来生成所述第一串流数据。7.根据权利要求1所述的内容串流系统，其特征在于，所述解码部包括：解码器，对所述第二串流数据进行解码；几何图像提取部，从解码的数据中提取几何图像；网格数据变换部，将提取的几何图像变换为网格数据；网格数据插补部，基于所述拖放帧的动态数据及与所述拖放帧相邻的帧的网格数据，插补与所述拖放帧对应的网格数据来生成。8.根据权利要求7所述的内容串流系统，其特征在于，所述网格数据插补部利用与...

【专利技术属性】
技术研发人员：李相烨，
申请(专利权)人：弗勒克斯普拉内特有限公司，
类型：发明
国别省市：韩国,KR