处理影像序列的多种格式的传送端、接收端及方法技术

一种传送端以及一种接收端，所述传送端用于处理一影像序列的多种格式，包含有：一预处理模块，用来接收一影像序列的一第一格式，以根据该影像序列的该第一格式及该影像序列的一第二格式，产生该影像序列的该第二格式的元数据；以及一编码器，耦接于该预处理模块，用来在一位元流中传送该影像序列的该第一格式及该元数据到一接收器。

Transmitter, Receiver and Method of Processing Multiple Formats of Image Sequence

【技术实现步骤摘要】
处理影像序列的多种格式的传送端、接收端及方法
本专利技术涉及一种用于通信系统的装置及方法，特别涉及一种处理一影像序列(videosequence)的多种格式(format)的装置及方法。
技术介绍
由于多媒体服务的丰富性及发展，通过通信网络，大量的多媒体内容被传送。举例来说，当影像序列根据相同的影像来源被产生时，传送端可以传送影像序列到接收端。直接传送影像序列会消耗大量的频宽及功率。因此，有效率地传送影像序列为一亟待解决的问题。
技术实现思路
本专利技术提供了一种方法及其通信装置，用来处理一影像序列(videosequence)的多种格式(format)，以解决上述问题。本专利技术公开一种传送端，用于处理一影像序列的多种格式，包含有：一预处理模块，用来接收一影像序列的一第一格式，以根据该影像序列的该第一格式及该影像序列的一第二格式，产生该影像序列的该第二格式的元数据；以及一编码器，耦接于该预处理模块，用来在一位元流中传送该影像序列的该第一格式及该元数据到一接收器。本专利技术还公开一种接收端，用于处理一影像序列的多种格式，包含有：一解码器(decoder)，用来从一传送端接收包含有一影像序列的一第一格式及该影像序列的一第二格式的元数据的一位元流(bitstream)；以及一后处理模块(postprocessingmodule)，耦接于该解码器，用来根据该元数据及该影像序列的该第一格式，产生该影像序列的该第二格式。附图说明图1为本专利技术实施例具有可直接观看特征的基本影像的一端到端系统。图2为本专利技术实施例一传送端。图3为本专利技术实施例一传送端。图4为本专利技术实施例一接收端。图5为本专利技术实施例一传送端。图6为本专利技术实施例一传送端。图7为本专利技术实施例一接收端。图8为本专利技术实施例一传送端。图9为本专利技术实施例一接收端。图10为本专利技术实施例一高动态范围产生器。图11为本专利技术实施例一标准动态范围产生器。图12为本专利技术实施例一标准动态范围产生器。图13为本专利技术实施例基本影像色彩空间的划分的示意图。符号说明具体实施方式图1为本专利技术实施例具有可直接观看特征的基本影像的一端到端系统(end-to-endsystem)10。端到端系统10包含有传送端TX及接收端RX。详细来说，传送端TX包含有基本影像序列100、预处理模块(preprocessingmodule)110、基本影像序列的额外格式(format)112、元数据(metadata)120及编码器(encoder)130。接收端RX包含有解码器(decoder)140、基本影像序列150、元数据152、后处理模块(postprocessingmodule)160及基本影像序列的额外格式170。预处理模块110接收基本影像序列100，以及处理基本影像序列100及基本影像序列的额外格式112以产生元数据120。元数据120包含有额外信息(additionalinformation)(例如补充(supplementary)信息)，其用于根据基本影像序列100及元数据120产生基本影像序列的额外格式112。接着，在位元流180(bitstream)中，传送端TX压缩及传送基本影像序列100及元数据120到接收端RX。在接收端RX接收位元流180后，解码器140解码位元流180，以产生基本影像序列150及元数据152。若基本影像序列150被请求/订阅(subscribe)，接收端RX可简单重放(playback)(或播放(play))基本影像序列150(例如以常规方式)。若基本影像序列的额外格式170被请求/订阅，根据基本影像序列150及元数据152，后处理模块160产生基本影像序列的额外格式170。也就是说，根据元数据152，后处理模块160映射(map)基本影像序列150到基本影像序列的额外格式170。接着，接收端RX重放(或播放)基本影像序列的额外格式170。需注意的是，基本影像序列150可(例如略微)不同于基本影像序列100，例如因为有损压缩或位元流180经过的不完美通道。元数据152可(例如略微)不同于元数据120，例如因为位元流180经过的不完美通道。也就是说，基本影像序列150及元数据152未被完美地重建。在一实施例中，基本影像序列150及元数据152可分别相同于基本影像序列100及元数据120。根据前述，本专利技术提供一种用于传送两种或更多种基本影像序列的格式的单层多应用兼容解决方案。由于元数据152提供基本影像序列150及基本影像序列的额外格式170间的关系，避免了多余的(redundant)影像信息的传送。因此，可减少传送端TX的功率及频宽的消耗。根据应用，基本影像序列100及基本影像序列的额外格式170可以是但不限于以下组合中一者：标准动态范围(standarddynamicrange，SDR)/高动态范围(highdynamicrange，HDR)、高动态范围/标准动态范围或不同格式的高动态范围。需注意的是，位元流180可被本领域的解码器140无缝地(seamlessly)处理。因此，不需要对现有系统进行任何修改，以解码及播放接收的内容。当需要基本影像序列的额外格式170时，后处理模块160处理基本影像序列150及元数据152，以重建基本影像序列的额外格式170。因此，单层方法(one-layerapproach)不仅能够支持影像序列的多种格式，还能够与传统装置兼容。本专利技术提供用于在位元流180中传送基本影像序列100及基本影像序列的额外格式112的映射机制。映射机制映射基本影像序列100到基本影像序列的额外格式112(例如相同内容的影像序列的额外支持格式)，以及产生用于传送序列的元数据120。元数据120陈述基本影像序列100及基本影像序列的额外格式112间的关系，以及元数据120在解码器140中用于重建基本影像序列的额外格式170。本专利技术至少包含有优于现有技术的以下优点：(1)映射高动态范围到标准动态范围的一种新恒定亮度(constantluminance)方法。取代分别在R、G、B分量中执行高动态范围到标准动态范围转换(HDRtoSDRconversion)，本专利技术直接获得(例如计算)恒定亮度，映射恒定亮度到标准动态范围，以及使用恒定亮度以决定色度值(valueofchromaticity)。(2)三维查找表(3Dlookuptable)用于产生元数据，其用于映射基本影像序列到基本影像序列的额外格式。(3)虽然分别推导出亮度及色度，本专利技术证明这些参数可在RGB维度中一起被推导，可因此自然地保持(maintain)转换后的白点及三原色。(4)完整的标准动态范围产生过程在1/4分辨率维度中被执行，以及计算复杂性显著降低。(5)本专利技术可以实现至少以下三个应用：编码器130传送标准动态范围内容及高动态范围内容的元数据，以及解码器140及后处理模块160产生标准动态范围内容及高动态范围内容；编码器130传送高动态范围内容及标准动态范围内容的元数据，以及解码器140及后处理模块160产生高动态范围内容及标准动态范围内容；以及编码器130传送高动态范围内容及高动态范围内容的另一种格式的元数据，以及解码器140及后处理模块160产生两种格式的高动态范围内容。在以下段落中说明这些应用本文档来自技高网...

【技术保护点】
1.一种传送端，用于处理一影像序列的多种格式，包含有：一预处理模块，用来接收一影像序列的一第一格式，以根据该影像序列的该第一格式及该影像序列的一第二格式，产生该影像序列的该第二格式的元数据；以及一编码器，耦接于该预处理模块，用来在一位元流中传送该影像序列的该第一格式及该元数据到一接收器。

【技术特征摘要】
2017.11.01 US 62/579,902;2018.10.29 US 16/172,9001.一种传送端，用于处理一影像序列的多种格式，包含有：一预处理模块，用来接收一影像序列的一第一格式，以根据该影像序列的该第一格式及该影像序列的一第二格式，产生该影像序列的该第二格式的元数据；以及一编码器，耦接于该预处理模块，用来在一位元流中传送该影像序列的该第一格式及该元数据到一接收器。2.如权利要求1所述的传送端，其中该影像序列的该第一格式是标准动态范围，以及该影像序列的该第二格式是高动态范围。3.如权利要求1所述的传送端，其中该影像序列的该第一格式是高动态范围，以及该影像序列的该第二格式是标准动态范围。4.如权利要求1所述的传送端，其中该影像序列的该第一格式是高动态范围的一第一格式，以及该影像序列的该第二格式是高动态范围的一第二格式...

【专利技术属性】
技术研发人员：刘凌志，刘理，王晶，陈伍军，何晴西，浦炜，曾伟民，蔡志宏，
申请(专利权)人：瑞昱半导体股份有限公司，
类型：发明
国别省市：中国台湾,71