视频复用设备和方法、复用视频解码设备和方法技术

提供一种视频复用设备和方法、复用视频解码设备和方法。视频复用设备包括：控制单元，确定用于视频数据中的每个画面和用于第一媒体数据的每个编码单位的第一解码/显示时间信息和第二解码/显示时间信息；视频分组生成单元，为视频数据的编码数据附加用于画面的第一解码/显示时间信息和第二解码/显示时间信息；以及媒体分组生成单元，为第一媒体数据的编码数据附加用于编码单位的第一解码/显示时间信息和第二解码/显示时间信息。在视频数据的解码单位是画面时使用第一解码/显示时间信息，并在解码单位是子画面时使用第二解码/显示时间信息。基于第二解码/显示时间信息的画面显示时间早于基于第一解码/显示时间信息的画面显示时间。

【技术实现步骤摘要】
视频复用设备和方法、复用视频解码设备和方法
这里讨论的实施例涉及用于从视频数据和其它媒体数据生成复用数据的视频复用设备和视频复用方法，并且还涉及用于对复用数据进行解码的复用视频解码设备和复用视频解码方法。
技术介绍
通常，在数字视频广播中，采用在ISO/IEC13818-1“Informationtechnology-Genericcodingofmovingpicturesandassociatedaudioinformation:Systems,”2006中定义的MPEG-2系统标准中指定的数字复用方案作为一个视频和音频数据复用标准。图1是示意性地示出以MPEG-2系统指定的TS（传输流）格式来对视频和音频数据进行复用的视频复用设备的配置的图。视频复用设备100包括视频编码单元101、视频分组生成单元102、音频编码单元103、音频分组生成单元104、控制单元105、系统分组生成单元106、以及分组复用单元107。视频编码单元101根据预定编码方法例如ISO/IEC14496-10“Informationtechnology-Codingofaudio-visualobjects-Part10:AdvancedVideoCoding,”2010中定义的AVC标准，对输入视频数据进行编码和压缩。视频分组生成单元102将编码和压缩视频数据分组成PES（分组基本流）分组。PES分组格式为：对于视频数据中的每个或每预定数量的画面附加承载画面显示时间等的PES头。被分组成PES分组的视频数据进一步被分组成每个具有188字节的固定长度的TS分组。TS分组格式为：TS头附加到包含PES分组被分割成的数据的TS载荷。TS头包含载荷标识信息PID。TS头还承载例如用于再现视频复用设备100的系统时钟（STC）值的节目时间参考（PCR）值。PCR值必须根据在TS流（TS分组流）中的插入位置（字节位置）严格地确定。为此，在视频分组生成单元102和分组复用单元107之间交换必要信息。音频编码单元103根据预定编码方法例如在ISO/IEC13818-7“Informationtechnology-Genericcodingofmovingpicturesandassociatedaudioinformation-Part7:AdvancedAudioCoding(AAC),”2006中定义的MPEG-2AAC标准，对输入音频数据进行编码和压缩。音频分组生成单元104将编码和压缩音频数据分组成PES分组和TS分组。音频PES分组格式为：对于每一个音频帧（1024个样本）附加PES头。控制单元105控制视频编码设备100的操作。控制单元105具有提供用于同步控制的参考时钟的27-MHzSTC。控制单元105通过取得输入视频数据的垂直同步信号V-Sync定时的STC值，确定每个画面的显示时间。还通过取得输入音频数据中的音频帧的第一采样定时处的STC值来确定每个音频帧的再现时间。系统分组生成单元106生成TS分组，其将节目指定信息（PSI）存储为系统信息。PSI包括：承载复用节目的列表的节目相关表（PAT）、承载每个节目中的视频或音频数据的PID的节目映射表（PMT）等。PAT的PID被指定为“0”。分组复用单元107将从视频分组生成单元102输出的视频TS分组、从音频分组生成单元104输出的音频TS分组、以及从系统分组生成单元106输出的系统TS分组复用在一起。因此分组复用单元107产生TS流，该TS流被输出。通过符合在MPEG-2系统标准中定义的系统目标解码器（STD）规范，执行分组的复用。例如，对视频TS分组进行复用，使得每个视频TS分组将在早于PES头指定的显示时间的时间到达STD。图2是示意性地示出如下复用视频解码设备的配置的图：该复用视频解码设备对以MPEG-2系统指定的TS格式复用的视频和音频数据进行解码，并且在再现音频数据的同时显示视频数据。复用视频解码设备200包括分组去复用单元201、系统分组处理单元202、控制单元203、视频分组处理单元204、视频解码单元205、音频分组处理单元206、以及音频解码单元207。分组去复用单元201与系统分组处理单元202结合，基于每个TS分组的头信息，识别包含在TS分组的载荷部分中的数据的类型。然后，分组去复用单元201在将PSI信息传递到系统分组处理单元202的同时，将视频PES分组传递到视频分组处理单元204并且将音频PES分组传递到音频分组处理单元206。此外，分组去复用单元201将在TS头中承载的PCR值连同其字节位置信息一起传递到控制单元203。系统分组处理单元202分析在系统TS分组的载荷部分中承载的PSI信息，获取在要解码的节目中包含的视频和音频数据的PID，并且将PID传递到分组去复用单元201。视频分组处理单元204提取从分组去复用单元201接收的视频TS分组的载荷中存储的每个视频PES分组的载荷中包含的编码视频数据，并且将编码视频数据传递到视频解码单元205。此外，视频分组处理单元204将从PES分组头取得的画面显示时间等传递到控制单元203。音频分组处理单元206提取从分组去复用单元201接收的音频TS分组的载荷中存储的每个音频PES分组的载荷中包含的编码音频数据，并且将编码音频数据传递到音频解码单元207。此外，音频分组处理单元206将从PES分组头取得的音频帧显示时间等传递到控制单元203。如同控制单元105，控制单元203具有27MHz参考时钟STC。控制单元203基于从分组去复用单元201接收的PCR值来对STC值进行解码，并且执行用于同步的处理。当分别从视频分组处理单元204和音频分组处理单元206接收的画面显示时间和音频帧显示时间等于STC值时，控制单元203分别指示视频解码单元205和音频解码单元207执行解码。视频解码单元205和音频解码单元207均根据来自控制单元203的解码指示对画面或音频帧进行解码，并且分别输出解码画面或解码音频帧。
技术实现思路
在ISO/IEC13818-1“Informationtechnology-Genericcodingofmovingpicturesandassociatedaudioinformation:Systems,”2006中定义的MPEG-2系统标准中，使用出现时间戳（PTS）来描述视频和音频数据的显示时间。PTS是被分配给视频数据中的一个或更多个画面以及音频数据中的一个或更多个音频帧的、具有90kHz的分辨率的时间信息。在MPEG-2系统标准中定义的STD规范中，当不存在在双向画面预测时需要的帧重排时，编码视频数据中的每个画面被瞬时解码并且在PTS指定的时间被显示。换言之，解码时间与显示时间相同。复用数据中的每个编码视频画面需要被复用，使得画面的所有编码数据将在早于PTS指定的时间的时间处传送到复用视频解码设备。另一方面，当需要帧重排时，由于解码时间与显示时间不同，因此通过使用解码时间戳（DTS）、在编码视频数据中明确地指示解码时间。在这种情况下，复用数据中的每个编码视频画面需要被复用，使得画面的所有编码数据将在早于DTS指定的时间的时间处传送到复用视频解码设备。在编码效率比消本文档来自技高网...

【技术保护点】
一种用于对视频数据连同除了视频之外的第一媒体数据进行复用的视频复用设备，所述视频复用设备包括：控制单元，其对于所述视频数据中的每个画面和对于所述第一媒体数据的每个编码单位，确定各自用于确定所述画面和所述编码单位的解码时间和显示时间的第一解码/显示时间信息和第二解码/显示时间信息；视频分组生成单元，其为承载所述视频数据的编码数据的视频分组附加用于所述画面的第一解码/显示时间信息和第二解码/显示时间信息；媒体分组生成单元，其为承载所述第一媒体数据的编码数据的媒体分组附加用于所述编码单位的第一解码/显示时间信息和第二解码/显示时间信息；分组复用单元，其通过对所述视频分组和所述媒体分组进行复用来生成数据流，并且输出所述数据流，其中第一解码/显示时间信息包括如下信息：所述信息指示在所述视频数据的解码单位是画面时、以同步方式显示所述视频数据和所述第一媒体数据的时间，第二解码/显示时间信息包括如下信息：所述信息指示在所述视频数据的解码单位是通过将画面划分成多个子画面获得的子画面时、以同步方式显示所述视频数据和所述第一媒体数据的时间，以及基于所述第二解码/显示时间信息确定的所述画面的解码时间和显示时间早于基于所述第一解码/显示时间信息确定的所述画面的解码时间和显示时间。...

【技术特征摘要】
2013.01.16 JP 2013-0057641.一种用于对视频数据连同除了视频之外的第一媒体数据进行复用的视频复用设备，所述视频复用设备包括：控制单元，其对于所述视频数据中的每个画面和对于所述第一媒体数据的每个编码单位，确定各自用于确定所述画面和所述编码单位的解码时间和显示时间的第一解码/显示时间信息和第二解码/显示时间信息；视频分组生成单元，其为承载所述视频数据的编码数据的视频分组附加用于所述画面的第一解码/显示时间信息和第二解码/显示时间信息；媒体分组生成单元，其为承载所述第一媒体数据的编码数据的媒体分组附加用于所述编码单位的第一解码/显示时间信息和第二解码/显示时间信息；分组复用单元，其通过对所述视频分组和所述媒体分组进行复用来生成数据流，并且输出所述数据流，其中第一解码/显示时间信息包括如下信息：所述信息指示在所述视频数据的解码单位是画面时、以同步方式显示所述视频数据和所述第一媒体数据的时间，第二解码/显示时间信息包括如下信息：所述信息指示在所述视频数据的解码单位是通过将画面划分成多个子画面获得的子画面时、以同步方式显示所述视频数据和所述第一媒体数据的时间，以及基于所述第二解码/显示时间信息确定的所述画面的解码时间和显示时间早于基于所述第一解码/显示时间信息确定的所述画面的解码时间和显示时间。2.根据权利要求1所述的视频复用设备，其中，当所述视频数据的解码单位是所述子画面时，所述分组复用单元对所述视频分组和所述媒体分组进行复用，以便确保对于所述视频数据中的每个画面，与所述画面中的第一子画面对应的编码数据和与所述画面对应的第一媒体数据的编码单位的编码数据将在比基于所述第二解码/显示时间信息确定的所述画面的解码时间更早的时间或与基于所述第二解码/显示时间信息确定的所述画面的解码时间相同的时间到达用于对所述数据流进行解码的解码设备。3.根据权利要求2所述的视频复用设备，其中，用于所述画面的第二解码/显示时间信息包括指示对所述子画面进行解码所需的子画面解码时间的信息，并且基于所述第二解码/显示时间信息确定的所述画面的解码时间比基于所述第一解码/显示时间信息确定的所述画面的解码时间早通过从对整个画面进行解码所需的时间减去所述子画面解码时间而获得的时间量。4.根据权利要求3所述的视频复用设备，其中，所述第二解码/显示时间信息包括指示将如下时间作为所述画面的显示时间的信息：所述时间比基于所述第二解码/显示时间信息确定的所述画面的解码时间晚对从所述画面中的第一子画面开始的两个子画面进行解码所需的时间量。5.根据权利要求1所述的视频复用设备，其中，所述视频分组生成单元为所述视频分组附加作为所述第二解码/显示时间信息的、指示所述画面中的第一子画面的解码时间和显示时间的信息。6.根据权利要求1所述的视频复用设备，其中，所述视频分组生成单元为所述视频分组附加作为所述第二解码/显示时间信息的、指示用于每个子画面的解码时间和显示时间的信息。7.一种用于对如下复用数据进行解码的复用视频解码设备，所述复用数据是通过对编码视频数据连同除了视频之外的编码第一媒体数据复用而生成的，所述复用视频解码设备包括：控制单元，其对于所述复用数据中包含的、所述视频数据中的每个画面和所述第一媒体数据的每个编码单位，基于各自用于确定所述画面和所述编码单位的解码时间和显示时间的第一解码/显示时间信息和第二解码/显示时间信息，确定解码时间和显示时间；视频解码单元，其对于每个画面，根据对于所述画面确定的解码时间开始对所述画面进行解码，并且根据对于所述画面确定的显示时间开始对所述画面进行显示；以及媒体解码单元，其对于每个编码单位，根据对于所述编码单位确定的解码时间开始对所述编码单位进行解码，并且根据对于所述编码单位确定的显示时间开始对所述编码单位进行输出，其中所述第一解码/显示时间信息包括如下信息：所述信息指示当所述视频数据的解码单位是画面时、以同步方式显示所述视频数据和所述第一媒体数据的时间，所述第二解码/时间信息包括如下信息：所述信息指示当所述视频数据的解码单位是通过将画面划分成多个子画面而获得的子画面时、以同步方式显示所述视频数据和所述第一媒体数...

【专利技术属性】
技术研发人员：数井君彦，岛田智史，小山纯平，小林俊辅，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP