发送方法、接收方法、发送装置以及接收装置制造方法及图纸

本申请的一个方式所涉及的发送方法包括：打包步骤，对构成MP4格式的文件的(1)作为对影像信号或声音信号进行编码而得的数据的样本数据、(2)用于对样本数据进行解码的第一元数据、以及(3)包含仅能在样本数据生成后生成的数据且用于对样本数据进行解码的第二元数据分别进行打包；以及发送步骤，将打包的第一元数据、打包的样本数据以及打包的第二元数据按照此顺序进行发送。

【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及一种发送方法、接收方法、发送装置以及接收装置。
技术介绍
伴随广播以及通信服务的高度发展，研究导入8K(7680×4320像素：以下也称作“8K4K”)以及4K(3840×2160像素：以下也称作“4K2K”)等超高清的运动图像内容。接收装置需要实时解码所接收到的超高清的运动图像的编码数据并显示，尤其是，8K等的分辨率的运动图像解码时的处理负荷大，通过1个解码器实时解码这样的运动图像是困难的。因此，正在研究利用多个解码器来并行进行解码处理，由此减低每1个解码器的处理负荷并达成实时处理的方法。此外，编码数据在基于MPEG-2TS(TransportStream：传送流)或MMT(MPEGMediaTransport：运动图像专家组媒体传送)等复用方式进行复用之后被发送。例如，在非专利文献1中，公开了按照MMT按每个包发送编码的媒体数据的技术。在先技术文献非专利文献非专利文献1：Informationtechnology-Highefficiencycodingandmediadeliveryinheterogeneousenvironment-Part1：MPEGmediatransport(MMT)、ISO/IECDIS23008-1
技术实现思路
本申请的一个方式所涉及的发送方法，包括：打包步骤，对构成MP4格式的文件的(1)作为对影像信号或声音信号进行编码而得的数据的样本数据、(2)用于对所述样本数据进行解码的第一元数据、以及(3)包含仅能在所述样本数据生成后生成的数据且用于对所述样本数据进行解码的第二元数据分别进行打包；以及发送步骤，将打包的所述第一元数据、打包的所述样本数据以及打包的所述第二元数据按照此顺序进行发送。此外，本申请的一个方式所涉及的接收方法包括：接收步骤，将打包的第一元数据、打包的样本数据以及打包的第二元数据按照此顺序进行接收；重构步骤，对包含接收到的所述第一元数据、接收到的所述第二元数据以及接收到的所述样本数据的MP4格式的文件进行重构；以及解码步骤，利用所述第一元数据以及所述第二元数据对重构的所述MP4格式的文件所包含的所述样本数据进行解码，所述第二元数据包含：在发送侧仅能在所述样本数据生成后生成的数据。另外，这些整体性或者具体性的方式可通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现，也可通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。附图说明图1为表示将图片分割成切片段(slicesegment)的例子的图。图2为表示保存有图片的数据的PES包列的一例的图。图3为表示实施方式1所涉及的图片的分割例的图。图4为表示实施方式1的比较例所涉及的图片的分割例的图。图5为表示实施方式1所涉及的访问单元的数据的一例的图。图6为实施方式1所涉及的发送装置的框图。图7为实施方式1所涉及的接收装置的框图。图8为表示实施方式1所涉及的MMT包的一例的图。图9为表示实施方式1所涉及的MMT包的另一例的图。图10为表示实施方式1所涉及的输入至各解码部的数据的一例的图。图11为表示实施方式1所涉及的MMT包以及头信息的一例的图。图12为表示实施方式1所涉及的输入至各解码部的数据的另一例的图。图13为表示实施方式1所涉及的图片的分割例的图。图14为实施方式1所涉及的发送方法的流程图。图15为实施方式1所涉及的接收装置的框图。图16为实施方式1所涉及的接收方法的流程图。图17为表示实施方式1所涉及的MMT包以及头信息的一例的图。图18为表示实施方式1所涉及的MMT包以及头信息的一例的图。图19为表示MPU的构成的图。图20为表示MF元数据的构成的图。图21为用于说明数据的发送顺序的图。图22为表示不利用头信息进行解码的方法的例子的图。图23为实施方式2所涉及的发送装置的框图。图24为实施方式2所涉及的发送方法的流程图。图25为实施方式2所涉及的接收装置的框图。图26为用于确定MPU开头位置以及NAL单元位置的动作的流程图。图27为基于发送顺序类型取得初始化信息，并基于初始化信息解码媒体数据的动作的流程图。图28为设定低延迟提示模式时的接收装置的动作的流程图。图29为表示发送辅助数据时的MMT包的发送顺序的一例的图。图30为用于说明发送装置基于moof的构成生成辅助数据的例子的图。图31为用于说明辅助数据的接收的图。图32为利用辅助数据的接收动作的流程图。图33为表示由多个电影分片构成的MPU的构成的图。图34为用于说明传送图33的构成的MPU时的MMT包的发送顺序的图。图35为用于说明由多个电影分片构成1个MPU时的接收装置的动作例的第1图。图36为用于说明由多个电影分片构成1个MPU时的接收装置的动作例的第2图。图37为通过图35以及图36说明了的接收方法的动作的流程图。图38为表示将非VCLNAL单元个别地作为dataunit并进行聚合的情况的图。图39为表示将非VCLNAL单元汇总地作为dataunit的情况的图。图40为发生丢包时的接收装置的动作的流程图。图41为将MPU分割为多个电影分片时的接收动作的流程图。图42为表示实现时间可适性时的各TemporalId下的图片的预测结构的例子的图。图43为表示图42的各图片的解码时刻(DTS)与显示时刻(PTS)的关系的图。图44为表示需要图片的延迟处理以及重新排序处理的图片的预测结构的一例的图。图45为表示将以MP4形式构成的MPU分割为多个电影分片并保存到MMTP有效载荷、MMTP包中的例子的图。图46为用于说明PTS以及DTS的算出方法与问题的图。图47为利用用于算出DTS的信息算出DTS时的接收动作的流程图。图48为表示发送装置的构成的另一例子的图。图49为表示接收装置的构成的另一例子的图。具体实施方式本申请的一个方式所涉及的发送方法包括：打包步骤，对构成MP4格式的文件的(1)作为对影像信号或声音信号进行编码而得的数据的样本数据、(2)用于对所述样本数据进行解码的第一元数据、以及(3)包含仅能在所述样本数据生成后生成的数据且用于对所述样本数据进行解码的第二元数据分别进行打包；以及发送步骤，将打包的所述第一元数据、打包的所述样本数据以及打包的所述第二元数据按照此顺序进本文档来自技高网...

【技术保护点】
一种发送方法，包括：打包步骤，对构成MP4格式的文件的(1)作为对影像信号或声音信号进行编码而得的数据的样本数据、(2)用于对所述样本数据进行解码的第一元数据、以及(3)包含仅能在所述样本数据生成后生成的数据且用于对所述样本数据进行解码的第二元数据分别进行打包；以及发送步骤，将打包的所述第一元数据、打包的所述样本数据以及打包的所述第二元数据按照此顺序进行发送。

【技术特征摘要】
【国外来华专利技术】2014.12.02 JP 2014-244503;2013.12.16 US 61/916,4001.一种发送方法，包括：
打包步骤，对构成MP4格式的文件的(1)作为对影像信号或声音信号
进行编码而得的数据的样本数据、(2)用于对所述样本数据进行解码的第
一元数据、以及(3)包含仅能在所述样本数据生成后生成的数据且用于对
所述样本数据进行解码的第二元数据分别进行打包；以及
发送步骤，将打包的所述第一元数据、打包的所述样本数据以及打包
的所述第二元数据按照此顺序进行发送。
2.如权利要求1所述的发送方法，
仅能在所述样本数据生成后生成的数据，是所述MP4格式中的mdat
所保存的数据之中除了所述样本数据以外的数据的至少一部分。
3.如权利要求1或2所述的发送方法，
所述第一元数据为MPU元数据即媒体处理单元元数据，
所述第二元数据为电影分片元数据。
4.如权利要求1～3中任一项所述的发送方法，
在所述打包步骤中，按照MMT即运动图像专家组媒体传送方式进行打
包。
5.一种接收方法，包括：
接收步骤，将打包的第一元数据、打包的样本数据以及打包的第二元
数据按照此顺序进行接收；
重构步骤，对包含接收到的所述第一元数据、接收到的所述第二元数
据以及接收到的所述样本数据的MP4格式的文件进行重构；以及
解码步骤，利用所述第一元数据以及所述第二元数据，对重构的所述
MP4格式的文件所包含的所述样本数据进行解码，
所述第二元数据包含：在发送侧仅能在所述样本数据生成后生成的数
据。
6.一种发送装置，具备：
复用部，对构成MP4格式的文件的(1)作为对影像信号或声音信号进
行编码而得的数据的样本数据、(2)用于对所述样本数据进行解码的第一
元数据、以及(3)包含仅能在所述样本数据生成后生成的数据且用于对所
述样本数据进行解码的第二元数据分别进行打包；以及
发送部，将打包的所述第一元数据、打包的所述样本数据以及打包的
所述第二元数据按照此顺序进行发送。
7.一种接收装置，包括：
接收部，将打包的第一元数据、打包的样本数据以及打包的第二元数
据按照此顺序进行接收；
重构部，对包含接收到的所述第一元数据、接收到的所述第二元数据

【专利技术属性】
技术研发人员：井口贺敬，远间正真，加藤久也，
申请(专利权)人：松下电器美国知识产权公司，
类型：发明
国别省市：美国;US