一种异构网络下的多媒体时钟协调同步方法技术

本发明专利技术提供了一种异构网络下的多媒体时钟协调同步方法，该方法针对现有多媒体系统和协议缺乏多时钟兼容的机制，造成异构融合网络中无法精确整合不同网络中内容和服务的问题，采用数据封装模块、数据发送模块、数据接收模块、数据解析与呈现模块，通过增加多媒体时钟协调同步机制实现异构网络下兼容多种网络时钟同步机制，采用统一的封装格式多媒体数据，提供不同时钟的对应关系的信令表，既利于整合多种网络资源，提高异构融合网络下多媒体服务的丰富性和稳定性，也便于多媒体内容的统一管理，减少因时钟同步机制不同而造成的数据重复封装和处理的时间和资源浪费，给用户带来更好的服务体验。

【技术实现步骤摘要】

本专利技术涉及一种在异构网络中实现多媒体时钟协调同步的机制，更具体的说，涉及一种在双向网与单向网组成的混合、异构网络中实现全网的多媒体时钟协调与同步的机制。
技术介绍
随着数字多媒体技术的成熟和普遍应用，尤其是高清晰度、高分辨率数字视频业务的广泛深入发展，用户体验到了更好的数字媒体服务的同时，也对数字媒体业务提出了更高的要求。由于数字媒体技术的广泛应用，多媒体节目中流间同步和流内同步问题也日益凸显。更为重要的是，在现有的以广播电视网络为代表的单向网与以宽带网络为代表的双向网中，采用了不同的多媒体时间同步机制和协议，造成两种网络多媒体服务不兼容，使用户不能享受到异构融合网络业务带来的优势和便利。当前大多数多媒体协议都定义了各自的一套完整的时间同步机制，能够在可接受范围内比较成功地解决协议内多媒体系统时钟同步问题，如数字电视领域常用的MPEG2-TS协议采用27M系统时钟STC(System Time Clock)结合媒体流中PCR(Program Clock Reference)与PTS(Presentation Time Stamp)信息进行多媒体业务的时钟同步；宽带网络中常见的HTTP、RTP协议中采用协调世界时UTC(Coordinated Universal Time)结合统一的网络时间协议NTP(Network Time Protocol)时戳完成多媒体业务的时钟同步。虽然如此，考虑到大众用户不关心多媒体业务的具体技术，只关注服务质量和效果，所以在实际情况中用户往往处于异构混合网络中，并且希望享受到无差别、稳定的多媒体服务。问题在于不同网络系统，或者说不同协议中时钟同步机制的不兼容性，造成用户同一时间只能享受某一种业务，而无法享受异构混合网络带来的更广泛的媒体业务和更高质量的媒体服务。多网融合已经成为趋势，不同网络具有各自优势、相辅相成，异构融合网络本应为用户提供更好的服务，然而不同的时钟同步机制使得这一目标难以实现，多媒体系统难以精确匹配、整合不同网络中的内容和服务。另一方面，数字媒体资源的丰富性满足了用户日益增长的媒体消费需求，媒体资源
之间的内容关联也为媒体资源的整合提供了基础。如今多媒体服务已经不再受物理网络的限制，在不同网络中都可以享受到比较高质量的多媒体业务，但是相应产生了另一个问题，相同的数据内容在不同网络不同协议中需要封装成不同的媒体格式，不仅增加了额外的工作量，并且不同的媒体格式由于时钟信息相互不兼容造成用户必须依赖物理条件才能获取多媒体服务，不符合数字媒体消费随时、随地、任何终端、任何内容的趋势。更好的方法是，多媒体数据采用统一的封装格式，该封装格式能够兼容现有多种时钟信息，同时异构网络的多媒体系统中应该兼容双向网与单向网的时间同步机制，媒体发送端都使用基于IP(Internet Protocol)的传输协议发送数据、标定时戳，同时提供不同时钟的对应关系的信令表，客户端能够根据需要调整所采用的时钟协议和机制。例如，在宽带网络断开时，用户无法使用NTP协议完成时钟同步，但是仍然可以借助其他时钟同步协议使用广播网络观看电视节目。其困难在于：现有多媒体系统一般都是对应于某种特定网络，需要设计合理的异构混合网络下的多媒体系统，用以兼容不同网络特性；现有成熟协议都没有考虑异构网络的需求，需要按照兼容不同时钟机制的要求重新设计媒体封装格式和传输协议。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种异构网络下的多媒体时钟协调同步方法，从而增加了现有多媒体系统和协议缺乏的多时钟关联机制，解决了现有多媒体系统和协议由于同步时钟不兼容而无法提供异构融合网络关联服务的问题，并且为新一代基于IP的异构网络提供了时钟同步解决方案。为实现上述目的，本专利技术采用以下技术方案：一种异构网络下的多媒体时钟协调同步方法，所述方法采用四个模块处理：数据封装模块、数据发送模块、数据接收模块、数据解析与呈现模块，其中：所述数据封装模块，该模块将原始的多媒体数据进行统一的格式封装成为MPU数据，MPU数据包含帧级别时间戳信息，将所有媒体相关的信息封装于文件中，包括多媒体封装文件和信令文件，为数据解析与呈现模块提供必要信息，特别是标准的兼容时间戳信息；所述数据发送模块，该模块发送的数据包含时钟相关描述信令、标记时间戳的媒体数据，数据包字段格式与数据封装模块的数据格式相对应，保证数据封装模块生成的文件必要信息能够正确传送到客户端，同时为数据接收与恢复模块解包与数据恢复操作提
供标准格式；所述数据接收与恢复模块，该模块接收、恢复媒体数据与信令信息，校准接收端本地时钟，将数据封装模块与发送模块提供的各种媒体信息在本地进行正确恢复，指导数据解析与呈现模块实现正确地输出与呈现；所述数据解析与呈现模块，该模块解析信令表时钟相关信息，引导解码器正确解码与浏览器呈现，通过数据发送模块和数据接收与恢复模块，该模块将数据封装模块包含的文件内容以及相关信令控制由接收端完整正确呈现，将本系统的优势直观地展现给用户。优选的，所述数据封装模块，其中：MPU格式基于ISOBMFF(ISO Base Media File Format)，在此基础上增加新的盒子类型，同时分为时序数据和非时序数据，对所有的原始数据类型进行统一格式的封装，其中时序数据主要封装音视频源数据，除了媒体轨道外添加新的提示轨道，并在提示轨道样本中提供媒体内容的PTS时钟信息，而非时序数据的编码和呈现与时钟不相关，所以不需要设置PTS时钟信息；PTS时钟信息由编码器时钟源计算得到，这样在媒体数据封装成MPU格式时已经在数据帧级别对应PTS时钟信息。优选的，所述数据发送模块，其中MMT的传输协议部分各字段都与统一媒体封装格式MPU的时序数据字段相一致，达到多媒体数据存储与传输的一致性和快速转换，传送多媒体数据的同时，NTP服务也在进行，接收端本地时钟被进行周期性校正，能够防止误差时间的累积效应，保证多媒体服务的质量。优选的，所述数据发送模块，在接收端不满足NTP服务运行的条件时，利用MMT协议中的CRI信令表，提供NTP与PCR的对应关系，接收端通过接受流中的NTP时戳依据此表换算出PCR信息，从而校正本地的时钟，达到时钟同步与多媒体同步，CRI信令表周期性更新，保证全网络时钟的精确同步。优选的，所述数据接收与恢复模块，用得到的媒体流中的NTP时钟或者时钟时间戳用来校正接收端的时钟，使全网的时间同步，同时，媒体数据中的帧级别呈现时间戳引导解码器进行正确地解码。优选的，所述数据解析与呈现模块，在处于断网状态时，按照STC机制进行时钟同步：解析CRI信令表得到PCR信息，校正本地的系统时钟，同时利用媒体数据中的帧级别PTS信息知道解码器解码；若处于联网状态，则忽略数据中的PCR与PTS信息，采用NTP协议进行时钟同步：接收端利用NTP服务定期校正本地时钟，利用媒体流中
的时间线管理机制引导解码器解码。与现有技术相比，本专利技术具有如下的有益效果：采用本专利技术的技术方案，可以针对现有多媒体系统和协议缺乏多时钟兼容的机制，造成异构融合网络中无法精确整合不同网络中内容和服务的问题，通过增加多媒体时钟协调同步机制实现异构网络下兼容多种网络时钟同步机制，采本文档来自技高网...

【技术保护点】
一种异构网络下的多媒体时钟协调同步方法，其特征在于，所述方法采用四个模块处理：数据封装模块、数据发送模块、数据接收模块、数据解析与呈现模块，其中：所述数据封装模块，该模块将原始的多媒体数据进行统一的格式封装成为MPU数据，MPU数据包含帧级别时间戳信息，将所有媒体相关的信息封装于文件中，包括多媒体封装文件和信令文件，为数据解析与呈现模块提供必要信息，特别是标准的兼容时间戳信息；所述数据发送模块，该模块发送的数据包含时钟相关描述信令、标记时间戳的媒体数据，其中数据包字段格式与数据封装模块的数据格式相对应，保证数据封装模块生成的文件必要信息能够正确传送到客户端，同时为数据接收与恢复模块解包与数据恢复操作提供标准格式；所述数据接收与恢复模块，该模块接收、恢复媒体数据与信令信息，校准接收端本地时钟，将数据封装模块与发送模块提供的各种媒体信息在本地进行正确恢复，指导数据解析与呈现模块实现正确地输出与呈现；所述数据解析与呈现模块，该模块解析信令表时钟相关信息，引导解码器正确解码与浏览器呈现，通过数据发送模块和数据接收与恢复模块，该模块将数据封装模块包含的文件内容以及相关信令控制由接收端完整正确呈现，将本系统的优势直观地展现给用户。...

【技术特征摘要】
1.一种异构网络下的多媒体时钟协调同步方法，其特征在于，所述方法采用四个模块处理：数据封装模块、数据发送模块、数据接收模块、数据解析与呈现模块，其中：所述数据封装模块，该模块将原始的多媒体数据进行统一的格式封装成为MPU数据，MPU数据包含帧级别时间戳信息，将所有媒体相关的信息封装于文件中，包括多媒体封装文件和信令文件，为数据解析与呈现模块提供必要信息，特别是标准的兼容时间戳信息；所述数据发送模块，该模块发送的数据包含时钟相关描述信令、标记时间戳的媒体数据，其中数据包字段格式与数据封装模块的数据格式相对应，保证数据封装模块生成的文件必要信息能够正确传送到客户端，同时为数据接收与恢复模块解包与数据恢复操作提供标准格式；所述数据接收与恢复模块，该模块接收、恢复媒体数据与信令信息，校准接收端本地时钟，将数据封装模块与发送模块提供的各种媒体信息在本地进行正确恢复，指导数据解析与呈现模块实现正确地输出与呈现；所述数据解析与呈现模块，该模块解析信令表时钟相关信息，引导解码器正确解码与浏览器呈现，通过数据发送模块和数据接收与恢复模块，该模块将数据封装模块包含的文件内容以及相关信令控制由接收端完整正确呈现，将本系统的优势直观地展现给用户。2.根据权利要求1所述的一种异构网络下的多媒体时钟协调同步方法，其特征在于，所述数据封装模块，其中：MPU格式基于ISOBMFF，在此基础上增加新的盒子类型，同时分为时序数据和非时序数据，对所有的原始数据类型进行统一格式的封装，其中时序数据主要封装音视频源数据，除了媒体轨道外添加新的提示轨道，并在提示轨道样本中提供媒体内容的PTS时钟信息，而非时序数据的编码和呈现与时钟不相关，所以不需要设置PTS时钟信息；P...

【专利技术属性】
技术研发人员：张文军，徐异凌，孙军，管云峰，张小云，柳宁，陈浩，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31