一种音视频同步处理装置及方法制造方法及图纸

本发明专利技术提供一种音视频同步处理装置，包括：解封装装置，用于将不同的音视频文件解析为相应的音频帧序列和视频帧序列；封装装置，用于通过获取前一顺序的音频帧序列和视频帧序列与后一顺序的音频帧序列和视频帧序列的时间戳之间的差值，调整所述前一顺序的音频帧序列和视频帧序列的时间戳和后一顺序的音频帧序列和视频帧序列的时间戳，使得所述前一顺序的音频帧序列和视频帧序列与后一顺序的音频帧序列和视频帧序列同步，并调整后的音频帧序列和视频帧序列进行封装。本发明专利技术还提供一种音视频同步处理方法。

【技术实现步骤摘要】

本专利技术涉及音视频文件处理
，尤其涉及。技术背景: 在将多个视频文件合并时，由于视频帧与音频帧之间固有的时长差的存在，某一文件的结尾处和下一文件的开始处会发生音频帧相对提前或延后的现象，这将直接导致视频在播放时发生音画不同步。而且这种“对不齐”的现象会产生累积效应，合并的文件越多，发生音画不同步的现象就越明显。也就是说，在音视频文件处理中，经常需要从若干个不同格式的音视频文件中各截取一段或几段，并重新 拼合成新的某种格式的音视频文件。因此，在截取音视频片段时，在截取出的片段的头部或尾部，音频帧和视频帧之间存在时间差。这样，在若干片段拼合后，累积的音视频之间的时间差会更明显，造成非常明显的音视频不同步。如图1所示，两个片段拼合后，第二个片段的音频被向前移动了大约一个音频帧的时长。如果对多个片段进行合并，后面的片段的音视频不同步的情况将会更加明显。本专利技术正是要解决音视频片段在拼合时产生的音视频不同步的问题。
技术实现思路
: 本专利技术的范围只由后附权利要求书所规定，在任何程度上都不受这一节
技术实现思路
的陈述所限。鉴于现有技术中存在的问题，本专利技术提供一种音视频同步处理装置，包括:解封装装置，用于将不同的音视频文件解析为相应的音频帧序列和视频帧序列；封装装置，用于通过获取前一顺序的音频帧序列和视频帧序列与后一顺序的音频帧序列和视频帧序列的时间戳之间的差值，调整所述前一顺序的音频帧序列和视频帧序列的时间戳和后一顺序的音频帧序列和视频帧序列的时间戳，使得所述前一顺序的音频帧序列和视频帧序列与后一顺序的首频巾贞序列和视频巾贞序列同步，并调整后的首频巾贞序列和视频巾贞序列进行封装。优选地，所述封装装置包括时间戳调节单元，所述时间戳调节单元根据所述前一顺序的音频帧序列和视频帧序列与所述后一顺序的音频帧序列和视频帧序列的时间戳之间的差值计算所要插入或删除的静音帧数量。优选地，所述时间戳调节单元在拼合所述前一顺序的音频帧序列和视频帧序列与所述后一顺序的音频帧序列和视频帧序列时，用以下公式计算并取整所要插入或删除的静音帧数量:(TVn TAn) (TV0 TA。)/TSa，其中，TVn为后一序列的第一视频帧在直接拼合后的时间戳，TAn为后一序列的第一音频巾贞在直接拼合后的时间戳，TV。为后一序列的第一视频帧在拼合前的原始时间戳，TA。为后一序列的第一音频帧在拼合前的原始时间戳，TSa为单个音频帧的时长。优选地，所述时间戳调节单元在前一次计算音频帧调整的数量后，保存得到的整数与计算值的差值Z ;并在后一次计算出的音频帧调整的数量上加上差值Z后再取整。优选地，音视频数据解码装置，用于将所述视频帧序列中的视频帧还原为RAW格式的视频数据以及将所述音频帧序列中的音频帧还原为PCM格式的音频数据；编码装置，通过对所述RAW格式的视频数据和所述PCM格式的音频数据进行编码，获得经重新编码后的视频帧序列和经重新编码后的音频帧序列。本专利技术还提供一种音视频同步处理方法，包括:解封装步骤，将不同的音视频文件解析为相应的首频巾贞序列和视频巾贞序列；封装步骤，通过获取如一顺序的首频巾贞序列和视频帧序列与后一顺序的音频帧序列和视频帧序列的时间戳之间的差值，调整所述前一顺序的音频帧序列和视频帧序列的时间戳和后一顺序的音频帧序列和视频帧序列的时间戳，使得所述如一顺序的首频巾贞序列和视频巾贞序列与后一顺序的首频巾贞序列和视频巾贞序列同步，并调整后的首频巾贞序列和视频巾贞序列进行封装。优选地，在所述封装步骤中，根据所述前一顺序的音频帧序列和视频帧序列与所述后一顺序的音频帧序列和视频帧序列的时间戳之间的差值计算所要插入或删除的静音帧数量。优选地，在所述封装步骤中，在拼合所述前一顺序的音频帧序列和视频帧序列与所述后一顺序的音频帧序列和视频帧序列时，用以下公式计算并取整所要插入或删除的静音帧数量:(TVn TAn) (TV0 TA。)/TSa，其中，TVn为后一序列的第一视频帧在直接拼合后的时间戳，TAn为后一序列的第一音频巾贞在直接拼合后的时间戳，TV。为后一序列的第一视频帧在拼合前的原始时间戳，TA。为后一序列的第一音频帧在拼合前的原始时间戳，TSa为单个音频帧的时长。优选地，在所述封装步骤中，在前一次计算音频帧调整的数量后，保存得到的整数与计算值的差值Z ;并在后一次计算出的音频帧调整的数量上加上差值Z后再取整。优选地，音视频数据解码步骤，将所述视频帧序列中的视频帧还原为RAW格式的视频数据以及将所述音频帧序列中的音频帧还原为PCM格式的音频数据； 编码步骤，通过对所述RAW格式的视频 数据和所述PCM格式的音频数据进行编码，获得经重新编码后的视频帧序列和经重新编码后的音频帧序列。本专利技术技术方案的处理是通过在两个视频片段之间插入或删除一个或多个静音帧，使得第二个片段中音视频之间的时间差大大减小。将新生成的时间戳与原时间戳进行比较，当差值大于一个音频帧的时长时，就在其间插入一个或两个静音帧，当差值小于一个音频帧的时长时，就删除一个或两个音频帧。插入或删除的数量根据差值的大小而定。从而能够保证音频帧与视频帧在合并之后，它们之间的时间戳的差与合并之前的对应值大致相等，即两个差值的间隔小于一个音频帧的时长(这种区别对于人耳来说是分辨不出来的)。这样就将音视频之间的时间差控制在很低的水平，可以达到用户分辨不出有时间差存在的效果。附图说明图1为现有技术中两个视频片段拼合情况的示意 图2为本专利技术实施方式涉及的多个视频文件合并处理装置的结构框 图3为本专利技术实施方式涉及的多个视频文件合并处理装置的封装模块的结构框 图4为本专利技术实施方式涉及的音视频文件的合并处理过程的流程 图5为本专利技术实施方式涉及的对视频帧序列和音频帧序列进行封装的步骤S15的流程图；图6为进行同步调整后而合并的视频帧序列和音频帧序列； 图7为图5中对第一个音视频序列的头部进行音频帧调整处理的步骤S152的流程； 图8为图5中对两段音视频序列进行拼合时的步骤S157的处理流程。具体实施例方式下面根据附图所示实施方式阐述本项专利技术。本专利技术实施方式所涉及的处理装置用于将多个音视频文件进行截取和拼合，形成一个新的音视频文件。图2显示了本专利技术实施方式涉及的多个视频文件合并处理装置的结构框图。如图2所示，上述多个视频文件合并处理装置包括音视频数据接收模块1、解封装模块2、音视频数据解码模块3、编码模块4、封装模块5、存储模块6和数据总线7。上述音视频数据接收模块1、解封装模块2、音视频数据解码模块3、编码模块4、封装模块5和存储模块6通过数据总线7连接。上述音视频数据接收模块I用·于接收需要进行合并的具有不同音视频数据(例如音视频文件I和音视频文件2)，并将所接收的上述音视频数据输送至上述解封装模块2进行相应的解封装。上述解封装模块2从上述音视频数据接收模块I接收到上述音视频数据后，根据所收到的上述音视频数据的相应文件格式进行解封装。在上述解封装过程中，上述解封装模块2将不同的音视频文件分别解释为各自相应的视频帧序列和音频帧序列。然后，上述解封装模块2将解封装后获得的上述视频帧序列和音频帧序列输送至上述音视频数据解码模块3进行相应的解码。上述音视频数据解码模块3从上述解封装模块2接收到上本文档来自技高网...

【技术保护点】
一种音视频同步处理装置，包括：解封装装置，用于将不同的音视频文件解析为相应的音频帧序列和视频帧序列；封装装置，用于通过获取前一顺序的音频帧序列和视频帧序列与后一顺序的音频帧序列和视频帧序列的时间戳之间的差值，调整所述前一顺序的音频帧序列和视频帧序列的时间戳和后一顺序的音频帧序列和视频帧序列的时间戳，使得所述前一顺序的音频帧序列和视频帧序列与后一顺序的音频帧序列和视频帧序列同步，并调整后的音频帧序列和视频帧序列进行封装。

【技术特征摘要】
2013.03.29 CN 201310106968.81.一种音视频同步处理装置，包括: 解封装装置，用于将不同的音视频文件解析为相应的音频帧序列和视频帧序列； 封装装置，用于通过获取如一顺序的首频巾贞序列和视频巾贞序列与后一顺序的首频巾贞序列和视频帧序列的时间戳之间的差值，调整所述前一顺序的音频帧序列和视频帧序列的时间戮和后一顺序的首频巾贞序列和视频巾贞序列的时间戮，使得所述如一顺序的首频巾贞序列和视频帧序列与后一顺序的音频帧序列和视频帧序列同步，并调整后的音频帧序列和视频帧序列进行封装。2.根据权利要求1所述的装置，其特征在于: 所述封装装置包括时间戳调节单元，所述时间戳调节单元根据所述前一顺序的音频帧序列和视频帧序列与所述后一顺序的音频帧序列和视频帧序列的时间戳之间的差值计算所要插入或删除的静音帧数量。3.根据权利要求2所述的装置，其特征在于: 所述时间戳调节单元在拼合所述前一顺序的音频帧序列和视频帧序列与所述后一顺序的音频帧序列和视频帧序列时，用以下公式计算并取整所要插入或删除的静音帧数量:[(TVn TAn) (TV0 TA0) ] /TSa, 其中，TVn为后一序列的第一视频巾贞在直接拼合后的时间戳，TAn为后一序列的第一音频帧在直接拼合后的时间戳，TV。为后一序列的第一视频帧在拼合前的原始时间戳，TA。为后一序列的第一音频帧在拼合前的原始时间戳，TSa为单个音频帧的时长。4.根据权利要求3所述的装置，其特征在于: 所述时间戳调节单元在前一次计算音频帧调整`的数量后，保存得到的整数与计算值的差值Z ;并在后一次计算出的音频帧调整的数量上加上差值Z后再取整。5.根据权利要求1 4任一所述的装置，还包括: 音视频数据解码装置，用于将所述视频帧序列中的视频帧还原为RAW格式的视频数据以及将所述音频帧序列中的音频帧还原为PCM格式的音频数据； 编码装置，通过对所述RAW格式的视频数据和所述PCM格...

【专利技术属性】
技术研发人员：武悦，
申请(专利权)人：天脉聚源北京传媒科技有限公司，
类型：发明
国别省市：