一种基于时间戳的多路音视频流同步解码方法技术

本发明专利技术提供一种基于时间戳的多路音视频流同步解码方法，其包括如下步骤：(a)通过全景摄像机获取多路视频流，同时通过音频采集器获取单路音频流；(b)对每一路视频流和单路音频流进行预处理；(c)通过基于时间戳的同步解码算法对预处理后的多路视频流和单路音频流进行同步排序解码。

A method for synchronous decoding of multiple audio video streams based on time stamp

The invention provides a synchronous decoding method of multi-channel audio and video stream based on time stamp, which comprises the following steps: (a) through the panoramic camera to acquire the video at the same time, through the audio acquire single channel audio stream; (b) for each video stream and audio stream pretreatment; (c) synchronization of multi-channel video stream decoding by sequencing after pretreatment and single channel audio stream synchronization decoding algorithm based on time stamp.

【技术实现步骤摘要】
一种基于时间戳的多路音视频流同步解码方法
本专利技术涉及计算机编解码技术和计算机图形学技术，特别涉及一种基于时间戳的多路音视频流同步解码方法。
技术介绍
拼接式全景摄像机的成像过程是指将多个摄像头按照空间位置关系，固定安装在支架上，每个摄像头可以独立、高清地捕捉固定角度的图像。全景图像拼接技术是将不同相机在不同的时间、不同方向拍摄的图像，拼接到同一坐标系下进行全景展示。基于多摄像头的360度全景视频拼接，必须考虑到摄像头的个数，摄像头的个数越多，视频同步采集以及视频编解码的负荷量越大，同时增加了全景拼接融合的次数。由于多路拼接式全景摄像机的硬件设备无法做到精确的视频同步采集，若直接对采集后的多路H.264视频流和PCM音频流进行同时解码，无法保证音视频之间的同步以及视频间图像显示的时间同步性，拼接后的全景图像容易出现影像重叠现象。
技术实现思路
针对上述难题，本专利技术提供一种基于时间戳的多路音视频流同步解码方法。本专利技术提供一种基于时间戳的多路音视频流同步解码方法，其包括如下步骤：(a)通过全景摄像机获取多路视频流，同时通过音频采集器获取单路音频流；(b)对每一路视频流和单路音频流进行预处理；(c)通过基于时间戳的同步解码算法对预处理后的多路视频流和单路音频流进行同步排序解码。步骤(a)具体为通过拼接式全景摄像机采集同一时间、不同方向的多路视频流，其中视频流的格式为H.264；同时通过音频采集器获取对应的拍摄场景的PCM音频流。步骤(b)具体包括以下步骤：(b1)划分对每一路视频流的每一帧图像进行划分，得到多个h264图像包，并获取每一h264图像包的包长；(b2)对所述单路PCM音频流进行划分得到PCM音频包，并获取PCM音频包的包长；(b3)在每一个h264图像包和PCM音频包添加附加信息，用于解码识别。所述步骤(b3)具体为：首先，在每一个h264图像包以及PCM音频包前均添加包头信息、时间戳信息以及包长信息，其中，所述包头信息用于每一路视频流中不同h264图像包/PCM音频包之间的划分和辨别，所述时间戳信息代表该帧图像拍摄时的时间点/每个PCM音频包的录制时间，所述包长信息用于记录该h264图像包/PCM音频包的存储长度；其次，以多路H.264格式的视频流和单路PCM音频流为基础建立多路PES视频流和单路PEA音频流，PES视频流和PEA音频流的文件内容排序为：包头信息、时间戳信息、包长信息、h264图像包/PCM音频包，其中，h264图像包来源于H.264格式的视频流的内容，h264图像包为每一帧图像经过H.264编码后得到，PCM音频包来源于PCM音频流的内容。步骤(c)具体包括以下步骤：(c1)初始化多路PES视频流和单路PEA音频流同步解码的时间条件；(c2)对单路PES视频流按时间戳信息进行解码并渲染；(c3)按照步骤(c2)的处理方式循坏处理完每一路PES视频流，每处理完一次即可渲染得到一组同步的视频流图像；(c4)对单路PEA音频流按时间戳信息进行解码并播放，以实现该时间点下的音视频同步；(c5)更新解码渲染的时间点，重复步骤(c1)至步骤(c3)，完成下一组音视频流的刷新。所述步骤(c1)具体为：初始化解码时间T以及更新渲染时间Δt。所述步骤(c2)具体为：首先，读取该路PES视频流的最近一个未解码的h264图像包对应的时间戳信息Tn，将时间戳信息Tn与T进行比较，若Tn<T，则对该h264图像包进行解码；然后，依次判断每一个未解码的h264图像包，对所有小于T的h264图像包进行解码，并对最接近T的时间点的h264图像包进行图像渲染。所述步骤(c3)具体为：按照步骤(c2)的方式处理每一路PES视频流，渲染出的一组视频流图像的时间点都最接近于T，以实现图像显示的相对同步性。所述步骤(c4)具体为：首先，读取该PEA音频流的最近一个未解码的PCM音频包对应的时间戳信息Tn，将时间戳信息Tn与T进行比较，若Tn<T，则对该PCM音频包进行解码；然后，依次判断每一个未解码的PCM音频包，对所有小于T的PCM音频包进行解码，并对最接近T的时间点的PCM音频包进行音频播放。所述步骤(c5)具体为：对解码渲染的时间点按照T＝T+Δt进行更新，其中Δt小于全景摄像机的摄像头拍摄图像的时间间隔且大于0。相较于现有技术，本方法具有以下优点：第一，通过时间戳信息对多路码流进行排序解码，消除解码时间不同步的现象，实现全景画面的同步拼接以及保证音视频流的同步播放；第二，将不同相机在同一时刻不同方向拍摄的图像，进行同步显示，消除因为摄像头不同步而造成图像显示不同步的现象。第三，通过与拼接式全景摄像机相结合，实现拼接图像的同步显示，解决图像错乱的问题。附图说明图1是本专利技术所述基于时间戳的多路音视频流同步解码方法的流程图。图2为本专利技术所述基于时间戳的多路音视频流同步解码渲染算法的流程图。图3为未经过同步处理的八路视频流的全景拼接示意图。图4为本专利技术实施例所述基于时间戳的同步解码处理后的八路PES视频流的全景拼接示意图。具体实施方式下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种基于时间戳的多路音视频流同步解码方法。该方法包括如下步骤：(a)通过全景摄像机获取多路视频流，同时通过音频采集器获取单路音频流；(b)对每一路视频流和单路音频流进行预处理；(c)通过基于时间戳的同步解码算法对预处理后的多路视频流和单路音频流进行同步排序解码。在步骤(a)中，通过拼接式全景摄像机采集同一时间、不同方向的多路视频流，其中视频流的格式为H.264；同时通过音频采集器获取对应的拍摄场景的PCM音频流。在步骤(b)中，在所述H.264视频流和PCM音频流的基础上添加附加信息，建立新格式的PES视频流和PEA音频流。具体如下：(b1)划分对每一路视频流的每一帧图像进行划分，得到多个h264图像包，并获取每一h264图像包的包长；(b2)对所述单路PCM音频流进行划分得到PCM音频包，并获取PCM音频包的包长；(b3)在每一个h264图像包和PCM音频包添加附加信息，用于解码识别。所述步骤(b3)具体包括：首先，在每一个h264图像包以及PCM音频包前均添加包头信息、时间戳信息以及包长信息；其中：包头信息，五个字节的存储空间，内容为0x00,0x00,0x00,0x01,0xFF,用于每路视频流中不同h264图像包/PCM音频包之间的划分和辨别；时间戳信息，四个字节的存储空间，是一个float数据格式的实数，代表该帧图像拍摄时的时间点/每个PCM音频包的录制时间；包长信息，四个字节的存储空间，是一个int数据格式的整数，用于记录该h264图像包/PCM音频包的存储长度。其次，以多路H.264格式的视频流和单路PCM音频流为基础建立多路PES视频流和单路PEA音频流，PES视频流和PEA音频流的文件内容排序为：包头信息、时间戳信息、包长信息、h264图像包/PCM本文档来自技高网...

【技术保护点】
一种基于时间戳的多路音视频流同步解码方法，其包括如下步骤：(a)通过全景摄像机获取多路视频流，同时通过音频采集器获取单路音频流；(b)对每一路视频流和单路音频流进行预处理；(c)通过基于时间戳的同步解码算法对预处理后的多路视频流和单路音频流进行同步排序解码。

【技术特征摘要】
1.一种基于时间戳的多路音视频流同步解码方法，其包括如下步骤：(a)通过全景摄像机获取多路视频流，同时通过音频采集器获取单路音频流；(b)对每一路视频流和单路音频流进行预处理；(c)通过基于时间戳的同步解码算法对预处理后的多路视频流和单路音频流进行同步排序解码。2.一种如权利要求1所述的基于时间戳的多路音视频流同步解码方法，其特征在于，步骤(a)具体为通过拼接式全景摄像机采集同一时间、不同方向的多路视频流，其中视频流的格式为H.264；同时通过音频采集器获取对应的拍摄场景的PCM音频流。3.一种如权利要求2所述的所述的基于时间戳的多路音视频流同步解码方法，其特征在于，步骤(b)具体包括以下步骤：(b1)划分对每一路视频流的每一帧图像进行划分，得到多个h264图像包，并获取每一h264图像包的包长；(b2)对所述单路PCM音频流进行划分得到PCM音频包，并获取PCM音频包的包长；(b3)在每一个h264图像包和PCM音频包添加附加信息，用于解码识别。4.一种如权利要求3所述的基于时间戳的多路音视频流同步解码方法，其特征在于，所述步骤(b3)具体为：首先，在每一个h264图像包以及PCM音频包前均添加包头信息、时间戳信息以及包长信息，其中，所述包头信息用于每一路视频流中不同h264图像包/PCM音频包之间的划分和辨别，所述时间戳信息代表该帧图像拍摄时的时间点/每个PCM音频包的录制时间，所述包长信息用于记录该h264图像包/PCM音频包的存储长度；其次，以多路H.264格式的视频流和单路PCM音频流为基础建立多路PES视频流和单路PEA音频流，PES视频流和PEA音频流的文件内容排序为：包头信息、时间戳信息、包长信息、h264图像包/PCM音频包，其中，h264图像包来源于H.264格式的视频流的内容，h264图像包为每一帧图像经过H.264编码后得到，PCM音频包来源于PCM音频流的内容。5.一种如权利要求4所述的基于时间戳的多路音视频流同步解码方法，其特征在于，步骤(c)具体包括以下步骤：(c1...

【专利技术属性】
技术研发人员：陈春豪，肖江剑，宋康康，姜麟建，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：浙江,33