音频数据处理方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种音频数据处理方法、装置、电子设备和存储介质，该方法包括：从缓存模块中读取音频数据；确定所述音频数据是否为待校正时间戳的音频数据；若是，则从所述第一功能模块读取第一参数，所述第一参数用于指示所述音频数据的初始时间戳；根据所述音频数据的初始时间戳，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳。本发明专利技术能够对音频数据的时间戳进行校正，实现音画同步。

【技术实现步骤摘要】
音频数据处理方法、装置、电子设备和存储介质
本专利技术涉及音频数据处理
，尤其涉及一种音频数据处理方法、装置、电子设备和存储介质。
技术介绍
智能终端能够实现播放音视频文件的功能，其中，智能终端中的多媒体同步功能是为了让视频数据、音频数据等多个多媒体数据中具有相同时间戳(presentationtimestamp，pts)的多媒体数据在同一时刻被播放出来，即实现音画同步。Gstreamer是目前通用的实现多媒体同步功能的开源多媒体框架，其使用Gstaudioringbuffer模块对音频数据进行缓存，通过对音频数据的传输提供时钟实现音画同步控制。为了降低传输音视频数据时对整机性能的过渡消耗，提出了一种新的音视频播放模式：隧道模式(TunnelMode)。采用这种模式播放音视频文件时，Gstaudioringbuffer模块中存储的音频数据不携带有时间戳信息；需要Gstaudioflingersink模块根据Gstaudioringbuffer模块中缓存的音频数据的参数计算出音频数据的时间戳，对音频数据增加额外的头部信息，头部信息中包含计算获取的时间戳；Gstaudioflingersink模块将包含有头部信息的音频数据传输给AudioTrack模块，使得AudioTrack模块根据时间戳信息实现音视频的同步播放。但这种音视频的播放模式，在用户对智能终端播放的音视频进行切换音轨(如将中文切换为英文)对音视频进行播放时，Gstaudioringbuffer模块要进行销毁和重建，其中缓存的音频数据的参数相应发生改变；若Gstaudioflingersink模块直接根据Gstaudioringbuffer模块中重建后的音频数据的参数进行时间戳的计算，该时间戳与切换音轨前的音频数据的时间戳存在误差，进而造成音画不同步。
技术实现思路
本专利技术提供一种音频数据处理方法、装置、电子设备和存储介质，能够对音频数据的时间戳进行校正，实现音画同步。本专利技术的第一方面提供一种音频数据处理方法，应用于第二功能模块，所述第二功能模块用于对待发送给音频模块的音频数据添加时间戳，所述方法包括：从缓存模块中读取音频数据；确定所述音频数据是否为待校正时间戳的音频数据；若是，则从所述第一功能模块读取第一参数，所述第一参数用于指示所述音频数据的初始时间戳；根据所述音频数据的初始时间戳，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳。可选的，所述确定所述音频数据是否为待校正时间戳的音频数据，包括：判断所述音频数据是否为所述缓存模块重建完成后传输的第一帧音频数据；若是，则确定所述音频数据为待校正时间戳的音频数据。可选的，所述判断所述音频数据是否为所述缓存模块重建完成后传输的第一帧音频数据之前，所述方法还包括：从所述第一功能模块读取第二参数，所述第二参数用于指示所述缓存模块处于重建完成状态。可选的，所述判断所述音频数据是否为所述缓存模块重建完成后传输的第一帧音频数据之后，还包括：若否，则判断所述音频数据是否为所述缓存模块清空缓存后传输的第一帧音频数据；若是，则确定所述音频数据为待校正时间戳的音频数据。可选的，所述判断所述音频数据是否为所述缓存模块清空缓存后传输的第一帧音频数据之前，所述方法还包括：接收通知消息，所述通知消息用于指示所述缓存模块处于清空缓存状态。可选的，所述根据所述音频数据的初始时间戳，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳，包括：将所述音频数据的初始时间戳作为所述音频数据校正后的时间戳。可选的，所述根据所述音频数据的初始时间戳，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳，包括：确定所述音频数据的时间戳估算值；根据所述音频数据的时间戳估算值和所述音频数据的初始时间戳，确定所述音频数据的时间戳校正值；根据所述音频数据的时间戳估算值和所述音频数据的时间戳校正值，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳。可选的，所述根据所述音频数据的时间戳估算值和所述音频数据的初始时间戳，确定所述音频数据的时间戳校正值，包括：将所述音频数据的时间戳估算值与所述音频数据的初始时间戳相减得到的差值，作为所述音频数据的时间戳校正值。可选的，所述根据所述音频数据的时间戳估算值和所述音频数据的时间戳校正值，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳，包括：将所述音频数据的时间戳估算值和所述音频数据的时间戳校正值相加，得到所述音频数据校正后的时间戳。可选的，所述根据所述音频数据的时间戳估算值和所述音频数据的初始时间戳，确定所述音频数据的时间戳校正值之后，所述方法还包括：将所述音频数据的时间戳校正值作为所述音频数据所在分段的其他音频数据的时间戳校正值，对所述其他音频数据的时间戳进行校正。可选的，所述得到所述音频数据校正后的时间戳之后，所述方法还包括：在所述音频数据中添加头信息，所述头信息包括：所述音频数据校正后的时间戳；将添加头信息后的音频数据发送给所述音频模块。本专利技术的第二方面提供一种音频数据处理方法，应用于第一功能模块，所述第一功能模块用于向缓存模块写入音频数据，其特征在于，所述方法包括：接收音频数据，所述音频数据包括所述音频数据的初始时间戳；确定所述音频数据是否为待校正时间戳的音频数据；若是，则根据所述音频数据的初始时间戳设置第一参数，所述第一参数用于指示所述音频数据的初始时间戳。可选的，所述确定所述音频数据是否为待校正时间戳的音频数据，包括：判断所述音频数据是否为所述缓存模块重建完成后传输的第一帧音频数据；若是，则确定所述音频数据为待校正时间戳的音频数据。可选的，所述判断所述音频数据是否为所述缓存模块重建完成后传输的第一帧音频数据之前，所述方法还包括：对所述缓存模块进行重建；在所述缓存模块重建完成后设置第二参数，所述第二参数用于指示所述缓存模块处于重建完成状态。可选的，所述判断所述音频数据是否为所述缓存模块重建完成后传输的第一帧音频数据之后，还包括：若否，则判断所述音频数据是否为所述缓存模块清空缓存后传输的第一帧音频数据；若是，则确定所述音频数据为待校正时间戳的音频数据。可选的，所述判断所述音频数据是否为所述缓存模块清空缓存后传输的第一帧音频数据之前，所述方法还包括：接收通知消息，所述通知消息用于指示所述缓存模块处于清空缓存状态。本专利技术的第三方面提供一种音频数据处理装置，包括：读取单元，用于从缓存模块中读取音频数据；判断单元，用于确定所述音频数据是否为待校正时间戳的音频数据；所述读取单元，具体用于若所述音频数据为待校正时间戳的音频数据，则从所述第一功能模块读取第一参数，所述第一参数用于指示所述音频数据的初始时间戳；校正单元，用于根据所述音频数据的初始时间戳，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳。可选的，所述判断单元，还用于判断所述音频数据是否为所述缓存模块重建完成后传输的第一帧音频数据。可选的，所述装置还包括：确定单元；所述确定单元，用于若所述音频数据为所述缓存模块重建完成后传输的第一帧音频数据，则确定所述音频数据为待校正时间戳的音频数据。可选的，所述读取单元，还用于从所述第一功能模块读取第二参数，所述第二参数用于指示所述缓存模块处于重建完成状态。可选的，所述本文档来自技高网...

【技术保护点】
1.一种音频数据处理方法，应用于第二功能模块，所述第二功能模块用于对待发送给音频模块的音频数据添加时间戳，其特征在于，所述方法包括：从缓存模块中读取音频数据；确定所述音频数据是否为待校正时间戳的音频数据；若是，则从第一功能模块读取第一参数，所述第一参数用于指示所述音频数据的初始时间戳；根据所述音频数据的初始时间戳，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳。

【技术特征摘要】
1.一种音频数据处理方法，应用于第二功能模块，所述第二功能模块用于对待发送给音频模块的音频数据添加时间戳，其特征在于，所述方法包括：从缓存模块中读取音频数据；确定所述音频数据是否为待校正时间戳的音频数据；若是，则从第一功能模块读取第一参数，所述第一参数用于指示所述音频数据的初始时间戳；根据所述音频数据的初始时间戳，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳。2.根据权利要求1所述的方法，其特征在于，所述确定所述音频数据是否为待校正时间戳的音频数据，包括：判断所述音频数据是否为所述缓存模块重建完成后传输的第一帧音频数据；若是，则确定所述音频数据为待校正时间戳的音频数据。3.根据权利要求2所述的方法，其特征在于，所述判断所述音频数据是否为所述缓存模块重建完成后传输的第一帧音频数据之前，所述方法还包括：从所述第一功能模块读取第二参数，所述第二参数用于指示所述缓存模块处于重建完成状态。4.根据权利要求2所述的方法，其特征在于，所述判断所述音频数据是否为所述缓存模块重建完成后传输的第一帧音频数据之后，还包括：若否，则判断所述音频数据是否为所述缓存模块清空缓存后传输的第一帧音频数据；若是，则确定所述音频数据为待校正时间戳的音频数据。5.根据权利要求4所述的方法，其特征在于，所述判断所述音频数据是否为所述缓存模块清空缓存后传输的第一帧音频数据之前，所述方法还包括：接收通知消息，所述通知消息用于指示所述缓存模块处于清空缓存状态。6.根据权利要求1所述的方法，其特征在于，所述根据所述音频数据的初始时间戳，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳，包括：将所述音频数据的初始时间戳作为所述音频数据校正后的时间戳。7.根据权利要求1所述的方法，其特征在于，所述根据所述音频数据的初始时间戳，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳，包括：确定所述音频数据的时间戳估算值；根据所述音频数据的时间戳估算值和所述音频数据的初始时间戳，确定所述音频数据的时间戳校正值；根据所述音频数据的时间戳估算值和所述音频数据的时间戳校正值，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳。8.根据权利要求7所述的方法，其特征在于，所述根据所述音频数据的时间戳估算值和所述音频数据的初始时间戳，确定所述音频数据的时间戳校正值，包括：将所述音频数据的时间戳估算值与所述音频数据的初始时间戳相减得到的差值，作为所述音频数据的时间戳校正值。9.根据权利要求8所述的方法，其特征在于，所述根据所述音频数据的时间戳估算值和所述音频数据的时间戳校正值，校正所述音频数据的时间戳，得到所述音频数据校正后的时间戳，包括：将所述音频数据的时间戳估算值和所述音频数据的时间戳校正值相加，得到所述音频数据校正后的时间戳。10.根据权利要求7所述的方法，其特征在于，所述根据所述音频数据的时间戳估算值和所述音频数据的初始时间戳，确定所述音频数据的时间戳校正值之后，所述方法还包括：将所述音频数据的时间戳校正值作为所述音频...

【专利技术属性】
技术研发人员：陈春晓，
申请(专利权)人：青岛海信电器股份有限公司，
类型：发明
国别省市：山东,37