音频频谱实时同步方法、播放装置制造方法及图纸

本发明专利技术公开了一种音频频谱实时同步方法、播放装置，其中音频频谱实时同步方法包括步骤：提取实时音频的PCM数据；对所述PCM数据进行分析，计算每一帧所述PCM数据所占用的时间差；判断当前帧是否为第一帧；若是，则取基准时间作为第一帧PCM数据的频谱图时间戳；若否，则当前帧PCM数据的频谱图时间戳为上一帧PCM数据的频谱图时间戳与时间差之和；将生成的带时间戳的PCM频谱图根据先进先出机制与接收的所述实时音频存入缓存；输出所述实时音频及其同步的PCM频谱图。本发明专利技术可实现音频播放与其对应的频谱图实时精准同步显示。

Audio spectrum real-time synchronization method and playback device

【技术实现步骤摘要】
音频频谱实时同步方法、播放装置
本专利技术涉及音频频谱的同步技术，特别是涉及一种音频频谱实时同步的方法以及对应的播放装置。
技术介绍
随着时代的进步，人们也越来越重视视觉、音质的享受。音频信号频谱显示器因其自身的众多优点，目前在很多领域都有着广泛的涉及，传统技术下，可以基于Directshow框架在获取到PCM数据后通过简单算法处理绘制频谱图像，但是现有技术的频谱图设置不同的采样频率和采样点数会分析出同一份音频数据的不同结果，无论在时域分析或频域分析上都有影响，如对频率、相位的判断等，经常会出现频谱显示和A/V显示不一致情况，根据现有节目需求，当用户切换到某个音频节目上，或者音乐节目上，往往需要播放器能够绘出频谱给用户更好体验，或者播放器需要提供实时音量检测等功能，对音频频谱绘制准确性、实时性也有了较高的要求。因此，如何提供一种可以生成与音频数据实时同步的频谱图是业界亟待解决的技术问题。
技术实现思路
本专利技术为了解决上述现有技术中音频与其频谱图无法实时同步显示的技术问题，提出一种音频频谱实时同步方法、播放装置，本专利技术的音频频谱实时同步方法包括步骤：步骤1，提取实时音频的PCM数据；步骤2，对所述PCM数据进行分析，计算每一帧所述PCM数据所占用的时间差；步骤3，判断当前帧是否为第一帧；步骤4，若是，则取基准时间作为第一帧PCM数据的频谱图时间戳；若否，则当前帧PCM数据的频谱图时间戳为上一帧PCM数据的频谱图时间戳与时间差之和；步骤5，将生成的带时间戳的PCM频谱图根据先进先出机制与接收的所述实时音频存入缓存；步骤6，输出所述实时音频及其同步的PCM频谱图。进一步，还包括步骤：对缓存的实时音频数据的状态进行监控；判断所述缓存的实时音频数据是否中断，若是，重复所述步骤1至步骤6并在重复的过程中重新定义第一帧及其PCM数据的频谱图时间戳。例如，当用户对输出的所述实时音频执行向前或向后拖动，或者更换至另一实时音频将导致所述缓存数据出现中断。进一步，将缓存中的实时音频数据与所述PCM频谱图根据时间相同和相近的原则进行对应同步后，输出所述实时音频及其同步的PCM频谱图。上述步骤2具体包括：通过对PCM数据的数据帧流量进行统计，分析出PCM数据的帧采样频率、采样位数以及每一帧的帧大小，根据帧采样频率*采样位数*通道数/8得到比特率，再根据每一帧的帧大小/比特率得到每一帧所述PCM数据所占用的时间差。进一步，所述步骤1在所述实时音频被编解码处理后存入缓存之前执行。具体的，所述实时音频为USBDongle通过USB接口提供的MPEG2-TS流数据。本专利技术提出的播放装置，包括音频解码器和缓存器，以及与所述音频解码器和缓存器连接的抓取过滤器，所述抓取过滤器从所述音频解码器获取实时音频的PCM数据并配合所述缓存器执行上述技术方案所述的音频频谱实时同步方法。本专利技术的同步方法在播放器的音频渲染器（SoundRender）之前插入一个音频PCM数据帧分析Filter，即抓取过滤器，来提取实时音频的数据帧采样频率、采样数等，然后将对应的频谱实时绘制出来，通过插入的Filter进行数据帧流量统计，获取准确的ReferenceTime（第一帧的基准时间），并以该基准时间精确计算出每一帧数据帧对应的频谱显示时间，用于匹配当前A/V（audio音频/video视频）播放的时间，从而实现频谱图与A/V同步输出。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的结构框图。图2为本专利技术的同步处理流程图。具体实施方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。下面结合附图以及实施例对本专利技术的原理及结构进行详细说明。图1给出了本专利技术的一个具体应用场景，在该应用场景中，本专利技术提供音频数据的为USBdongle（软件保护器或适配器），USBdongle主要负责接收实时广播数据，从广播信号获取的实时节目流，本实施例具体为MPEG2-TS流。本专利技术播放装置包括播放软件以及配合的硬件，播放装置是微软公司提供的基于DirectShow框架的播放器，DirectShow是微软公司在ActiveMovie和VideoforWindows的基础上推出的新一代基于COM(ComponentObjectModel)的流媒体处理的开发包。播放软件的构成部分包括资源过滤器、解扰解复用过滤器、视频解码器和音频解码器、视频渲染器和音频渲染器、频谱图渲染器，硬件包括声卡、显卡以及缓存器等。其中，资源过滤器（SourceFilter）主要负责通过usb接口从usbdongle设备读取MPEG-2节目流数据，接收到节目流后进行解密处理后，将节目流数据推向下一级的解扰解复用过滤器（DemuxFilter）。解扰解复用过滤器（DemuxFilter）是因为由于传输流中是多节目复用流，因此需要解扰解复用过滤器传输流进行分离处理，得到当前播放节目的音视频ES流。音频解码器（AudioDecoder）主要负责音频流的编解码处理，并输出PCM数据到音频渲染器（SoundRender）。音频渲染器（SoundRender）主要负责PCM数据分析、渲染，最终输出音频。视频解码器（VideoDecoder）主要对压缩的视频图像数据进行解码处理，得到原始图像数据。视频渲染器（VideoRender）主要负责图像原始数据分析、渲染出图像并输出到屏幕。频谱图渲染器（SpectrumRender）主要用于渲染音频频谱及实现音频频谱与A/V精准同步，以准确的ReferenceTime为时间基准，通过与音频振幅图的时间戳（TS）做同步计算，从FIFO中取出正确的音频频谱图进行渲染显示。本专利技术在播放装置中增加了一个抓取过滤器，该抓取过滤器与音频解码器和缓存器连接，抓取过滤器从音频解码器获取实时音频的PCM数据并配合缓存器来实现音频频谱实时同步。具体的抓取过滤器主要用于提取PCM数据，并分析PCM数据帧提取数据帧采样频率、采样数等，首先通过FFT算法为每一帧PCM数据计算出音频振幅图，同时通过相关数据计算出每一帧PCM数据在SoundRender里面需要消耗的时间（△Time），再结合获取准确的ReferenceTime（Time0）精准地为每一帧音频振幅图标记上时间戳timestamp（TS），最后将每一帧图像数据存入一个FIFO缓存队列用于最后的同步显示。图2给出的是本专利技术的同步处理流程图。抓取过滤器在音频解码器输出实时音频的PCM数据至缓存器时抓取实时音频的PCM数据本文档来自技高网...

【技术保护点】
1.一种音频频谱实时同步方法，其特征在于，包括步骤：/n步骤1，提取实时音频的PCM数据；/n步骤2，对所述PCM数据进行分析，计算每一帧所述PCM数据所占用的时间差；/n步骤3，判断当前帧是否为第一帧；/n步骤4，若是，则取基准时间作为第一帧PCM数据的频谱图时间戳；若否，则当前帧PCM数据的频谱图时间戳为上一帧PCM数据的频谱图时间戳与时间差之和；/n步骤5，将生成的带时间戳的PCM频谱图根据先进先出机制与接收的所述实时音频存入缓存；/n步骤6，输出所述实时音频及其同步的PCM频谱图。/n

【技术特征摘要】
1.一种音频频谱实时同步方法，其特征在于，包括步骤：
步骤1，提取实时音频的PCM数据；
步骤2，对所述PCM数据进行分析，计算每一帧所述PCM数据所占用的时间差；
步骤3，判断当前帧是否为第一帧；
步骤4，若是，则取基准时间作为第一帧PCM数据的频谱图时间戳；若否，则当前帧PCM数据的频谱图时间戳为上一帧PCM数据的频谱图时间戳与时间差之和；
步骤5，将生成的带时间戳的PCM频谱图根据先进先出机制与接收的所述实时音频存入缓存；
步骤6，输出所述实时音频及其同步的PCM频谱图。


2.如权利要求1所述的音频频谱实时同步方法，其特征在于，还包括步骤：
对缓存的实时音频数据的状态进行监控；
判断所述缓存的实时音频数据是否中断，若是，重复所述步骤1至步骤6并在重复的过程中重新定义第一帧及其PCM数据的频谱图时间戳。


3.如权利要求1所述的音频频谱实时同步方法，其特征在于，将缓存中的实时音频数据与所述PCM频谱图根据时间相同和相近的原则进行对应同步后，输出所述实时音频及其同步的PCM频谱图。

<...

【专利技术属性】
技术研发人员：邓成城，刘学文，车明贤，
申请(专利权)人：国微集团深圳有限公司，
类型：发明
国别省市：广东;44