公开了一种对音频和视频信号进行同步的方法和装置。其中，该方法包括：提取视频信号中所包含的各个图像帧的帧头信息；以及，根据图像帧的帧头信息，调整音频信号的输出以便与视频信号的输出保持同步。根据本公开的方法和装置，通过提取视频信号的图像帧的信息，将对应的图像帧信息提供给音频信号，从而可以调整音频信号的输出，来确保音频的输出与视频的输出保持同步，从而提高了视听节目的质量，并且增强了用户体验。
【技术实现步骤摘要】
本公开涉及多媒体领域，具体涉及一种对音频和视频信号进行同步的方法和装置。
技术介绍
随着高清显示技术的发展，可以显示的画面的分辨率越来越高。为此，对接收到的视频信号进行图像处理以在显示器上最终显示高清画面所需的资源的性能也日益提高。例如，以目前作为显示领域的热点的4K以上分辨率的电视机或者显示器来说，大多需要采用FPGA或者性能比较强大的专用处理芯片对视频信号进行处理。然而，如图1所示，由于音频信号和视频信号是分开处理的，有可能会造成处理后的视频信号与音频信号的输出不同步的现象，导致降低了用户的观看体验。
技术实现思路
针对以上问题，本公开提出了一种对音频和视频信号进行同步的方法和装置，其在对视频信号进行处理时，将对应的图像帧信息提供给音频信号，以便可以调整音频信号的输出，使之与处理后的视频信号的输出保持同步，从而提高了视听节目的质量，并且增强了用户体验。根据本公开的一方面，提供了一种对音频和视频信号进行同步的方法，包括：提取视频信号中所包含的各个图像帧的帧头信息；以及，根据图像帧的帧头信息，调整音频信号的输出以便与视频信号的输出保持同步。根据本公开的另一方面，提供了一种对音频和视频信号进行同步的装置，包括：收发器，接收音频信号和视频信号；处理器，被配置为提取视频信号中所包含的各个图像帧的帧头信息，并且根据图像帧的帧头信息，调整音频信号的输出以便与视频信号的输出保持同步。根据本公开的方法和装置，通过提取视频信号的图像帧的信息，将对应的图像帧信息提供给音频信号，从而可以调整音频信号的输出，来确保音频的输出与视频的输出保持同步，从而提高了视听节目的质量，并且增强了用户体验。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍。显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。图1是一种已知的对视频和音频信号进行处理的系统的示意性框图。图2是根据本公开的一实施例的对音频和视频信号处理的系统的示意性框图。图3是I2S的标准时序的示意图。图4是根据I2S标准时序的一种变形的数据位右对齐的示意性时序图。图5是一种单链路的DVI接口的示意图。图6a是一种单链路TMDS通道的系统示意图。图6b是一种单链路TMDS通道上各信号映射关系的示意图。图7a是一种TMDS输入数据流的示意图。图7b是一种TMDS编码转换后的数据流的示意图。图8是根据本公开的一实施例的一种对音频和视频信号进行同步的方法的示意性流程图。图9是根据本公开的另一实施例的对音频数据进行处理的示意性的流程图。图10是根据本公开的另一实施例的一种对音频和视频信号进行同步的装置的示意图。具体实施方式下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，也属于本公开保护的范围。图1图示了一种已知的对视频和音频信号进行处理的示意性框图。如图1所示，在经过解码器解码之后，分别得到数字视频数据和数字音频数据。如上所述，数字视频数据和数字音频数据的处理是分开进行的。例如，对于数字音频数据而言，经过简单的数模转换处理后获得模拟信号，并将其提供给播放装置(例如麦克风、音箱等)供输出音频。对于数字视频数据而言，对其的处理相对比较复杂。如图1所示，将数字视频数据提供给视频处理单元，进行图像处理。例如，对于数字视频数据的处理包括但不限于：色彩空间转换、色彩增强处理、帧率转换和像素格式转换中的至少一个。为此，除了视频处理单元之外，可能还需要控制器以及相应的存储器。例如，如图1所示，在视频处理单元对视频图像进行色彩增强处理之后，如果要对各个图像帧进行帧率转换，则可以通过帧率转换模块(FRC)(例如，图1中所示的控制器)与双倍速率动态随机存储器(DDR)芯片进行交互处理，实现对视频数据的帧率转换。或者，可以利用视频处理单元经由控制器与DDR进行交互，对图像进行图像拉伸、图像增强、颜色调整、边缘处理、降噪等处理、在对数字视频数据进行了各种处理之后，将其输出给显示终端进行显示。由此可见，相比于对音频信号的处理，对视频信号的处理要复杂得多，且由于视频信号和音频信号的处理是分开进行的，没有考虑彼此之间的同步关系，因此，可能会造成在向用户提供输出的视听信号时，用户所观看的视频画面与所听到的音频信号之间存在不同步，从而降低了用户体验。为此，根据本公开的实施例，提供了一种对音频信号和视频信号进行同步的方案。具体而言，根据本公开的技术方案，在利用视频处理单元对视频信号进行处理时，为了实现将音频信号与处理后的视频信号同步输出给播放终端，利用缓冲器对音频信号进行缓存，并且在其中加入视频信号对应的图像帧的信息，从而使得音频信号和视频信号的输出保持同步。可选地，根据本公开的一实施例，可以将经过缓存的数字音频数据也提供处理视频信号的处理器，以便在其中添加有关图像帧的信息。可选地，该处理器可以是FPGA(Field－ProgrammableGateArray，现场可编程门阵列)实现的专用芯片、DSP(数字信号处理器)、ASIC(ApplicationSpecificIntegratedCircuit，专用集成电路)、CPLD(ComplexProgrammableLogicDevice，复杂可编程逻辑器件)，专用或者通用的处理器，在此不作限制。图2示意性地示出了根据本公开的一实施例的对音频和视频信号处理的系统的框图。如图2所示，接收的视听信号经过解码器(例如HDMI解码器)解码为数字视频数据和数字音频数据。将数字视频数据输入给视频处理单元进行处理，例如，进行色彩空间转换、色彩增强处理、帧率转换和像素格式转换中的至少一个。同时，将解码后的数字音频数据缓存在存储器中。作为示例，根据本公开的一实施例，可以利用I2S总线将数字音频数据传输给存储器以便进行缓存。如图2所示，可以在缓存数字音频数据的存储器和视频处理单元之间增加同步单元，以便将视频数据中的图像帧的帧头信息提供给音频数据。可选地，可以利用视频处理单元从数字视频数据中提取各个图像帧的帧头信息。可选地，图像帧的帧头信息可以包括但不限于：图像帧的帧号、图像帧的传输协议、图像帧的帧率中至少一项。经过视频处理单元处理后的视频数据经由传输接口发送给显示终端，而添加了图像帧的帧号的数字音频数据经由数字音频总线输出给音频播放终端(可以是显示终端内置的音频播放终端，也可以是外置的音频播放终端)，从而可以在图像帧的显示时同步播放音频。根据本公开的一实施例，数字音频总线可以是I2S总线。I2S总线拥有三条数据信号线：(1)SCK:(continuousserialclock)串行时钟，SCK的时钟脉冲对应数字音频的每一位数据，SCK的频率＝2×采样频率×采样位数，例如，常用的采样频率可以是48kHz或者44.1kHZ，采样位数，即数据长度可以是16比特或者24比特等等；(2)WS:(wordselect)字段(声道)选择，用于切换左右声道的数据，WS为“1”表示正在传输的是左声道的数据，WS为“0”表示正在传输的是右声道的数据；WS可以在串行时钟的上升沿或者本文档来自技高网...
【技术保护点】
一种对音频和视频信号进行同步的装置，包括：收发器，接收音频信号和视频信号；处理器，被配置为提取视频信号中所包含的各个图像帧的帧头信息，并且根据图像帧的帧头信息，调整音频信号的输出以便与视频信号的输出保持同步。
【技术特征摘要】
1.一种对音频和视频信号进行同步的装置，包括：收发器，接收音频信号和视频信号；处理器，被配置为提取视频信号中所包含的各个图像帧的帧头信息，并且根据图像帧的帧头信息，调整音频信号的输出以便与视频信号的输出保持同步。2.根据权利要求1所述的装置，其中，所述处理器还被配置为将接收的视频信号转换为数字视频数据，并且提取其中所包含的各个图像帧的帧头信息。3.根据权利要求2所述的装置，其中，所述图像帧的帧头信息包括图像帧的帧号、图像帧的帧率、图像帧的传输协议中的至少一项。4.根据权利要求3所述的装置，还包括存储器；其中，所述处理器被配置为将音频信号转换为数字音频数据，并且将转换后的数字音频数据缓存在所述存储器中。5.根据权利要求4所述的装置，其中所述处理器被配置为在缓存的数字音频数据中添加对应的图像帧的帧号，使得数字音频数据与视频信号的各个图像帧相关联。6.根据权利要求5所述的装置，其中，所述处理器被配置为经由数字音频总线将转换后的数字音频数据传输到所述存储器进行缓存。7.根据权利要求6所述的装置，其中，所述数字音频总线是I2S总线，并且所述处理器被配置为在数字音频数据的有效音频数据位之外的字段添加对应的图像帧的帧号。8.根据权利要求5-7任一项所述的装置，其中，所述处理器被配置为判断要输出的音频信号是否与要输出的视频信号的图像帧相匹配，如果不匹配，则根据图像帧的帧号调整对应的数字音频数据并输出相应的音频信号。9.根据权利要求8所述的装置，其中，所述处理器被配置为周期性地将与要输出的音频信号对应的数字音频数据中添加的图像帧的帧号与要输出的视频信号的图像帧的帧号进行比较，来判断要输出音频信号是否与要输出的视频信号的图像帧相匹配。10.根据权利要求3-7任一项所述的装置，其中，所述处理器被配置为对转换后的数字视频数据进行图像处理，并且在处理后的数字视频数据的控制数据的保留位中嵌入各个图像帧的帧号。11.根据权利要求10所述的装置，其中，所述处理器被配置为将...
【专利技术属性】
技术研发人员：段然，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。