一种多路音频混音方法及装置制造方法及图纸

本发明专利技术公开了一种多路音频混音方法及装置，该方法包括：基于初始取帧频率获取多路待混音音频数据，并记录当前时刻；当到达预设混音时刻时，检查待混音音频数据是否齐全；若待混音的音频数据已齐全，则进行混音操作，否则，开始等待；当等待的时间达到设定时间时，进行混音操作，并对当前已完成混音的音频数据帧数进行记录；根据记录的当前已完成混音的音频数据帧数、开始等待的时刻以及预设时间内需要完成混音的音频数据帧数调整取帧频率；在预设时刻之前，基于调整后的取帧频率获取多路待混音音频数据且当到达预设混音时刻时直接进行混音操作。本发明专利技术实施例提供的多路音频混音方法，提高了多路音频混音的实时性和同步性。

A multi-channel audio mixing method and device

【技术实现步骤摘要】
一种多路音频混音方法及装置
本专利技术实施例涉及音视频混音
，尤其涉及一种多路音频混音方法及装置。
技术介绍
随着教育、医疗等行业的发展，实时音视频交互得到越来越广泛的应用，多路音频混音的需求越来越多，同时对音频混音的实时性和同步性要求也越来越高。对于单纯使用软件混音来说，由于网络传输延时及设备软件编解码处理性能差异，多路解码音频数据输出会有一定的时间差，因此，存在音频数据先后抵达混音模块的情况，即需要混音的各路音频数据不是同时到达混音模块的。此时，如果混音模块不等待延时到达的音频数据，而直接进行混音，则本该当前时间输出的声音可能推迟到下一秒才输出，即导致音频数据出现延迟、临时卡顿，进而导致混音不同步问题；如果混音模块等待所有音频数据到达后再进行混音，那么就会存在1秒输出音频数据帧数不够的情况，即会导致掉帧、帧累积现象，达不到实时的效果。上述混音不同步、不实时导致的最终结果，一方面是音频接收端回放的音频模糊不清或断断续续，严重影响多方间的音频对话；另一方面是，由于音频帧率输出不稳定，且与音频采样实际采样率(或帧率)不一致，致使后续音视频录像出现音视频不同步问题，无法记录音视频交互过程的真实情况。因此，如何实现音频混音的同步性和实时性至关重要。
技术实现思路
本专利技术实施例提供了一种多路音频混音方法及装置，提高了多路音频混音的实时性和同步性。第一方面，本专利技术实施例提供了一种多路音频混音方法，所述方法包括：基于初始取帧频率获取多路待混音音频数据，并记录当前时刻；当到达预设混音时刻时，检查待混音音频数据是否齐全；若待混音的音频数据已经齐全，则对待混音音频数据进行混音操作，否则，开始等待；当等待的时间达到设定时间时，进行混音操作，并对当前已完成混音的音频数据帧数进行记录；根据记录的当前已完成混音的音频数据帧数、开始等待的时刻以及预设时间内需要完成混音的音频数据帧数调整取帧频率；在预设时刻之前，基于调整后的取帧频率获取多路待混音音频数据且当到达预设混音时刻时直接进行混音操作。进一步地，当到达预设时刻时，将取帧频率调整回初始取帧频率。进一步地，开始等待时还包括：置位等待标志位。进一步地，所述方法还包括：当到达预设时刻时，清零所述等待标志位以及记录的当前已完成混音的音频数据帧数。进一步地，对待混音音频数据进行混音操作，包括：通过线性叠加混音算法对所述待混音音频数据进行混音操作。第二方面，本专利技术实施例还提供了一种多路音频混音装置，所述装置包括：第一获取模块，用于基于初始取帧频率获取多路待混音音频数据，并记录当前时刻；检查模块，用于当到达预设混音时刻时，检查待混音音频数据是否齐全；混音模块，用于若待混音的音频数据已经齐全，则对待混音音频数据进行混音操作，或者当等待的时间达到设定时间时，进行混音操作，或者对基于调整后的取帧频率获取的多路待混音音频数据进行混音操作；等待模块，用于若待混音的音频数据不齐全，开始等待；记录模块，进行混音操作的同时用于对当前已完成混音的音频数据帧数进行记录；调整模块，用于根据记录的当前已完成混音的音频数据帧数、开始等待的时刻以及预设时间内需要完成混音的音频数据帧数调整取帧频率；第二获取模块，用于在预设时刻之前，基于调整后的取帧频率获取多路待混音音频数据。进一步地，所述调整模块还用于当到达预设时刻时，将取帧频率调整回初始取帧频率。进一步地，所述装置还包括：置位模块，用于开始等待时置位等待标志位。进一步地，所述装置还包括：清零模块，用于当到达预设时刻时，清零所述等待标志位以及记录的当前已完成混音的音频数据帧数。进一步地，所述混音模块具体用于通过线性叠加混音算法对所述待混音音频数据进行混音操作。本专利技术实施例提供的一种多路音频混音方法及装置，通过基于初始取帧频率获取多路待混音音频数据，并记录当前时刻；当到达预设混音时刻时，检查待混音音频数据是否齐全；若待混音的音频数据已经齐全，则对待混音音频数据进行混音操作，否则，开始等待；当等待的时间达到设定时间时，进行混音操作，并对当前已完成混音的音频数据帧数进行记录；根据记录的当前已完成混音的音频数据帧数、开始等待的时刻以及预设时间内需要完成混音的音频数据帧数调整取帧频率；在预设时刻之前，基于调整后的取帧频率获取多路待混音音频数据且当到达预设混音时刻时直接进行混音操作的技术手段，提高了多路音频混音的实时性和同步性。附图说明图1是本专利技术实施例一提供的一种多路音频混音方法流程示意图；图2是本专利技术实施例一提供的一种多路音频混音方法流程示意图；图3是本专利技术实施例二提供的一种多路音频混音装置结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各项步骤的顺序可以被重新安排。当其步骤完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。实施例一图1为本专利技术实施例一提供的一种多路音频混音方法流程示意图，该方法可以适用于对多路音频进行混音的情况，可通过软件和/或硬件的方式实现。具体参见图1所示，所述方法具体包括如下步骤：步骤110、基于初始取帧频率获取多路待混音音频数据，并记录当前时刻。在混音系统中，通常通过采集卡获取多路的音频数据，获取的音频数据通常有两种形式，一种是原始音频数据，另一种是编码后的音频数据，对于原始音频数据则可以直接由混音模块进行混音操作，对于编码后的音频数据需要进行一次解码操作，然后混音模块再对解码后的音频数据进行混音操作。初始取帧频率＝采样频率/采样点数，根据设定的采样频率和采样点数计算得到。所述记录当前时刻可以是记录当前的物理时间，或者直接将当前时刻作为0进行第一次记录，用于表示所述混音方法程序开始执行的初始时间。步骤120、当到达预设混音时刻时，检查待混音音频数据是否齐全。所述预设混音时刻具体是：根据采集卡对音频数据的采样频率和采样点数计算出1秒钟采集的音频数据帧数即帧率，进而计算出每帧音频数据之间的时间间隔，混音模块按照相邻两帧音频数据之间的时间间隔定时获取各路音频数据并进行混音操作，因此所述预设混音时刻具体为音频数据帧间隔时间。帧率＝采样频率/采样点数，例如帧率为5帧/秒，则帧间隔时间为1/5秒，若开始时间设定为0，则混音模块在1/5秒的时候取一次音频数据并进行一次混音操作，即预设混音时刻为1/5秒、2/5秒、3/5秒……。每个预设混音时刻具体有多少路音频数据需要进行混音操作，可以通过消息获取到，每路音频数据都有对应的固定编号，因此可以通过编号统计当前预设混音时刻需要进行混音的数据是否已经齐全。步骤130a、若待混音的音频数据已经齐全，则对待混音音频数据进行混音操作。示例性地，对待混音音频数据进行混音操作，包括：通过线性叠加混音算法对所述待混音音频数据进行混音操作，在线性叠加前，先将各个需要参与叠加的音频数据的幅本文档来自技高网...

【技术保护点】
一种多路音频混音方法，其特征在于，包括：基于初始取帧频率获取多路待混音音频数据，并记录当前时刻；当到达预设混音时刻时，检查待混音音频数据是否齐全；若待混音的音频数据已经齐全，则对待混音音频数据进行混音操作，否则，开始等待；当等待的时间达到设定时间时，进行混音操作，并对当前已完成混音的音频数据帧数进行记录；根据记录的当前已完成混音的音频数据帧数、开始等待的时刻以及预设时间内需要完成混音的音频数据帧数调整取帧频率；在预设时刻之前，基于调整后的取帧频率获取多路待混音音频数据且当到达预设混音时刻时直接进行混音操作。

【技术特征摘要】
1.一种多路音频混音方法，其特征在于，包括：基于初始取帧频率获取多路待混音音频数据，并记录当前时刻；当到达预设混音时刻时，检查待混音音频数据是否齐全；若待混音的音频数据已经齐全，则对待混音音频数据进行混音操作，否则，开始等待；当等待的时间达到设定时间时，进行混音操作，并对当前已完成混音的音频数据帧数进行记录；根据记录的当前已完成混音的音频数据帧数、开始等待的时刻以及预设时间内需要完成混音的音频数据帧数调整取帧频率；在预设时刻之前，基于调整后的取帧频率获取多路待混音音频数据且当到达预设混音时刻时直接进行混音操作。2.根据权利要求1所述的方法，其特征在于，还包括：当到达预设时刻时，将取帧频率调整回初始取帧频率。3.根据权利要求1或2所述的方法，其特征在于，若待混音的音频数据不齐全，开始等待时还包括：置位等待标志位。4.根据权利要求1或2所述的方法，其特征在于，还包括：当到达预设时刻时，清零所述等待标志位以及记录的当前已完成混音的音频数据帧数。5.根据权利要求1或2所述的方法，其特征在于，对待混音音频数据进行混音操作，包括：通过线性叠加混音算法对所述待混音音频数据进行混音操作。6.一种多路音频混音装置，其特征在于，包括：第一获取模块，用于基于初始取帧频率获取多...

【专利技术属性】
技术研发人员：刘桂芬，郭春辉，
申请(专利权)人：苏州麦迪斯顿医疗科技股份有限公司，
类型：发明
国别省市：江苏,32