一种视频会议的音频采集与播放优化方法、装置及介质制造方法及图纸

本发明专利技术公开一种视频会议的音频采集与播放优化方法、装置及介质，涉及视频会议技术领域，包括设置音频采集参数及一个用于对采集的音频数字信号进行处理的第一回调函数；当每次采样音频由模拟量转化为数字信号时，调用第一回调函数对音频数字信号进行处理；设置音频播放参数及一个用于更改音频播放缓冲区占用状态的第二回调函数；当音频进行播放时，调用第二回调函数对音频缓冲区进行判断分配；本发明专利技术在不影响音频实时播放的效果下，运用sleep()函数大大降低了CPU的占用率。

An Optimized Method, Device and Media for Audio Acquisition and Play of Video Conference

【技术实现步骤摘要】
一种视频会议的音频采集与播放优化方法、装置及介质
本专利技术涉及视频会议
，尤其涉及一种视频会议的音频采集与播放优化方法、装置及介质。
技术介绍
视频会议系统的应用范围非常广泛，可应用在网络视频会议、协同办公、在线培训、远程医疗、远程教育等各个方面，能广泛应用于政府、军队、企业、IT、电信、电力、教育、医疗、证券、金融、制造等各个领域。在视频会议中，音频作为传达会议信息的最重要方式，是优先级最高的信息，声音效果和流畅性都非常重要，因此，音频的实时采集与播放功能的优化就显得愈加重要了。在手机系统中有很多方法可以进行音频采集与播放；音频采集方面，如：AVAudioRecorder，AVCaptureDevice，AudioUnit，AudioQueues。音频播放方面，如：AVAudioPlayer，AVPlayer，AudioQueue，OpenAL，AudioUnit。它们各有各的优缺点，具体为：AVAudioRecorder：虽然用法比较简单，但是不支持流式；这就意味着：在播放音频前，必须等到整个音频加载完成后，才能开始播放音频；录音时，也必须等到录音结束后，才能获取到录音数据。这给应用造成了很大的局限性。AVCaptureDevice：它的用法也比较简单，支持流式，但是它是音视频一起采集的，因此初始化视频参数的时候，音频参数也同时配置了，如果想要单独配置音频采集参数的话比较麻烦，并且如果音频想要停止采集的话，视频采集也跟着停止了，比较局限，AudioUnit：是最底层的接口，支持流式，它的优点是功能强大，延迟低；而缺点是学习成本高，难度大。AudioQueues：支持流式，优点可以将音频队列配合其他CoreAudio的接口使用，再加上相对少量的自定义代码就可以在应用程序中创建一套完整的数字音频录制或播放解决方案，但是它的录制延时高。AVAudioPlayer：它的抒写效率高，基本上支持所有的音频格式，对播放的控制，如循环播放，声音大小，暂停等比较方便。缺点：对内存的消耗会多些。不支持流式，而且无法播放在线音乐AVPlayer：它和AVAudioPlayer相似，不同的地方是可以支持流式。AudioQueue：支持流式，它的优点利用音频队列负责对它的缓冲区进行内存管理，优化了资源的使用。OpenAL：优点：跨平台解决方案，可以在多个平台下使用，支持文件和流式播放，但是如果运用在实时语音方面，延时性高。AudioUnit：流式播放，低延时，最底层，但是它播放是通过一个playbackCallback回调函数播放的，这个函数一秒钟调用的次数大概是20-30次左右吧。如果后台每秒传来的播放的数据流的大小和次数比较多的话就会产生一些异常问题。
技术实现思路
本专利技术针对
技术介绍
中存在的问题提供一种视频会议的音频采集与播放优化方法、装置及介质，解决回声及CPU占用率高的缺点。为了实现上述目的，本专利技术提出一种视频会议的音频采集与播放优化方法，包括如下步骤：S10、设置音频采集参数及一个用于对采集的音频数字信号进行处理的第一回调函数；S20、当每次采样音频由模拟量转化为数字信号时，调用第一回调函数对音频数字信号进行处理；S30、设置音频播放参数及一个用于更改音频播放缓冲区占用状态的第二回调函数；S40、当音频进行播放时，调用第二回调函数对音频缓冲区进行判断分配。优选地，步骤S10所述的设置音频采集参数，包括：S101、获得一个AVAudioSession类的实例，设置AudioSession音频类别；S102、自定义一个包含AUGraph和AudioUnit的结构体第一graph，并创建指向该结构体中AUGraph的第二graph；S103、添加一个RemoteI/O类型的Node至第二graph中；S104、设置音频采集的基础参数。优选地，所述的第一回调函数，根据实际需求设置音频处理操作，包括但不限于：均衡、混合及格式转换。优选地，所述的基础参数，包括但不限于：音频采集采样率、每个数据包的帧数、语音采样点的占用位数、每帧的bytes数、单声道或多声道设置、每个数据包的bytes总数、每帧的bytes数×每个数据包的帧数及回声消除设置。优选地，步骤S30所述的设置音频播放参数，包括：S301、创建音频播放对象；S302、设置音频播放的基础参数；S303、设置内部线程播放，新建输出。优选地，所述的设置音频播放的基础参数，包括但不限于：采样率、数据包大小、语音每采样点占用位数。优选地，所述的调用第二回调函数对音频缓冲区进行判断分配，包括：S304、判断多个缓冲区的占用状态；S305、将音频数据发送至未被占用的缓冲区进行播放。优选地，所述的音频数据格式为pcm数据。本专利技术还提出一种视频会议的音频采集与播放优化装置，包括：处理器；存储器，耦合至所述的处理器并存储有指令，所述的指令在由所述处理器执行实现所述的视频会议的音频采集与播放优化方法的步骤。本专利技术还提出一种计算机可读取存储介质，所述计算机可读取存储介质存储有视频会议的音频采集与播放优化方法的应用程序，所述应用程序实现如所述的视频会议的音频采集与播放优化方法的步骤。本专利技术首先采用AudioUnit进行音频采集，AudioQueues进行音频播放，实现音频采集播放的功能。但是对于视频会议对于音频的要求性很高，此方案存在两个缺陷，第一偶尔有回声的问题，第二，就是播放音频的时候发现CPU占用很高；对于这两个缺陷本专利技术进行进一步的优化，提出一种视频会议的音频采集与播放优化方法、装置及介质，由于AudioUnit并不能独立完成回声消除的工作，需要配合AUGraph来使用；AUGraph是管理者，不同的Unit作为Node添加到AUGraph中去发挥作用；利用AUGraph来进行回声消除；对于播放音频时，CPU占用率高的问题，发现是由于服务端传来的音频数据频率过快导致的，在不影响音频实时播放的效果下，运用sleep()函数大大降低了CPU的占用率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术第一优选实施例中视频会议的音频采集与播放优化方法流程图；图2为本专利技术第一优选实施例中S10步骤流程图；图3为本专利技术第一优选实施例中音频采集过程图；图4为本专利技术第一优选实施例中S30步骤流程图；图5为本专利技术第二优选实施例中视频会议的音频采集与播放优化装置结构示意图；图6为本专利技术第三优选实施例中计算机存储介质结构图；本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明，若本专利技术实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解本文档来自技高网...

【技术保护点】
1.一种视频会议的音频采集与播放优化方法，其特征在于，包括如下步骤：S10、设置音频采集参数及一个用于对采集的音频数字信号进行处理的第一回调函数；S20、当每次采样音频由模拟量转化为数字信号时，调用第一回调函数对音频数字信号进行处理；S30、设置音频播放参数及一个用于更改音频播放缓冲区占用状态的第二回调函数；S40、当音频进行播放时，调用第二回调函数对音频缓冲区进行判断分配。

【技术特征摘要】
1.一种视频会议的音频采集与播放优化方法，其特征在于，包括如下步骤：S10、设置音频采集参数及一个用于对采集的音频数字信号进行处理的第一回调函数；S20、当每次采样音频由模拟量转化为数字信号时，调用第一回调函数对音频数字信号进行处理；S30、设置音频播放参数及一个用于更改音频播放缓冲区占用状态的第二回调函数；S40、当音频进行播放时，调用第二回调函数对音频缓冲区进行判断分配。2.根据权利要求1所述的视频会议的音频采集与播放优化方法，其特征在于，步骤S10所述的设置音频采集参数，包括：S101、获得一个AVAudioSession类的实例，设置AudioSession音频类别；S102、自定义一个包含AUGraph和AudioUnit的结构体第一graph，并创建指向该结构体中AUGraph的第二graph；S103、添加一个RemoteI/O类型的Node至第二graph中；S104、设置音频采集的基础参数。3.根据权利要求1所述的视频会议的音频采集与播放优化方法，其特征在于，所述的第一回调函数，根据实际需求设置音频处理操作，包括但不限于：均衡、混合及格式转换。4.根据权利要求2所述的视频会议的音频采集与播放优化方法，其特征在于，所述的基础参数，包括但不限于：音频采集采样率、每个数据包的帧数、语音采样点的占用位数、每帧的bytes数、单声道或多声道设置、...

【专利技术属性】
技术研发人员：赵定金，朱正辉，张常华，明德，
申请(专利权)人：广州市保伦电子有限公司，
类型：发明
国别省市：广东,44