实时语音通话中的实时语音接收设备及降低延迟的方法技术

本发明专利技术实施例提供一种实时语音通话中的实时语音接收设备及降低延迟的方法。其方法应用于实时语音接收设备包括：至少监控重采样模块的输入缓冲区中的数据量，所述重采样模块的输入缓冲区中的数据至少是解压缩和解包处理后的数据；当监控的缓冲区的数据量达到重采样阈值，对所述重采样模块的输入缓冲区中的数据进行重采样；对重采样后的数据进行下一级处理。通过对数据进行重采样的方式减少缓存的数据量，相当于在语音接收设备加速播放，达到了降低延迟的目的。

【技术实现步骤摘要】

本专利技术实施例涉及音频
，尤其涉及一种实时语音通话中的实时语音接收设备及降低延迟的方法。
技术介绍
随着网络技术的普及和发展，尤其是网络通信速率的提高和移动互联网的蓬勃兴起，如今人们越来越多地使用基于实时语音通信的产品和服务。例如网络电话、即时语音通话、智能家居可视对讲系统等等。在这个交互过程中，语音从一端及时到达另一端显得非常重要，只有延迟短的通信传输，才能称得上实时。但现有的实时语音通话，在通话初始时，延迟很小，但随着时间的增长，延迟会越来越大，会达到几秒甚至数十秒。以图1所示的语音通信过程为例，对实时语音通信过程的上述延迟现象进行说明。如图1所示，音频数据在语音发送端经过采音、模数编码、压缩、打包后，通过网络传输到达语音接收端，在语音接收端经过解包、解压缩、数模解码、放音，从而实现语音播放。由于语音发送端与语音接收端的系统参考时钟不同，在语音接收端会存在累积性延迟。另外，由于资源限制，还会造成突发性插入延迟。例如，在音频接收端放音过程中，如果CPU突发性重载，则会暂停音频数据处理，即插入延迟。无论是累积性延迟，还是突发性插入延迟，对于语音接收端而言，均表现为送入数模解码模块前的音频数据累积得越来越多。
技术实现思路
本专利技术实施例提供一种实时语音通话中的实时语音接收设备及降低延迟的方法，用以解决现有技术中实施语音通话随着时间的增长，延迟越来越大的问题。本专利技术实施例提供一种实时语音通话中降低延迟的方法，应用于实时语音接收设备，具体包括：至少监控重采样模块的输入缓冲区中的数据量，其中，所述重采样模块的输入缓冲区中的数据至少是解压缩和解包处理后的数据；当监控的缓冲区的数据量达到重采样阈值，对所述重采样模块的输入缓冲区中的数据进行重采样；对重采样后的数据进行下一级处理。本专利技术实施例提供一种实时语音通话中的实时语音接收设备，包括：重采样模块，用于至少监控本模块的输入缓冲区中的数据量，所述输入缓冲区中的数据至少是解压缩和解包处理后的数据；还用于当监控的缓冲区的数据量达到重采样阈值，对本模块的输入缓冲区中的数据进行重采样；重采样模块的下一级处理模块，用于对重采样后的数据进行处理。本专利技术实施例提供的实时语音通话中的实时语音接收设备及降低延迟的方法，解压缩和解包处理后的数据会存放在重采样模块的输入缓冲区，并至少对重采样模块的输入缓冲区进行监控，以便在监控的缓冲区的数据量达到重采样阈值时，对重采样模块的输入缓冲区中的数据进行重采样，以便对重采样后的数据进行下一级处理，而不是对所有的数据进行处理。通过对数据进行重采样的方式减少缓存的数据量，相当于在语音接收设备加速播放，达到了降低延迟的目的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为现有技术中实时语音通信的流程图；图2为本专利技术一个实施例提供的实时语音通话中降低延迟的方法流程图；图3为本专利技术实施例提供的实时语音通话方法流程图；图4为本专利技术实施例提供的应用场景示意图；图5为本专利技术实施例提供的一种实时语音通话流程图；图6为本专利技术实施例提供的另一种实时语音通话流程图；图7为本专利技术实施例提供的实时语音通话中的语音接收设备示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图2所示为本专利技术实施例提供的实时语音通话中降低延迟的方法，具体包括如下操作：步骤100、至少监控重采样模块的输入缓冲区中的数据量，其中，该重采样模块的输入缓冲区中的数据至少是解压缩和解包处理后的数据。本专利技术各个实施例中所称的数据，均为音频数据。本专利技术实施例中，可以由上述重采样模块执行步骤100，也可以由单独设置的监控模块执行步骤100，本专利技术实施例对此不作限定。步骤110、当监控的缓冲区的数据量达到重采样阈值，对该重采样模块的输入缓冲区中的数据进行重采样。步骤120、对重采样后的数据进行下一级处理。本专利技术实施例提供的实时语音通话中降低延迟的方法，解压缩和解包处理后的数据会存放在重采样模块的输入缓冲区，并至少对重采样模块的输入缓冲区进行监控，以便在监控的缓冲区的数据量达到重采样阈值时，对重采样模块的输入缓冲区中的数据进行重采样，以便对重采样后的数据进行下一级处理，而不是对所有的数据进行处理。通过对数据进行重采样的方式减少缓存的数据量，相当于在语音接收设备加速播放，达到了降低延迟的目的。本专利技术实施例中，上述步骤110的实现方式有多种。可选的，根据预设的重采样阈值对应的重采样比例，对所述重采样模块的输入缓冲区中的数据进行重采样，其中，每个所述重采样阈值至少对应于一个重采样比例。其中，重采样阈值和重采样比例均是预先设置的，并且可以设置不止一
个重采样阈值。例如，设置有一组重采样阈值，并相应地设置一组重采样比例，重采样阈值与一一对应。本专利技术实施例中，重采样模块可以设置在解包和解压缩之后的任意处理环节处。无论语音接收端的具体处理流程包括哪些操作，最终均需要进行数模解码并放音，优选的，将重采样模块设置在数模解码模块的前一级，即重采样模块的下一级处理模块为数模解码模块，以最大限度地降低延迟。例如，基于图1所示的语音通话流程，可以在解压缩之后，数模解码之前，插入重采样模块，相应的流程如图3所示。无论重采样的下一级处理是什么，应尽可能地对全部未进入该下一级处理的数据进行重采样处理，即重采样模块之前的各个模块的缓冲区应尽可能地不滞留数据，这就需要重采样模块的输入缓冲区足够大。本专利技术实施例中，重采样模块的输入缓冲区的大小可以是根据语音接收设备在本次实时语音通话中的音频处理参数确定的。具体的，音频处理参数反映了语音接收设备在本次实时语音通话中每秒钟可以处理的数据量，那么可以设置重采样模块的输入缓冲区的大小可以容纳语音接收设备在本次实时语音通话中N秒钟处理的数据量。其中，N的取值可以根据经验选取，例如5秒。假设音频处理参数具体为：16K的采样率，单声道，16bit的比特率，N的取值为5秒，重采样模块的输入缓冲区的大小为16/8*1*16000*5≈156KB。应当指出的是，重采样模块的输入缓冲区的大小可调。例如，当语音接收设备在本次实时语音通话中的音频处理参数发生变化，可以适应性调整重采样模块的输入缓冲区的大小。基于上述任意方法实施例，步骤100中，可以仅监控实时语音通话的语音接收设备的重采样模块的输入缓冲区中的数据量；也可以监控实时语音通话的语音接收设备的重采样模块的输入缓冲区和重采样模块的下一级处理模块的输入缓冲区区中的数据量。基于上述任意方法实施例，步骤100可以是在满足触发条件下执行的，也可以是在语音通话过程中实时执行的。如果是在满足触发条件下执行的，本专利技术实施例并不对具体的触发条件进行限定。假设重采样模块的下一级处本文档来自技高网...

【技术保护点】
一种实时语音通话中降低延迟的方法，其特征在于，应用于实时语音接收设备，具体包括：至少监控重采样模块的输入缓冲区中的数据量，其中，所述重采样模块的输入缓冲区中的数据至少是解压缩和解包处理后的数据；当监控的缓冲区的数据量达到重采样阈值，对所述重采样模块的输入缓冲区中的数据进行重采样；对重采样后的数据进行下一级处理。

【技术特征摘要】
1.一种实时语音通话中降低延迟的方法，其特征在于，应用于实时语音接收设备，具体包括：至少监控重采样模块的输入缓冲区中的数据量，其中，所述重采样模块的输入缓冲区中的数据至少是解压缩和解包处理后的数据；当监控的缓冲区的数据量达到重采样阈值，对所述重采样模块的输入缓冲区中的数据进行重采样；对重采样后的数据进行下一级处理。2.根据权利要求1所述的方法，其特征在于，对所述重采样模块的输入缓冲区中的数据进行重采样具体包括，根据预设的重采样阈值对应的重采样比例，对所述重采样模块的输入缓冲区中的数据进行重采样，其中，每个所述重采样阈值至少对应于一个重采样比例。3.根据权利要求1所述的方法，其特征在于，所述至少监控重采样模块的输入缓冲区中的数据量，包括：仅监控重采样模块的输入缓冲区中的数据量；或者，同时监控重采样模块的输入缓冲区和所述下一级处理模块的输入缓冲区中的数据量。4.根据权利要求1～3任一项所述的方法，其特征在于，所述重采样模块的输入缓冲区的大小根据所述实时语音接收设备在实时语音通话中的音频处理参数确定。5.根据权利要求1～3任一项所述的方法，其特征在于，所述至少监控重采样模块的输入缓冲区中的数据量，包括：根据工作在非阻塞模式的所述下一级处理模块的输入缓冲区已满指示，确定所述下一级处理模块的输入缓冲区已满，至少监控重采样模块的输入缓冲区中的数据量。6.根据权利要求1～3任一项所述的方法，其特征在于，所述对重采样...

【专利技术属性】
技术研发人员：肖荣权，
申请(专利权)人：乐视致新电子科技天津有限公司，
类型：发明
国别省市：天津;12