用于无线智能音频设备的片上系统和无线处理方法技术方案

本申请涉及一种用于无线智能音频设备的片上系统和无线处理方法。所述片上系统包括第一处理器核和第二处理器核，所述第一处理器核的主频频率低于第二处理器核且功耗低于第二处理器核。第一处理器核获取音频数据；以及利用训练好的RNN网络来识别人声；在识别出人声的情况下，利用所述核间通信模块开启到核间通信，以便传输音频数据并使得所述第二处理器核唤醒。第二处理器核仅在唤醒情况下接收音频数据，并对所接收的音频数据进行AEC，并对除噪后的音频数据进行ASR，从而识别用户语音命令的关键词。如此，能够对不时出现的用户的语音命令中的关键词进行精确且及时的检出，避免片上系统的功耗过大，并且还能有效控制片上系统的成本。成本。成本。

【技术实现步骤摘要】
用于无线智能音频设备的片上系统和无线处理方法


[0001]本申请涉及用于无线智能音频设备的芯片和无线处理方法，更具体地涉及用于无线智能音频设备的片上系统和无线处理方法。

技术介绍

[0002]随着无线智能音频设备得到广泛的应用，人们经常期望用语音指令来远程控制无线智能音频设备执行所需的功能，例如播放音乐、接通电话等，且期望语音指令的执行能够更准确、时间滞后更少。相应地，对该无线智能音频设备中运行的片上系统(SOC)也提出了更高的要求。
[0003]对于具有单个处理器核的片上系统(SOC)来说，通常，该处理器核需要持续地获取所采集的音频数据进行各种除噪处理，以为后续的人声检测(有时也称为语音活性检测，VAD)提供更清洁的声源数据。并且，该处理器核还需要持续地对除噪后的音频数据进行自动语音识别处理，将音频数据先转化为文本，再从文本中识别出是否存在引发设备操作的关键词。这种关键词检测需要持续频繁地进行，使得片上系统的功耗持续较高。对于使用单核的无线智能音频设备来说，会期望单核能够面向更广泛的市场需求，例如面向移动计算、智能手机、服务器等，并且能够支持完整的操作系统，如此，单核就需要运行的较高的时钟频率，如果还要持续频繁地检测关键词，则可能造成功耗过大。

技术实现思路

[0004]提供了本申请以解决以上的技术问题。
[0005]本申请旨在提供一种用于无线智能音频设备的片上系统和无线处理方法，其能够对不时出现的用户的语音命令中的关键词进行精确且及时的检出，避免片上系统的功耗过大，并且还能有效控制片上系统的成本。
[0006]根据本申请的第一方面，提供一种用于无线智能音频设备的片上系统。所述片上系统连接有麦克风以采集音频数据，且用于识别语音命令的关键词，其特征在于，所述片上系统包括：无线通信模块，其配置为获取来自无线智能设备的音频数据；第一处理器核和第二处理器核，所述第一处理器核的主频频率低于第二处理器核且功耗低于第二处理器核；以及核间通信模块，其配置为在所述第一处理器核与所述第二处理器核之间执行直接通信。其中，第一处理器核进一步配置为：获取来自所述麦克风或所述无线通信模块的音频数据；以及基于所获取的音频数据利用训练好的RNN网络来识别人声；在识别出人声的情况下，利用所述核间通信模块开启到所述第二处理器核的核间通信，以便传输音频数据并使得所述第二处理器核唤醒。所述第二处理器核配置为：仅在唤醒情况下，接收音频数据，并对所接收的音频数据进行回声消除除噪，并对除噪后的音频数据进行自动语音识别以转化为文本传输给所述第一处理器核进行本地离线处理，或者经由所述核间通信模块将除噪后的音频数据经由所述核间通信模块传输给所述第一处理器核以转由远程处理装置在线处理，从而识别用户语音命令的关键词。
[0007]根据本申请的第二方面，提供一种识别语音命令的关键词的无线处理方法，其利用无线智能音频设备的片上系统来实现，所述片上系统连接有麦克风，且包括彼此之间执行核间通信的第一处理器核和第二处理器核，所述第一处理器核的主频频率低于第二处理器核且功耗低于第二处理器核。该方法包括如下步骤。利用麦克风采集音频数据，或者经由无线通信方式获取来自无线智能设备的音频数据。利用所述第一处理器核，获取来自所述麦克风或所述无线通信模块的音频数据以及基于所获取的音频数据利用训练好的RNN网络来识别人声；在识别出人声的情况下，利用所述核间通信模块开启到所述第二处理器核的核间通信，以便传输音频数据并使得所述第二处理器核唤醒。利用所述第二处理器核，仅在唤醒情况下，接收音频数据，并对所接收的音频数据进行回声消除除噪，并对除噪后的音频数据进行自动语音识别以转化为文本传输给所述第一处理器核进行本地离线处理，或者经由所述核间通信模块将除噪后的音频数据经由所述核间通信模块传输给所述第一处理器核以转由远程处理装置在线处理，从而识别用户语音命令的关键词。
[0008]利用根据本申请各个实施例的用于无线智能音频设备的片上系统和无线处理方法，对片上系统采用大核(主频频率较高且单位时间功耗较大的第二处理器核)和小核(主频频率较低且单位时间功耗较低的第一处理器核)的协同配置，将训练好的RNN网络内置于第一处理器核，以利用主频频率较低且功耗较小的第一处理器核对音频数据进行人声的迅速准确识别，只有识别出人声的音频数据才启用核间通信传输给第二处理器核，唤醒其进行回声消除除噪和自动语音识别，以便将已经自动识别出的文本传输给第一处理器核进行本地离线处理，或者经由所述核间通信模块将除噪后的音频数据经由所述核间通信模块传输给所述第一处理器核以转由远程处理装置在线处理，从而识别用户语音命令的关键词。如此，让第一处理器核利用RNN网络负责人声初筛，能够高效且低功耗地及时筛出有可能包含关键词的用户的语音命令的音频数据；人声初筛作为核间通信传输的启用条件，使得第二处理器核只有遇到有可能包含关键词的用户的语音命令的音频数据时，才需要被唤醒以通常频率运行，如此不仅可以精确且及时的检出关键词，而且能够避免片上系统的功耗过大。该片上系统的硬件架构兼容于大核
‑
小核的硬件架构，且在小核的代码存储器中配置可执行指令即可方便地实现RNN网络的处理，能够有效控制片上系统的成本。
附图说明
[0009]在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
[0010]图1示出根据本申请实施例的用于无线智能音频设备的片上系统在第一处理器核与第二处理器核之间的核间通信开启且第二处理器核被唤醒情况下的示意图；
[0011]图2示出根据本申请实施例的用于无线智能音频设备的片上系统在第一处理器核与第二处理器核之间的核间通信关闭且第二处理器核未唤醒情况下的示意图；
[0012]图3示出根据本申请实施例的第一处理器核的结构示意图；
[0013]图4示出根据本申请实施例的第二处理器核在没有接收到音频数据的情况下的处理流程图；
[0014]图5示出根据本申请实施例的第二处理器核在接收到音频数据的情况下的处理流程图；以及
[0015]图6示出根据本申请实施例的识别语音命令的关键词的无线处理方法的流程图。
具体实施方式
[0016]为使本领域技术人员更好的理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述，但不作为对本申请的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于无线智能音频设备的片上系统，所述片上系统连接有麦克风以采集音频数据，且用于识别语音命令的关键词，其特征在于，所述片上系统包括：无线通信模块，其配置为获取来自无线智能设备的音频数据；第一处理器核和第二处理器核，所述第一处理器核的主频频率低于第二处理器核且功耗低于第二处理器核；以及核间通信模块，其配置为在所述第一处理器核与所述第二处理器核之间执行直接通信，其中，第一处理器核进一步配置为：获取来自所述麦克风或所述无线通信模块的音频数据；以及基于所获取的音频数据利用训练好的RNN网络来识别人声；在识别出人声的情况下，利用所述核间通信模块开启到所述第二处理器核的核间通信，以便传输音频数据并使得所述第二处理器核唤醒；所述第二处理器核配置为：仅在唤醒情况下，接收音频数据，并对所接收的音频数据进行回声消除除噪，并对除噪后的音频数据进行自动语音识别以转化为文本传输给所述第一处理器核进行本地离线处理，或者经由所述核间通信模块将除噪后的音频数据经由所述核间通信模块传输给所述第一处理器核以转由远程处理装置在线处理，从而识别用户语音命令的关键词。2.根据权利要求1所述的片上系统，其特征在于，所述第一处理器核进一步配置为：在第一时间段内没有识别出人声的情况下，利用所述核间通信模块关闭到所述第二处理器核的核间通信，使得不再向所述第二处理器核传输音频数据。3.根据权利要求2所述的片上系统，其特征在于，所述第二处理器核进一步配置为：在第二时间段内没有接收到音频数据的情况下，转换为以比通常频率更低频率运行的降频模式；在长于第二时间段的第三时间段内没有接收到音频数据的情况下，由降频模式转换为休眠模式。4.根据权利要求3所述的片上系统，其特征在于，所述第二处理器核进一步配置为：如果当前正在降频模式下运行且在第二时间段内接收到音频数据，则由降频模式唤醒从而恢复以通常频率运行；如果当前正在休眠模式下运行且在第二时间段内接收到音频数据，则由休眠模式直接唤醒从而恢复以通常频率运行，其中，从降频模式唤醒所需时间小于从休眠模式唤醒所需时间。5.根据权利要求3或4所述的片上系统，其特征在于，所述第一时间段为80
‑
200ms，所述第二时间段为5
‑
15秒，所述第三时间段为20秒到数分钟。6.根据权利要求1所述的片上系统，其特征在于，所述第二处理器核为应用处理器，时钟频率超过1GHz，且包括内存管理单元以支...

【专利技术属性】
技术研发人员：许则挺，齐非凡，杨斌，
申请(专利权)人：恒玄科技上海股份有限公司，
类型：发明
国别省市：