一种基于声像耦合的语音采集智能耳机制造技术

本实用新型专利技术提供一种基于声像耦合的语音采集智能耳机，包括：控制器、语音采集模块、图像采集模块和语音输出模块；所述控制器的第一输入端与所述语音采集模块的输出端相连，所述控制器的第二输入端与所述图像采集模块的输出端相连，所述控制器的输出端与所述语音输出模块的输入端相连；所述语音采集模块用于拾取发声者的语音信号；所述图像采集模块用于对发声者的嘴唇动作进行视频采集；所述控制器用于对所述语音信号进行降噪处理，并根据所述嘴唇动作对所述语音信号进行声像耦合，以得到识别后的音频信号；所述语音输出模块用于对外部终端进行所述音频信号传输。本实用新型专利技术能提高语音有效识别的准确率，增加智能耳机的智能性。

【技术实现步骤摘要】
一种基于声像耦合的语音采集智能耳机
本技术涉及语音识别
，尤其涉及一种基于声像耦合的语音采集智能耳机。
技术介绍
在实际场景中，环境中总是充斥了大量的噪声。为减小环境噪声对所希望的语音信号的影响，通常需要进行降噪处理。常用的降噪方法有单麦降噪和阵列降噪两种。单麦降噪通常采用基于统计学的降噪算法，在时域上设计最优滤波器，通常在降低噪声的同时也会带来有用信号的损失，因而其使用有一定的局限性。而麦克风阵列降噪算法，则是采用空间滤波器的方式，可以在不损失有用信号的同时，对噪声进行抑制。现实生活中有许多场景，需要对人们的说话内容进行采集和准确识别。而现有智能耳机功能较为单一，多只有放音的功能，少数带有拾音功能的智能耳机，只能简单的拾取佩戴者的音频，对拾取到的音频无法进行降噪处理，在噪声环境下表现较差。因此，如何对发音者发出的语音进行准确识别具有重要的研究意义。
技术实现思路
本技术提供一种基于声像耦合的语音采集智能耳机，解决现有智能耳机在复杂噪声环境下，不能准确对语音进行识别，存在降噪效果不好、识别准确率低的问题。能提高语音有效识别的准确率，增加智能耳机的智能性。为实现以上目的，本技术提供以下技术方案：一种基于声像耦合的语音采集智能耳机，包括：控制器、语音采集模块、图像采集模块和语音输出模块；所述控制器的第一输入端与所述语音采集模块的输出端相连，所述控制器的第二输入端与所述图像采集模块的输出端相连，所述控制器的输出端与所述语音输出模块的输入端相连；所述语音采集模块用于拾取发声者的语音信号；所述图像采集模块用于对发声者的嘴唇动作进行视频采集；所述控制器用于对所述语音信号进行降噪处理，并根据所述嘴唇动作对所述语音信号进行声像耦合，以得到识别后的音频信号；所述语音输出模块用于按所述音频信号输出语音，及对外部终端进行所述音频信号传输。优选的，所述语音采集模块包括：麦克风阵列和自动增益控制单元；所述自动增益控制单元与所述麦克风阵列信号连接，所述自动增益控制单元的输出端作为所述语音采集模块的输出端；所述自动增益控制单元用于对所述麦克风阵列产生多通道语音信号进行放大增益的自动调节，以去除各个通道的语音信号的截幅和/或失真。优选的，图像采集模块包括：摄像头和图像预处理单元；所述图像预处理单元与所述摄像头信号连接，所述图像预处理单元的输出端作为所述图像采集模块的输出端；所述图像预处理单元用于根据预设的图像处理算法对采集的图像进行嘴唇动作的特征提取。优选的，所述控制器为SOC片上系统。优选的，所述语音输出模块至少包括以下任一种：蓝牙通讯模块、移动通讯模块和量子通讯模块。优选的，还包括：按键；所述按键串接在所述控制器的第三输入端与数字地之间，所述按键用于切换所述语音输出模块的工作状态和休眠状态；在所述按键被按下时，所述语音输出模块将所述音频信号发送外部移动终端。优选的，还包括：耳机连接器、耳机主体、柔性连接杆、麦克风杆和摄像盒；所述耳机连接器的两端设有耳机罩，所述耳机连接器为可伸缩结构，所述耳机主体设置在所述耳机罩内，用于对所述麦克风阵列和所述摄像头采集到的信息进行处理，并播放指定音频，及与外部终端进行交互；所述柔性连接杆的一端设有旋转环，并通过所述旋转环与所述耳机主体相连接，所述柔性连接杆的另一端与所述麦克风杆的一端相连，所述麦克风杆的另一端与所述摄像盒相连。优选的，所述摄像盒内置有所述摄像头，所述摄像盒外设有滑盖，所述滑盖用于关闭或开启所述摄像盒的摄像窗口。优选的，所述耳机主体内设有扬声器、所述控制器、所述语音输出模块及相应电路。优选的，所述麦克风杆上均匀设有拾音孔，所述麦克风杆内设有所述麦克风阵列，所述麦克风阵列为硅麦。本技术提供一种基于声像耦合的语音采集智能耳机，通过图像采集模块采集嘴部动作，并由语音采集模块采集发声者的语音信号，并由控制器根据嘴部动作和语音信号进行声像耦合，得到音频信号，解决现有智能耳机在复杂噪声环境下，不能准确对语音进行识别，存在降噪效果不好、识别准确率低的问题。能提高语音有效识别的准确率，增加智能耳机的智能性。附图说明为了更清楚地说明本技术的具体实施例，下面将对实施例中所需要使用的附图作简单地介绍。图1是本技术提供的一种基于声像耦合的语音采集智能耳机示意图；图2是一实施例提供的智能耳机电路结构示意图；图3是本技术提供的智能耳机的结构示意图；图4是本技术提供的摄像盒结构示意图；图5是本技术提供的智能耳机收纳示意图。附图标记01控制器02语音采集模块03图像采集模块04语音输出模块1耳机连接器2耳机主体3柔性连接杆4拾音孔5摄像盒51滑盖6柔性连接杆7转动环8麦克风杆K按键具体实施方式为了使本
的人员更好地理解本技术实施例的方案，下面结合附图和实施方式对本技术实施例作进一步的详细说明。针对当前智能耳机功能较为单一，多只有放音的功能。少数带有拾音功能的智能耳机，只能简单的拾取佩戴者的音频，对拾取到的音频无法进行降噪处理，在噪声环境下表现较差，并且无法对佩戴者的嘴部动作进行视频采集，以提高语音识别的效果。本技术提供一种基于声像耦合的语音采集智能耳机，通过图像采集模块采集嘴部动作，并由语音采集模块采集发声者的语音信号，并由控制器根据嘴部动作和语音信号进行声像耦合，得到音频信号，解决现有智能耳机在复杂噪声环境下，不能准确对语音进行识别，存在降噪效果不好、识别准确率低的问题。能提高语音有效识别的准确率，增加智能耳机的智能性。如图1所示，一种基于声像耦合的语音采集智能耳机，包括：控制器01、语音采集模块02、图像采集模块03和语音输出模块04；所述控制器的第一输入端与所述语音采集模块的输出端相连，所述控制器的第二输入端与所述图像采集模块的输出端相连，所述控制器的输出端与所述语音输出模块的输入端相连。所述语音采集模块用于拾取发声者的语音信号。所述图像采集模块用于对发声者的嘴唇动作进行视频采集。所述控制器用于对所述语音信号进行降噪处理，并根据所述嘴唇动作对所述语音信号进行声像耦合，以得到识别后的音频信号；所述语音输出模块用于按所述音频信号输出语音，及对外部终端进行所述音频信号传输。具体地，语音采集模块采集发声者的语音并进行拾取，图像采集模块对发声者的嘴唇动作进行图像采集，控制器在获取到采集到的语音信号进行降噪处理，并将语音信号和嘴唇动作图像进行声像耦合，利用说话人嘴部动作的视频信息来对普通的语音识别算法进行辅助，往往能够取得优于仅使用语音信息进行语音识别时的效果。其中声像耦合技术可包括：对嘴唇动作的视频识别和语音识别的结果中带有置信度，通过对两者置本文档来自技高网...

【技术保护点】
1.一种基于声像耦合的语音采集智能耳机，其特征在于，包括：控制器、语音采集模块、图像采集模块和语音输出模块；/n所述控制器的第一输入端与所述语音采集模块的输出端相连，所述控制器的第二输入端与所述图像采集模块的输出端相连，所述控制器的输出端与所述语音输出模块的输入端相连；/n所述语音采集模块用于拾取发声者的语音信号；/n所述图像采集模块用于对发声者的嘴唇动作进行视频采集；/n所述控制器用于对所述语音信号进行降噪处理，并根据所述嘴唇动作对所述语音信号进行声像耦合，以得到识别后的音频信号；/n所述语音输出模块用于按所述音频信号输出语音，及对外部终端进行所述音频信号传输。/n

【技术特征摘要】
1.一种基于声像耦合的语音采集智能耳机，其特征在于，包括：控制器、语音采集模块、图像采集模块和语音输出模块；
所述控制器的第一输入端与所述语音采集模块的输出端相连，所述控制器的第二输入端与所述图像采集模块的输出端相连，所述控制器的输出端与所述语音输出模块的输入端相连；
所述语音采集模块用于拾取发声者的语音信号；
所述图像采集模块用于对发声者的嘴唇动作进行视频采集；
所述控制器用于对所述语音信号进行降噪处理，并根据所述嘴唇动作对所述语音信号进行声像耦合，以得到识别后的音频信号；
所述语音输出模块用于按所述音频信号输出语音，及对外部终端进行所述音频信号传输。


2.根据权利要求1所述的基于声像耦合的语音采集智能耳机，其特征在于，所述语音采集模块包括：麦克风阵列和自动增益控制单元；
所述自动增益控制单元与所述麦克风阵列信号连接，所述自动增益控制单元的输出端作为所述语音采集模块的输出端；
所述自动增益控制单元用于对所述麦克风阵列产生多通道语音信号进行放大增益的自动调节，以去除各个通道的语音信号的截幅和/或失真。


3.根据权利要求2所述的基于声像耦合的语音采集智能耳机，其特征在于，图像采集模块包括：摄像头和图像预处理单元；
所述图像预处理单元与所述摄像头信号连接，所述图像预处理单元的输出端作为所述图像采集模块的输出端；
所述图像预处理单元用于根据预设的图像处理算法对采集的图像进行嘴唇动作的特征提取。


4.根据权利要求3所述的基于声像耦合的语音采集智能耳机，其特征在于，所述控制器为SOC片上系统。


5.根据权...

【专利技术属性】
技术研发人员：李清，赵亚非，
申请(专利权)人：科大讯飞股份有限公司，
类型：新型
国别省市：安徽;34