一种声像联合定位的远距离语音采集装置制造方法及图纸

针对远距离、噪声背景下语音采集的难点，结合视频摄像头、麦克风阵列进行声像联合确定目标说话人，从而解决单纯使用摄像头、高指向性麦克风或麦克风阵列存在的目标说话人确定困难、需机械转动装置等问题，本发明专利技术提出结合监控摄像头、麦克风阵列波束成形技术的一种语音采集装置进行声像联合确定目标说话人定位，从而改善环境噪声条件下室外远距离语音增强采集的性能。

Remote sound collecting device with sound image combined positioning

Aiming at the problem of speech distance and background noise acquisition, imaging to determine the target speaker with a video camera, microphone array, so as to solve the simple use of camera, pointing to the existence of high target speaker microphone or microphone array is difficult to determine, mechanical rotary device, the invention provides a voice acquisition device with surveillance cameras and microphones array beam forming technology of ultrasonic combined to determine the target speaker localization, so as to improve the acquisition performance under ambient noise conditions of outdoor long distance speech enhancement.

【技术实现步骤摘要】
一种声像联合定位的远距离语音采集装置
本专利技术涉及一种语音采集装置，尤其是涉及一种声像联合定位的远距离语音采集装置。
技术介绍
在安保、安防等领域，各类视频监控系统已经得到广泛应用。依托各类视频监控系统，可以对远距离视频中相关人员进行确认、甄别。在利用视频监控系统进行远距离嫌疑人确认、甄别时如能通过远距离语音采集利用语言、对话信息，将可大大影响了工作效率。但在实际环境背景噪声条件下进行远距离语音采集仍具有极高难度。由于环境噪声的存在，远距离语音采集时必须利用采集装置的高指向性来保证采集的远距离语音质量。目前的远距离语音采集装置主要采用干涉管结构的枪式麦克风形成高指向性。如中国专利ZL2010101269089公开一种拾音装置，其包括：容置体、第一压电元件、第二压电元件及电路单元，该容置体具有拾音口，该第压电元件设置于容置体内，以感测高频声波的振动而转换输出信号，该第二压电元件设置于容置体内，以感测低频声波的振动而转换输出信号，该电路单元电连接于第一压电元件及第二压电元件，以接收第一压电元件及第二压电元件的信号，并进行处理产生声音信号；因此，具有较好的感测灵敏度及较宽广的音频，可提升音质。中国专利ZL2010591158.2公开了一种视频定位的长距离拾音装置，通过在以摄像机为中心的圆周安装2个内置指向麦克风的声聚焦结构桶体形成高指向性，结合桶体侧壁外安装2个拾取环境噪声的全向麦克风获取参考噪声，声聚焦结构桶体随摄像头转动，操作人员根据视频图像内容进行视频定位后该装置只获取与摄像头同方向的语音信号，并利用数字信号处理器进行自适应降噪处理。但由于上述形成高指向性的远距离语音采集装置均只能在装置正前方形成固定的高指向性波束，在实际使用中需通过装置的转动来对准运动的远距离说话人目标，增加了额外的机械机械随动控制成本；同时，考虑到视频监控对远距离目标具有较大视场，从远距离视频图像中随可通过对焦看到人像，但往往无法直接鉴别、发现说话动作，导致视频摄像头和远距离拾音装置进行机械移动对准目标说话人时存在不易同步的问题，也将造成监控系统设计使用上的不方便。麦克风阵列由多个麦克风按照一定拓扑结构组成，可通过波束成形算法对不同方向上的信号形成不同响应，也即阵列的空间指向特性，使阵列麦克风具有声源定位和跟踪、语音提取和分离以及去噪等功能，从而提高在复杂背景下的语音信号质量，弥补孤立麦克风无法获取和利用空间信息的缺陷，并可避免采用机械转动装置来对准目标说话人。中国专利ZL2013102011025公开一种远距离语音识别中的模型域补偿新方法，该方法针对麦克风阵列在室内远距离语音采集和识别中的困难提出模拟室内的混响声学环境，并通过输入的室内空间尺寸生成不同位置的房间冲击响应序列，从而在模型域进行室内远距离语音的补偿提高采集和识别处理性能。但对于安保、安防等领域的室外场景远距离语音采集场合，所需进行语音采集的说话人对象距离远大于室内应用场景，且存在严重的环境噪声。此时，单纯依靠麦克风阵列算法很难获得说话人方向从而进行语音增强和采集。
技术实现思路
针对远距离、噪声背景下语音采集的难点，结合视频摄像头、麦克风阵列进行声像联合确定目标说话人，从而解决单纯使用摄像头、高指向性麦克风或麦克风阵列存在的目标说话人确定困难、需机械转动装置等问题，本专利技术提出结合监控摄像头、麦克风阵列波束成形技术的一种语音采集装置进行声像联合确定目标说话人定位，从而改善环境噪声条件下室外远距离语音增强采集的性能。一种声像联合定位的远距离语音采集装置，包括以下模块，监控摄像头：用于采集远距离视频图像；麦克风阵列：用于语音信号多通道采集、前置处理和模数转换；波束扫描模块，其输入端连接麦克风阵列输出端：用于进行波束扫描，获取远距离语音和噪声的方向分布信息；声像联合处理模块，其输入端分别连接监控摄像头与波束扫描模块的输出端：用于将监控摄像头传输的图像信息、波束扫描模块获取的语音和噪声方向信息经坐标转换后送入设有的声像联合监控显示屏进行声像联合定位显示；声像联合监控显示屏，其输入端连接声像联合处理模块输出端：用于接收声像联合成像处理模块送来的声像联合信息并进行屏幕显示。目标选定模块：用于监控操作人员根据声像联合监控显示屏上的图像、声音联合信息选定目标说话人。波束对准模块，其输入端分别连接目标选定模块与麦克风阵列的输出端：根据目标选定模块选定的目标说话人对于方向进行麦克风阵列波束对准。语音采集模块，其输入端连接波束对准模块的输出端：对波束对准模块的语音信息进行采集。所述麦克风阵列包括增强模块，所述麦克风阵列各通道语音信号输出端经增强模块分别连接波束扫描模块与波束对准模块，所述增强模块用于增强麦克风阵列的语音信息。所述增强模块包括前置放大电路与模数转换器。所述麦克风阵列包括反射罩：用于安装在麦克风上进行语音信号聚焦；所述目标选定模块设有鼠标输入端，操作人员通过观察声像联合监控显示屏通过鼠标输入端选定目标说话人，目标选定模块经坐标转换后输出目标说话人的方向信息至波束对准模块。使用所述声像联合定位的远距离语音采集装置的步骤如下：一个初始化步骤：各模块参数初始化设置；一个视频采集步骤：监控摄像头采集远距离视频图像；一个波束扫描步骤：麦克风阵列对远距离语音和信号进行方向扫描，获取方向分布信息；一个声像联合处理步骤：将波束扫描结果进行坐标转换后合并加入视频图像，形成声像联合视频图像。一个声像联合显示步骤：声像联合显示屏将声像联合处理结果进行显示；一个目标选定步骤：操作人员在声像联合显示屏上结合图像、声音信息利用鼠标选定目标说话人，并通过坐标转换输出目标说话的方向信息；一个波束对准步骤：将选定的目标说话人方向输入麦克风阵列进行波束对准；一个语音采集步骤：对麦克风阵列波束对准信号进行采集。附图说明图1为本专利技术实施例的结构组成框图；图2为本专利技术实施例的麦克风反射罩示意图；图3为本专利技术实施例的5元麦克风阵列及其与微处理器连接电路图；图4为本专利技术实施例的波束扫描原理示意图；图5为本专利技术实施例的摄像头与微处理器连接电路图。具体实施方式为了使本专利技术的
技术实现思路
、特征、优点更加明显易懂，以下实施例将结合附图对本专利技术作进一步的说明。所述声像联合定位的阵列式远距离语音采集装置实施例中麦克风阵列由5个等间距排列的麦克风(m0，m1，…，m4)组成麦克风线列阵，阵列中各麦克风安装有图2所示反射罩，反射罩的反射面与中轴线成45度，反射罩材料为不锈钢以适应本专利技术装置的室外安装使用，本实施例中为了聚焦远距离语音，设置发射罩直径d0＝40cm。麦克风阵列获得的语音信号利用波束扫描算法进行波束扫描获取远距离语音和噪声的方向分布信息。麦克风阵列由麦克风及硬件电路组成，其中麦克风阵列由体积小、结构简单、电声性能好的全向麦克风m0，…，m4，NJM2100运算放大器芯片构成的前置放大电路及MAX118模数转换芯片构成(如图3所示)，在本实施例中，为了采集远距离语音，设置麦克风间距d＝40cm。波束扫描模块、声像联合处理模块、波束对准与增强模块、目标选定模块等组成模块均属于数字信号处理模块，在本实施例中采用ARM9S3C2440微处理器进行软件编程实现。麦克风阵列与微处理器的连接方式为：麦克风阵列中5个麦克风输出信号本文档来自技高网...

【技术保护点】
一种声像联合定位的远距离语音采集装置，其特征在于：包括以下模块，监控摄像头：用于采集远距离视频图像；麦克风阵列：用于语音信号多通道采集、前置处理和模数转换；波束扫描模块，其输入端连接麦克风阵列输出端：用于进行波束扫描，获取远距离语音和噪声的方向分布信息；声像联合处理模块，其输入端分别连接监控摄像头与波束扫描模块的输出端：用于将监控摄像头传输的图像信息、波束扫描模块获取的语音和噪声方向信息经坐标转换后送入设有的声像联合监控显示屏进行声像联合定位显示；声像联合监控显示屏，其输入端连接声像联合处理模块输出端：用于接收声像联合成像处理模块送来的声像联合信息并进行屏幕显示；目标选定模块：用于监控操作人员根据声像联合监控显示屏上的图像、声音联合信息选定目标说话人；波束对准模块，其输入端分别连接目标选定模块与麦克风阵列的输出端：根据目标选定模块选定的目标说话人对于方向进行麦克风阵列波束对准；语音采集模块，其输入端连接波束对准模块的输出端：对波束对准模块的语音信息进行采集。

【技术特征摘要】
1.一种声像联合定位的远距离语音采集装置，其特征在于：包括以下模块，监控摄像头：用于采集远距离视频图像；麦克风阵列：用于语音信号多通道采集、前置处理和模数转换；波束扫描模块，其输入端连接麦克风阵列输出端：用于进行波束扫描，获取远距离语音和噪声的方向分布信息；声像联合处理模块，其输入端分别连接监控摄像头与波束扫描模块的输出端：用于将监控摄像头传输的图像信息、波束扫描模块获取的语音和噪声方向信息经坐标转换后送入设有的声像联合监控显示屏进行声像联合定位显示；声像联合监控显示屏，其输入端连接声像联合处理模块输出端：用于接收声像联合成像处理模块送来的声像联合信息并进行屏幕显示；目标选定模块：用于监控操作人员根据声像联合监控显示屏上的图像、声音联合信息选定目标说话人；波束对准模块，其输入端分别连接目标选定模块与麦克风阵列的输出端：根据目标选定模块选定的目标说话人对于方向进行麦克风阵列波束对准；语音采集模块，其输入端连接波束对准模块的输出端：对波束对准模块的语音信息进行采集。2.根据权利要求1所述的一种声像联合定位的远距离语音采集装置，其特征在于：所述麦克风阵列包括增强模块，所述麦克风阵列各通道语音信号输出端经增强模块分别连接波束扫描模块与波束对准模块，所述增强模块用于增强麦克风阵列的语音信息。3.根据权利...

【专利技术属性】
技术研发人员：朱沄杰，徐伟明，何颋，黄松岳，
申请(专利权)人：宁波桑德纳电子科技有限公司，
类型：发明
国别省市：浙江,33