一种声学与图像信号混合终端及其处理方法技术

本发明专利技术公开了声学与图像信号混合终端，包括声学传感器阵列，数字声信号处理模块，图像传感器，位于声学传感器阵列的中心，和主控单元，声学传感器阵列上设有8个支路，且在每个支路上设有8个声学传感器单元，且该8个声学传感器单元包括4个主通道传感器和4个附属通道传感器，每个主通道传感器与其相对应的附属通道传感器电连接，声学传感器单元在曲面或平面上均匀分布；主控单元发出时钟源信号，经过多层分级向声学传感器阵列上的声学传感器单元传递来自同一时钟源的时钟信号，有效保证声学传感器单元的时钟信号同步，降低时钟信号的同步误差，提高声学传感器的数据采样的可靠性。

A Mixed Terminal of Acoustic and Image Signals and Its Processing Method

The invention discloses an acoustic and image signal mixing terminal, which includes an acoustic sensor array, a digital acoustic signal processing module, an image sensor, located in the center of the acoustic sensor array, and a main control unit. The acoustic sensor array has eight branches, and eight acoustic sensor units are arranged on each branch. The eight acoustic sensor units include four main channel sensors and four main channel sensors. Four accessory channel sensors, each main channel sensor is electrically connected with its corresponding accessory channel sensor, and the acoustic sensor units are evenly distributed on the surface or plane. The main control unit sends out the clock source signal, and transmits the clock signal from the same clock source to the acoustic sensor unit on the acoustic sensor array through multi-layer hierarchical structure, effectively ensuring the time of the acoustic sensor unit. \u949f\u4fe1\u53f7\u540c\u6b65\uff0c\u964d\u4f4e\u65f6\u949f\u4fe1\u53f7\u7684\u540c\u6b65\u8bef\u5dee\uff0c\u63d0\u9ad8\u58f0\u5b66\u4f20\u611f\u5668\u7684\u6570\u636e\u91c7\u6837\u7684\u53ef\u9760\u6027\u3002

【技术实现步骤摘要】
一种声学与图像信号混合终端及其处理方法
本专利技术属于声源分析
，尤其是涉及一种声学与图像信号混合终端及其处理方法。
技术介绍
近年来，网络科技越来越发达，网络科技应用在商业洽谈、公共场所监控、网络互动平台等多个领域。目前，在声音与图像综合采集技术中，在同一空间内，通过声学传感器阵列采集空间中的声音信号，当声源距离声学传感器阵列较远时，对声源采集的声音信号清晰度低，直接影响后期对有效声音的获取与分析，当声源周围环境变化较大时，不能随着环境的变化而进行调整，导致无法准确获取清晰无误的有效声音信号。另外，现有的声学传感器阵列是由不同的时钟源分别将信号发送至不同的传感器中，造成信号采集的同步性差，从而影响声学传感器阵列采集的精度。
技术实现思路
本专利技术的目的是提供一种结构简单、声学传感器的信号同步性高、对声源高效定位的声学与图像信号混合终端。本专利技术的技术方案如下：一种声学与图像信号混合终端，包括：声学传感器阵列，用于感应采集声源的声音信号；数字声信号处理模块，用于接收所述声音信号进行处理并转换为数字信号；图像传感器，位于所述声学传感器阵列的中心，用于拍摄所述声源的光学图像；主控单元，用于接收所述数字信号和光学图像，并根据所述数字信号和光学图像处理得到声学数据帧和图像数据帧；所述声学传感器阵列上设有8个支路，且在每个所述支路上设有8个声学传感器单元，且该8个声学传感器单元包括4个主通道传感器和4个附属通道传感器，每个所述主通道传感器与其相对应的附属通道传感器电连接，所述声学传感器单元在曲面或平面上均匀分布；其中，所述主控单元中包括：晶体振荡器，用于发出位时钟信号和字节时钟信号；位时钟锁相环，用于将所述位时钟信号发送至位时钟分配单元中；字节锁相环，用于将所述字节时钟信号发送至字节时钟分配单元中；位时钟分配单元，用于接收所述位时钟信号并分配出与转换器相对应的输出的位时钟信号；字节时钟分配单元，用于接收所述位时钟信号并分配出与转换器相对应的输出的字节时钟信号；转换器，用于接收所述输出的位时钟信号及字节时钟信号并将两个输出信号转换输出至所述主通道传感器中。在上述技术方案中，所述声学与图像信号混合终端还包括用于对所述主控单元供电的供电单元。在上述技术方案中，所述供电单元包括：电压转换模块，用于将交流电转换为直流电并供电给所述主控单元；备用电源模块，用于在断电情况下供电给所述主控单元；控制开关，用于控制所述主控单元的开闭。在上述技术方案中，每个所述主通道传感器对应电连接一个所述转换器，且所述转换器的数量为32个。在上述技术方案中，所述位时钟分配单元中包括8个位时钟分配器，所述位时钟分配器采用一分四时钟分配器。在上述技术方案中，所述字节时钟分配单元中包括8个字节时钟分配器，所述字节时钟分配器采用一分四时钟分配器。在上述技术方案中，所述主控单元采用FPGA芯片。在上述技术方案中，所述图像传感器采用面阵型可见光图像传感器。在上述技术方案中，所述声学传感器单元在曲面或平面上呈螺旋渐开型圆阵分布。本专利技术的另一个目的是提供一种基于声学与图像信号混合终端的处理方法，包括以下步骤：(1)启动声学与图像信号混合终端，主控单元中的晶体振荡器分别通过位时钟锁相环及字节时钟锁相环转换发出位时钟信号及字节时钟信号，并将位时钟信号及字节时钟信号发送至位时钟分配单元及字节时钟分配单元中；(2)位时钟分配单元及字节时钟分配单元分别通过8个位时钟分配器与8个字节时钟分配器将位时钟信号及字节时钟信号分配出32个位时钟输出信号及32个字节时钟输出信号，并将所述32个位时钟输出信号及32个字节时钟输出信号发送至与其逐一对应的32个转换器中；(3)32个转换器在接收到32个位时钟输出信号及32个字节时钟输出信号后，将其转换为32个输出信号，并将32个输出信号发送至与其逐一对应的32个主通道传感器中，通过每个主通道传感器将信号传送至对应的附属通道传感器中，从而完成声学传感器单元的位时钟信号及字节时钟信号的同步；(4)时钟信号激励后的声学传感器阵列开始工作，采集声源的声音信号，将所述声音信号发送至数字声信号处理模块中，数字声信号处理模块进行滤波和数字信号转换，对该声音信号进行处理转换为数字信号，；(5)所述数字声学信号处理模块将处理后的数字信号发送至主控单元，主控单元采用时分复用与空分复用技术，截取声学传感器单元中采集到的声音信号中的20位数据，在声源最弱时截取20位数据中的0-15位，声源稍强时截取20位数据中的1-16位，以此类推，根据声源的实际情况，声学传感器单元的每一路输出信号都会被截取得到16位有效数据；(6)图像传感器中的摄像头拍摄声源所处的光学图像，将所述光学图像发送至主控单元；(7)所述主控单元接收所述数字信号与光学图像，并根据所述数字信号与光学图像处理成声学数据帧和图像数据帧。本专利技术具有的优点和积极效果是：1.主控单元发出时钟源信号，经过多层分级向声学传感器阵列上的声学传感器单元传递来自同一时钟源的时钟信号，有效保证声学传感器单元的时钟信号同步，降低时钟信号的同步误差，提高声学传感器的数据采样的可靠性。2.主控单元进行声学数据组帧时采用时分复用及空分复用技术，对主通道传感器与附属通道传感器输出的信号进行处理，截取有效数据进行组帧，提高数据的整体性，保证数据传输的统一性。3.备用电源模块能够在断电或其他意外情况发生时能够继续为声学与图像信号混合终端继续供电，支持声学与图像信号混合终端继续工作。附图说明图1是本专利技术的声学与图像信号混合终端的结构示意图；图2是本专利技术中声学传感器阵列的时钟同步网络示意图；图3是本专利技术中供电单元的结构示意图。具体实施方式以下结合具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术，决不限制本专利技术的保护范围。实施例1如图所示，本专利技术的声学与图像信号混合终端，包括：声学传感器阵列，用于感应采集声源的声音信号；数字声信号处理模块，用于接收声音信号进行处理并转换为数字信号；图像传感器，位于声学传感器阵列的中心，用于拍摄声源的光学图像；主控单元，用于接收数字信号和光学图像，并根据数字信号和光学图像处理得到声学数据帧和图像数据帧；声学传感器阵列上设有8个支路，且在每个支路上设有8个声学传感器单元，且该8个声学传感器单元包括4个主通道传感器和4个附属通道传感器，每个主通道传感器与其相对应的附属通道传感器电连接，声学传感器单元在曲面或平面上呈螺旋渐开型圆阵分布；其中，主控单元(FPGA芯片)中包括：晶体振荡器，用于发出位时钟信号和字节时钟信号；位时钟锁相环，用于将位时钟信号发送至位时钟分配单元中；字节锁相环，用于将字节时钟信号发送至字节时钟分配单元中；位时钟分配单元，用于接收位时钟信号并分配出与转换器相对应的输出的位时钟信号；字节时钟分配单元，用于接收位时钟信号并分配出与转换器相对应的输出的字节时钟信号；转换器，用于接收输出的位时钟信号及字节时钟信号并将两个输出信号转换输出至主通道传感器中。进一步地说，每个主通道传感器对应电连接一个转换器，且转换器的数量为32个，位时钟分配单元中包括8个位时钟分配器，位时钟分配器采用一分四时钟分配器，字节时钟分配单元中包括8个字节时钟分配器，字本文档来自技高网...

【技术保护点】
1.一种声学与图像信号混合终端，其特征在于，包括：声学传感器阵列，用于感应采集声源的声音信号；数字声信号处理模块，用于接收所述声音信号进行处理并转换为数字信号；图像传感器，位于所述声学传感器阵列的中心，用于拍摄所述声源的光学图像；主控单元，用于接收所述数字信号和光学图像，并根据所述数字信号和光学图像处理得到声学数据帧和图像数据帧；所述声学传感器阵列上设有8个支路，且在每个所述支路上设有8个声学传感器单元，且该8个声学传感器单元包括4个主通道传感器和4个附属通道传感器，每个所述主通道传感器与其相对应的附属通道传感器电连接，所述声学传感器单元在曲面或平面上均匀分布；其中，所述主控单元中包括：晶体振荡器，用于发出位时钟信号和字节时钟信号；位时钟锁相环，用于将所述位时钟信号发送至位时钟分配单元中；字节锁相环，用于将所述字节时钟信号发送至字节时钟分配单元中；位时钟分配单元，用于接收所述位时钟信号并分配出与转换器相对应的输出的位时钟信号；字节时钟分配单元，用于接收所述位时钟信号并分配出与转换器相对应的输出的字节时钟信号；转换器，用于接收所述输出的位时钟信号及字节时钟信号并将两个输出信号转换输出至所述主通道传感器中。...

【技术特征摘要】
1.一种声学与图像信号混合终端，其特征在于，包括：声学传感器阵列，用于感应采集声源的声音信号；数字声信号处理模块，用于接收所述声音信号进行处理并转换为数字信号；图像传感器，位于所述声学传感器阵列的中心，用于拍摄所述声源的光学图像；主控单元，用于接收所述数字信号和光学图像，并根据所述数字信号和光学图像处理得到声学数据帧和图像数据帧；所述声学传感器阵列上设有8个支路，且在每个所述支路上设有8个声学传感器单元，且该8个声学传感器单元包括4个主通道传感器和4个附属通道传感器，每个所述主通道传感器与其相对应的附属通道传感器电连接，所述声学传感器单元在曲面或平面上均匀分布；其中，所述主控单元中包括：晶体振荡器，用于发出位时钟信号和字节时钟信号；位时钟锁相环，用于将所述位时钟信号发送至位时钟分配单元中；字节锁相环，用于将所述字节时钟信号发送至字节时钟分配单元中；位时钟分配单元，用于接收所述位时钟信号并分配出与转换器相对应的输出的位时钟信号；字节时钟分配单元，用于接收所述位时钟信号并分配出与转换器相对应的输出的字节时钟信号；转换器，用于接收所述输出的位时钟信号及字节时钟信号并将两个输出信号转换输出至所述主通道传感器中。2.根据权利要求1所述的声学与图像信号混合终端，其特征在于：所述声学与图像信号混合终端还包括用于对所述主控单元供电的供电单元。3.根据权利要求2所述的声学与图像信号混合终端，其特征在于：所述供电单元包括：电压转换模块，用于将交流电转换为直流电并供电给所述主控单元；备用电源模块，用于在断电情况下供电给所述主控单元；控制开关，用于控制所述主控单元的开闭。4.根据权利要求3所述的声学与图像信号混合终端，其特征在于：每个所述主通道传感器对应电连接一个所述转换器，且所述转换器的数量为32个。5.根据权利要求4所述的声学与图像信号混合终端，其特征在于：所述位时钟分配单元中包括8个位时钟分配器，所述位时钟分配器采用一分四时钟分配器。6.根据权...

【专利技术属性】
技术研发人员：陈劲，刘荣，闫磊，佟颖，李凯凯，段发阶，关升，蒋佳佳，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津,12