一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法和装置制造方法及图纸

本发明专利技术公开一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法和装置。本方法采用一种时频域加权机制选择单声源主导时频带，避免了多声源定位中出现的声源相互影响的问题，一定程度上抑制混响噪声影响；利用空间相关矩阵主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，可以有效地反映声源的位置信息；采用局部谱分配方法综合多个时频带得到半局部谱，并采用粒子滤波器考虑帧间连续信息对声源进行跟踪，进一步提升了连续定位的准确性。本发明专利技术的优势在于为实际应用中多移动声源同时发声的声学场景提供了一种有效的声源定位思路。

【技术实现步骤摘要】
一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法和装置
本专利技术属于机器人听觉麦克风阵列信号处理领域，具体涉及一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法和装置。
技术介绍
机器人听觉系统是一种自然、方便、有效、智能的机器人与外界系统交互的方式。声音空间方位信息的辨识对于机器人至关重要，机器人通过辨识声音方位可以获取视野之外的、更加全面的环境信息，从而对周围环境信息做出智能的判断、分析与处理。基于麦克风阵列的机器人听觉声源定位是指利用搭载在机器人上或者外部设备上的麦克风阵列实时定位出声源的相对位置。该技术涉及到人工智能、信号处理、听觉生理学和认知科学等多个学科，在移动机器人、智能监控、视频会议、虚拟现实等领域中有着重要的应用。该技术受到了国内外多所知名机构的广泛关注，例如法国国家信息与自动化研究所(INRIA)、伦敦玛丽王后大学智能传感中心(CIS)、北京大学、中国科学院自动化所、中国科学院声学所等研究机构。声源定位技术解决了利用麦克风音频数据来估计声源位置信息的问题。由于它直接接收来自麦克风的数据，最终提供一个声源位置估计值，因此可以将声源定位描述为一个端到端的技术。它通常包含两个数据处理阶段，首先从输入信号中提取与位置相关的特征，然后建立特征到位置的映射从而依据位置特征获取声源的位置信息。声源定位技术研究可以大致分为：到达时间差技术(Timedifferenceofarrival,TDOA)、基于最大输出功率的可控波束形成技术(Steeredbeamforming)、高分辨率谱估计技术(Highresolutionspectralestimation)等。基于到达时间差的定位技术是一种两步定位方法，首先估计出声源信号到达各个麦克风之间的时间延迟，然后利用几何定位方法求出声源位置。该方法计算量小，可实时实现。但是，时延估计阶段造成的误差会进一步传递到下一步的位置估计从而产生误差积累；为了取得较高的分辨率，往往对信号采样率要求较高；并且该方法比较适合单源的定位，对于多个同时发声的声源较难提取多个传感器信号对之间的时间差容易产生混淆。波束形成技术对麦克风接受到的声源信号滤波并加权求和形成波束，按照某种搜索策略全局搜索可能的声源位置来引导波束，波束输出功率最大的位置即为声源位置。该方法的定位性能取决于麦克风阵列方向图的主瓣和旁瓣的分布，通常要求大量的麦克风以取得较好的方向图；传统搜索算法的初始搜索点不易选定，容易陷入局部最小点，遍历式的搜索方法的运算量极大。高分辨率谱估计技术一种超分辨率的估计技术，其空间分辨率不会受到信号采样频率的限制，并且在一定条件下可以实现任意定位精度；但其易受空间声学噪声的干扰，需要对整个空间进行搜索来确定声源的位置，计算复杂度偏高。尽管机器人听觉声源定位技术的研究已经取得了很大的进展，但是该技术在复杂的实际应用场景下仍然面临着很多挑战，比如声学干扰(噪声、混响等)，多声源同时发声，声源移动等。因此，这对实用化声源定位方法提出了要求。
技术实现思路
本专利技术针对实际应用中多移动声源同时发声的声学场景，提出了一种基于信号子空间相似度谱和自适应粒子滤波器的多声源连续定位方法和装置。本专利技术采用的技术方案如下：一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法，包括以下步骤：1)将输入的多路麦克风信号变换到时频域，在时频域估计空间相关矩阵；2)利用空间相关矩阵的特征值所包含的声源能量信息，采用时频域加权机制选择单声源主导的时频带，从而将多声源定位模型简化为时频域的单声源模型；3)在步骤2)得到的单声源主导的时频带中，利用空间相关矩阵的主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，用以反应来自不同声源候选方向的可能性；4)将从属于不同声源的局部信号子空间相似度谱进行聚类，构建半局部信号子空间相似度谱并估计声源的到达方向(Directionofarrival,DOA)；5)将每个声源的半局部信号子空间相似度谱归一化并作为伪似然函数，依据不同时间帧间声源空间位置连续的特征采用粒子滤波方法对声源进行跟踪。进一步地，步骤2)所述时频域加权机制为：当空间相关矩阵的最大特征值和次最大特征值的比大于预先设定的阈值时，该空间相关矩阵对应的时频带的权重设置为1，否则为0。进一步地，步骤3)根据麦克风阵列的几何关系，得到指向不同声源候选方向的方向向量，并依据其与空间相关矩阵主特征向量的相关性，构建局部信号子空间相似度谱。进一步地，步骤4)采用迭代的局部谱分配方法进行所述聚类。该局部谱分配方法需要将所有单声源主导时频带的局部信号子空间相似度谱进行加和，找到峰值用于初始化多声源的DOA值。该方法的迭代过程主要包含两个步骤：a)找到各个单声源主导的时频带的主导声源，将从属于同一主导声源的时频带聚类；b)对于每个主导声源，将相应时频带的局部信号子空间相似度谱进行加和得到半局部信号子空间相似度谱，并找到峰值用于重新估计多声源的DOA值。进一步地，步骤5)涉及到一种基于半局部信号子空间相似度谱的粒子滤波声源跟踪方法。该方法将多声源估计的DOA分配至对应的粒子滤波器，并将DOA对应的归一化半局部信号子空间相似度谱作为粒子滤波器的伪似然函数以实现粒子权重更新。该方法过程主要包含三个步骤：a)根据预先定义好的运动模型和前一时刻粒子的状态，对当前时刻的粒子状态进行预测；b)将归一化的半局部信号子空间相似度谱作为伪似然函数，该函数用于更新粒子的权重；c)根据粒子的权重和粒子状态，进行归一化加权求和以获得最终的声源DOA估计。一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位装置，其包括：空间相关矩阵估计模块，负责将输入的多路麦克风信号变换到时频域，在时频域估计空间相关矩阵；单声源主导时频带选择模块，负责利用空间相关矩阵的特征值所包含的声源能量信息，采用时频域加权机制选择单声源主导的时频带，从而将多声源定位模型简化为时频域的单声源模型；局部谱构建模块，负责在单声源主导的时频带中，利用空间相关矩阵的主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，用以反应来自不同声源候选方向的可能性；半局部谱构建模块，负责将从属于不同声源的局部信号子空间相似度谱进行聚类，构建半局部信号子空间相似度谱并估计其到达方向；粒子滤波声源跟踪模块，负责将每个声源的半局部信号子空间相似度谱归一化并作为伪似然函数，依据不同时间帧间声源空间位置连续的特征采用粒子滤波方法对声源进行跟踪。本专利技术通过选择单声源主导的时频带避免了多声源定位中出现的声源相互影响的问题，一定程度上抑制混响噪声影响；通过构建信号子空间相似度谱可以有效地反映声源的位置信息；采用局部谱分配方法综合多个时频带得到半局部信号子空间相似度谱，并采用粒子滤波器考虑帧间连续信息对声源进行跟踪，进一步提升了连续定位的准确性。附图说明图1.本专利技术方法的总体流程图。图2.理论上不同频带的局部信号子空间相似度谱。图3.粒子滤波前后估计得到的DOA。具体实施方式下面结合具体实施例和附图，对本专利技术做进一步详细说明。参考图1，是本专利技术方法的流程图，主要包括以下步骤：步骤1：空间相关矩阵估计首先对麦克风阵列时域信号进行加窗分帧并进行短时傅里叶变换变换到频域，然后在时本文档来自技高网...

【技术保护点】
1.一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法，其步骤包括：1)将输入的多路麦克风信号变换到时频域，在时频域估计空间相关矩阵；2)利用空间相关矩阵的特征值所包含的声源能量信息，采用时频域加权机制选择单声源主导的时频带，从而将多声源定位模型简化为时频域的单声源模型；3)在单声源主导的时频带中，利用空间相关矩阵的主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，用以反应来自不同声源候选方向的可能性；4)将从属于不同声源的局部信号子空间相似度谱进行聚类，构建半局部信号子空间相似度谱并估计其到达方向；5)将每个声源的半局部信号子空间相似度谱归一化并作为伪似然函数，依据不同时间帧间声源空间位置连续的特征采用粒子滤波方法对声源进行跟踪。

【技术特征摘要】
1.一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法，其步骤包括：1)将输入的多路麦克风信号变换到时频域，在时频域估计空间相关矩阵；2)利用空间相关矩阵的特征值所包含的声源能量信息，采用时频域加权机制选择单声源主导的时频带，从而将多声源定位模型简化为时频域的单声源模型；3)在单声源主导的时频带中，利用空间相关矩阵的主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，用以反应来自不同声源候选方向的可能性；4)将从属于不同声源的局部信号子空间相似度谱进行聚类，构建半局部信号子空间相似度谱并估计其到达方向；5)将每个声源的半局部信号子空间相似度谱归一化并作为伪似然函数，依据不同时间帧间声源空间位置连续的特征采用粒子滤波方法对声源进行跟踪。2.如权利要求1所述的方法，其特征在于，步骤3)利用空间相关矩阵的主特征向量与指向真实声源方向的方向向量之间的相关性，在单声源主导的时频带构建局部信号子空间相似度谱。3.如权利要求2所述的方法，其特征在于，所述局部信号子空间相似度谱按如下公式进行计算：其中，q1(n,f)表示空间相关矩阵主特征向量，n表示时间帧的索引，f表示频带的索引，e(f,θ)表示指向方向θ的方向向量，σ为可调参数。4.如权利要求1所述的方法，其特征在于，步骤4)采用局部谱分配方法进行所述聚类，所述局部谱分配方法的迭代过程包括以下步骤：4-1)找到各个单声源主导的时频带的主导声源，将从属于同一主导声源的时频带聚类；4-2)对于每个主导声源，将相应时频带的局部信号子空间相似度谱进行加和得到半局部谱，并找到峰值用于重新估计多声源的DOA值。5.如权利要求4所述的方法，其特征在于，步骤4-1)按如下公式找到各个时频带的主导声源并对从属于同一主导声源的时频带聚类：其中，kd(n,f)表示各个时频带的主导声源的索引，表示局部信号子空间相似度谱中的峰值对应的DOA值，WB(n,f,k)表示从属于第k个声源的...

【专利技术属性】
技术研发人员：刘宏，杨冰，兰海鹏，庞程，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东,44