【技术实现步骤摘要】
本专利技术属于声学场景感知，具体涉及一种声学非视距车辆靠近和远离检测方法。
技术介绍
1、现有车辆主要依赖的传感系统需要被检测物体处于直接视距范围内，当视线被墙壁等障碍物遮挡时，这些传感系统无法检测非视距车辆，存在与非视距车辆发生碰撞的危险，因此，开展非视距车辆感知方法研究对交通安全有着重要的意义。即使声源和麦克风之间存在障碍物，声源发出的声音在经过各种波的相互作用后仍能到达麦克风。利用声学传感器获取周围环境声音，并通过智能感知技术提取声学环境中非视距车辆的方位和靠近与远离状态，可以为交通监控，自动驾驶等应用提供声学交通感知能力，弥补因视线遮挡给交通场景感知带来的不利影响。
2、利用车载被动声学感知系统，通过监测环境声音可以实现非视距车辆感知。声学非视距车辆检测和定位方法可以大致分为两类，分别为基于计算声学的方法和基于数据驱动的方法。
3、计算声学方法中，几何声学忽略声音的波动性质，以几何学的方法研究声音的传播，而波动声学的方法主要考虑声波的衍射效应。
4、基于数据驱动的方法中，以声源定位过程中产生的声能量谱作为输入，通过svm分类器对当前环境下声能量谱与非视距车辆真实位置之间的对应关系进行建模。
技术实现思路
1、本申请的专利技术人发现，上述方法至少存在如下技术问题：
2、为了模拟遮挡对声学传感器的影响，计算声学方法都依赖于强假设，假设仅存在反射或衍射等单一传播模式进行非视距声源定位，而没有考虑多种声学传播模式带来的影响，而且基于反
3、另外，声学非视距车辆的检测任务和定位任务是两个不同的分支，现有的计算声学方法和基于数据驱动的声学非视距车辆靠近检测方法，仅利用多通道音频中的相位信息，缺少声学非视距车辆检测的特征表示，而无法确定声音是否来自车辆。联合声学非视距车辆检测任务和定位任务能够有效避免感知错误，但是，现有的技术中缺少对声学非视距车辆检测任务和定位任务的联合模式的研究。
4、非视距车辆的靠近和离开会持续一段时间，能够沿特征表示保留时间上下文信息的分类方法能够提取时间特征，有利于提高检测精度。然而，现有的声学非视距车辆的靠近检测方法中，所使用的svm分类器并不能提取时间特征，无法将时间特征用于检测。
5、本专利技术的目的在于解决现有声学非视距车辆检测方法所存在的依赖于强假设而导致不能准确定位非视距车辆、以及缺少声学非视距车辆检测特征表示而导致无法联合声学非视距车辆检测任务和定位任务的不足之处，而提供了一种声学非视距车辆靠近和远离检测方法，该方法不依赖于强假设，引入频谱图作为一种特征表示，并通过长短时记忆网络模块提取深度表示的时间特征，能够联合声学非视距车辆检测任务和定位任务，提高非视距车辆的检测、非视距车辆的靠近及远离状态分类精度。
6、为实现上述目的，本专利技术所提供的技术解决方案是：
7、一种声学非视距车辆靠近和远离检测方法，其特殊之处在于，包括以下步骤：
8、步骤1，构建声学非视距车辆靠近和远离检测模型，检测模型包括特征提取模块、双路卷积-长短时记忆模块以及检测输出模块，
9、特征提取模块用于接收车辆经过路口处的多通道音频，并输出第一通道音频数据的频谱图和多通道音频数据的连续声能量分布转换图像，
10、双路卷积-长短时记忆模块用于接收由特征提取模块提取的频谱图和连续声能量分布转换图像，并输出多通道音频数据的时间特征和空间特征，
11、检测输出模块用于接收由双路卷积-长短时记忆模块提取的时间特征和空间特征，并输出带有方向信息的非视距车辆靠近和远离检测结果；
12、步骤2，采集车辆经过路口处的完整多通道音频和视频数据，并对所构建的检测模型进行训练；
13、步骤3，获取路口处智能车辆周围环境的多通道音频数据，并将所获取的多通道音频数据输入训练好的检测模型，以获取非视距车辆靠近和远离检测结果。
14、进一步地，特征提取模块对所接收的多通道音频计算得到连续周围环境的声能量分布结果，并对连续的声能量分布结果采用最大最小归一化并转化成二维图像表示。
15、进一步地，特征提取模块通过srp-phat对所接收的多通道音频计算得到连续周围环境的声能量分布结果。
16、进一步地，特征提取模块通过stft方法应用于所接收的多通道音频中的第一通道音频来生成频谱图。
17、进一步地，步骤2包括以下子步骤：
18、步骤2.1，采集车辆经过路口处的完整多通道音频和视频数据；
19、步骤2.2，将所采集的包含车辆经过路口完整过程的多通道音频段划分为训练集和验证集；
20、步骤2.3，根据所采集的视频记录的车辆出现和离开视野中的时刻，对车辆经过路口的整段多通道音频数据进行切分并划分类别，对切分后的音频段通过滑动时间窗口提取多通道音频样本；
21、步骤2.4，利用所划分的训练集和验证集对所构建的检测模型进行训练。
22、进一步地，双路卷积-长短时记忆模块的两个支路具有相同的结构，每一支路均包括多个级联的2d卷积模块并包括与2d卷积模块并行连接的多个级联的长短时记忆层，每个2d卷积模块均包括级联的2d卷积层、批规范化层、修正线性单元激活函数层和平均池化层。
23、进一步地，检测输出模块包括级联的第一全连接层、修正线性单元激活函数层、随机失活层和第二全连接层。
24、进一步地，检测输出模块的输出结果为六类交通事件的预测概率，分别为：左侧靠近类、左侧远离类、右侧靠近类、右侧远离类、前类和无类。
25、进一步地，检测输出模块使用softmax激活函数将输出结果映射为0至1之间的连续值，且六类声学交通事件的预测概率相加为1，1表示该类声学交通事件为活跃状态，0表示该类声学交通事件为非活跃状态，预测概率最大的类别被输出为声学非视距车辆靠近和远离检测结果。
26、本专利技术的优点是：
27、1、本专利技术提供的声学非视距车辆靠近和远离检测方法，构建了声学非视距车辆靠近和远离检测模型，其由特征提取模块、双路卷积-长短时记忆模块以及检测输出模块级联而成，模型的训练和预测过程不依赖于强假设，避免了单一声学传播模式的假设影响非视距车辆定位精度，引入频谱图作为一种特征表示，双路卷积-长短时记忆模块在单路网络的基础上增加第二支路，并通过长短时记忆网络模块提取深度表示的时间特征，使得能够联合声学非视距车辆检测任务和定位任务，提高非视距车辆的检测、非视距车辆的靠近及远离状态的分类精度。
28、2、采用最大最小归一化方法将计算得到的连续声能量分布结果转化成二维图像表示，更有效地实现了连续声能量分布与二维图像表示的转化，分类精度更高。本文档来自技高网...
【技术保护点】
1.一种声学非视距车辆靠近和远离检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述特征提取模块对所接收的多通道音频计算得到连续周围环境的声能量分布结果，并对连续的声能量分布结果采用最大最小归一化并转化成二维图像表示。
3.根据权利要求2所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述特征提取模块通过SRP-PHAT对所接收的多通道音频计算得到连续周围环境的声能量分布结果。
4.根据权利要求1或2所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述特征提取模块通过STFT方法应用于所接收的多通道音频中的第一通道音频来生成频谱图。
5.根据权利要求1或2所述的声学非视距车辆靠近和远离检测方法，其特征在于，步骤2包括以下子步骤：
6.根据权利要求1或2所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述双路卷积-长短时记忆模块的两个支路具有相同的结构，每一支路均包括多个级联的2D卷积模块并包括与所述2D卷积模块并行连接的多个级联的长短时记忆层，每个2
7.根据权利要求1或2所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述检测输出模块包括级联的第一全连接层、修正线性单元激活函数层、随机失活层和第二全连接层。
8.根据权利要求1或2所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述检测输出模块的输出结果为六类交通事件的预测概率，分别为：左侧靠近类、左侧远离类、右侧靠近类、右侧远离类、前类和无类。
9.根据权利要求8所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述检测输出模块使用softmax激活函数将输出结果映射为0至1之间的连续值，且所述六类声学交通事件的预测概率相加为1，1表示该类声学交通事件为活跃状态，0表示该类声学交通事件为非活跃状态，预测概率最大的类别被输出为声学非视距车辆靠近和远离检测结果。
...【技术特征摘要】
1.一种声学非视距车辆靠近和远离检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述特征提取模块对所接收的多通道音频计算得到连续周围环境的声能量分布结果，并对连续的声能量分布结果采用最大最小归一化并转化成二维图像表示。
3.根据权利要求2所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述特征提取模块通过srp-phat对所接收的多通道音频计算得到连续周围环境的声能量分布结果。
4.根据权利要求1或2所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述特征提取模块通过stft方法应用于所接收的多通道音频中的第一通道音频来生成频谱图。
5.根据权利要求1或2所述的声学非视距车辆靠近和远离检测方法，其特征在于，步骤2包括以下子步骤：
6.根据权利要求1或2所述的声学非视距车辆靠近和远离检测方法，其特征在于：所述双路卷积-长短时记忆模块的两个支路具有相同的结构，每一...
【专利技术属性】
技术研发人员：宁方立，郝明阳，王珂，段少东，王中山，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。