融合加速度和音频信息的脚步检测方法技术

本发明专利技术提供了一种融合加速度和音频信息的脚步检测方法，包括：1)检测双声道音频数据，得出脚步对应的时间区间；所述双声道音频数据包括固定在左脚的采集设备所采集的左脚声道音频数据和固定在右脚的采集设备所采集的右脚声道音频数据；2)对于得出的各个脚步对应的时间区间，根据该时间区间对应的加速度方差进行二次检测，根据该加速度方差是否大于预设的方差阈值判断该时间区间是否为脚步。本发明专利技术依靠可穿戴即可检测出对应的脚步，使用方便，并且具有很高的精确率和召回率。本发明专利技术还能够适应多种不同的应用场景，通用性强。

【技术实现步骤摘要】

本专利技术涉及计算机应用
，具体地说，本专利技术涉及步态分析

技术介绍
步态分析(gaitanalysis)是一种通过观察或采集行走时人体的姿态，得出并分析步态参数的技术，常见的步态参数包括空间参数(步幅、步长、步宽等)，时间参数(步频、步速等)，以及这些参数的左右脚的对称性、长期数据的稳定性等。步态分析在体育运动、医疗康复等方面发挥着非常重要的作用，并得到了广泛的应用和研究。现有的步态分析技术大多基于视频图像、压力传感器、肌电技术等，这些设备对被测者有较大的侵入性，因此适用范围有限。王成等在中国专利申请201610519761.7中提出了一种步态参数的采集方法及设备。它是一种基于双声道的步态参数的采集方案。具体地，采集设备包含左右脚两个部分，每个都包含声音采集传感器，分别佩戴在两只脚的脚踝上。在行走过程中同时采集双脚的脚步声数据，并通过蓝牙实现两个设备的同步控制，满足了双脚数据的完整和对称性的要求。该方案首次提出了基于双声道的声音信号来获取步态参数，并给出了相应的脚步识别方案。然而，基于声音信号的脚步识别面临十分复杂的应用场景，不同类型的鞋子，不同类型的地面，不同的行走方向和负重情况都可能会影响到脚步识别的准确度。因此，当前迫切需要一种能够提高识别准确度的脚步检测解决方案。
技术实现思路
本专利技术的任务是提供一种能够提高识别准确度的脚步检测解决方案。本专利技术提供了一种融合加速度和音频信息的脚步检测方法，包括下列步骤：1)检测双声道音频数据，得出脚步对应的时间区间；所述双声道音频数据包括固定在左脚的采集设备所采集的左脚声道音频数据和固定在右脚的采集设备所采集的右脚声道音频数据；2)对于步骤1)得出的各个脚步对应的时间区间，根据该时间区间对应的加速度方差进行二次检测，根据该加速度方差是否大于预设的方差阈值判断该时间区间是否为脚步。其中，所述步骤2)中，对于每个脚步对应的时间区间，判断该时间区间的加速度方差是否大于方差阈值，如果是，则该脚步区间通过二次检测，认定该时间区间为脚步，如果否，则去掉该脚步区间。其中，所述步骤1)包括下列子步骤：11)获取待检测的双声道音频数据并进行分帧处理，得到相应的音频帧；12)提取每个音频帧的特征向量，基于脚步检测模型得出每个音频帧属于脚步的概率；其中，所述脚步检测模型是以音频帧的特征向量为输入，以音频帧属于脚步的概率为输出的机器学习模型，该机器学习模型以标注了脚跟着地声的音频帧和标注了前脚掌着地声的音频帧为正样本，以前一步的前脚掌着地声与后一步的脚跟着地声之间的多个音频帧为负样本进行训练；13)根据所得出的各个音频帧属于脚步的概率，得出各个音频帧是否含有脚步声，进而得出脚步对应的时间区间。其中，所述步骤12)中，左脚声道的音频帧及其属于脚步的概率构成左脚声道概率曲线，右脚声道的音频帧及其属于脚步的概率构成右脚声道概率曲线；所述步骤13)还包括：将左、右脚声道概率曲线融合成综合概率曲线，对综合概率曲线进行平滑处理，基于预设的概率阈值得出各个音频帧是否含有脚步声，进而得出脚步对应的时间区间。其中，所述步骤12)中，构成所述音频帧的特征向量的特征包括：自相关系数、子带能量特征、过零率、线性预测系数特征和梅尔倒谱系数特征。其中，所述步骤12)中，所述机器学习模型采用SVM分类器模型，所述正样本包括已知的左脚声道音频数据中的以每个标注脚跟着地声的位置为中心的三个音频帧和以每个标注前脚掌着地声的位置为中心的三个音频帧，以及已知的右脚声道音频数据中的以每个标注脚跟着地声的位置为中心的三个音频帧和以每个标注前脚掌着地声的位置为中心的三个音频帧；所述负样本包括：左脚声道音频数据中的前一步的前脚掌着地声与后一步的脚跟着地声之间的九个音频帧，以及右脚声道音频数据中的前一步的前脚掌着地声与后一步的脚跟着地声之间的九个音频帧。其中，所述步骤3)中，用低通滤波器对综合概率曲线进行平滑处理。其中，所述步骤3)中，所述低通滤波器的相对截止频率不超过0.1。其中，所述步骤3)中，所述综合概率曲线是左、右脚声道概率曲线的求和叠加。其中，所述步骤3)中，所述综合概率曲线是对左、右脚声道概率曲线取较大值后得到的融合概率曲线。与现有技术相比，本专利技术具有下列技术效果：1、本专利技术依靠可穿戴即可检测出对应的脚步，使用方便，并且具有很高的精确率和召回率。2、本专利技术能够适应多种不同的应用场景，通用性强。附图说明以下，结合附图来详细说明本专利技术的实施例，其中：图1示出了本专利技术所涉及的双声道音频数据的一个示例；图2示出了本专利技术一个实施例中的分帧处理方式；图3示出了本专利技术一个实施例中的双声道数据标注示例，其中，标注为脚后跟的峰(竖线)表示后脚跟着地声，为使图面整洁，本图中未直接标注前脚掌，事实上，每个标注为脚后跟的峰后方的浅色的峰可标注为前脚掌，它表示前脚掌着地声；图4示出了本专利技术一个实施例中左脚声道和右脚声道各自的概率曲线；图5示出了本专利技术一个实施例中左脚声道和右脚声道概率曲线求和后的综合概率曲线；图6示出了本专利技术一个实施例中左脚声道和右脚声道概率取较大值后的综合概率曲线；图7示出了求和后得到的综合概率曲线平滑后的结果；图8示出了取较大值后得到的综合概率曲线平滑后的结果；图9示出了本专利技术一个实施例的脚步检测方法的流程图；图10示出了本专利技术一个实施例中的双声道音频数据和对应的加速度数据的示意图。具体实施方式下面结合附图和具体实施方式对本专利技术作详细说明。根据本专利技术的一个实施例，提供了一种融合加速度和音频信息的脚步检测方法。该方法中，使用可穿戴的声传感器和加速度传感器采集步态数据，然后根据所采集的声学步态数据，基于一定的算法对数据进行处理分析，从中初步检测出脚步所属时间区间，再基于加速度数据对声学步态数据的检测结果进行二次判断，从而得出一种具有高召回率和高精确率的脚步检测结果。本实施例中，首先基于双声道的脚步检测方法对声学步态数据进行检测。所检测的声学步态数据是双声道的音频数据，它是将两个声传感器分别部署在被测人左脚和右脚处，并在被测人行走过程中实时采集相应的声信号而得到的音频数据。而左脚处和右脚处的两个声传感器就构成所述双声道。在下文中将进一步地示例性地介绍采集双声道的音频数据的方法。本实施例中，首先对双声道的音频数据进行分帧，然后对音频帧提特征，通过人工标注的正负样本训练分类器，再基于训练后的分类器识别某个音频帧是否属于脚步声的一部分，获取该音频帧属于脚步声的概率。对于双声道的音频数据，可以得出所有音频帧属于脚步声的概率，从而获得对应的概率曲线。进一步地，结合两道音频的判断结果并进行平滑处理后，可以分析出脚步概率较大的连续区间，从而确定脚步的区间。具体地，参考图9，本实施例的脚步检测方法包括下列步骤：步骤1：对双声道的音频数据进行分帧加窗，得到一系列的音频帧。图2示出了分帧加窗的一个实例。在该例子中，在8000hz的音频采样率下，每个音频帧包含200个样本，相邻帧之间的有120个样本的重叠区间，每个音频帧加汉明(hamming)窗。也就是说，在音频数据加滑动窗口，用滑动窗口取对应的音频帧作为本实施例的基本考察单元。适当选择滑动窗口的滑动步长，使得相邻音频帧具有重叠。汉明窗的窗口长度一般为10～30ms，取窗口长度的本文档来自技高网...

【技术保护点】
一种融合加速度和音频信息的脚步检测方法，包括下列步骤：1)检测双声道音频数据，得出脚步对应的时间区间；所述双声道音频数据包括固定在左脚的采集设备所采集的左脚声道音频数据和固定在右脚的采集设备所采集的右脚声道音频数据；2)对于步骤1)得出的各个脚步对应的时间区间，根据该时间区间对应的加速度方差进行二次检测，根据该加速度方差是否大于预设的方差阈值判断该时间区间是否为脚步。

【技术特征摘要】
1.一种融合加速度和音频信息的脚步检测方法，包括下列步骤：1)检测双声道音频数据，得出脚步对应的时间区间；所述双声道音频数据包括固定在左脚的采集设备所采集的左脚声道音频数据和固定在右脚的采集设备所采集的右脚声道音频数据；2)对于步骤1)得出的各个脚步对应的时间区间，根据该时间区间对应的加速度方差进行二次检测，根据该加速度方差是否大于预设的方差阈值判断该时间区间是否为脚步。2.根据权利要求1所述的融合加速度和音频信息的脚步检测方法，其特征在于，所述步骤2)中，对于每个脚步对应的时间区间，判断该时间区间的加速度方差是否大于方差阈值，如果是，则该脚步区间通过二次检测，认定该时间区间为脚步，如果否，则去掉该时间区间。3.根据权利要求1所述的融合加速度和音频信息的脚步检测方法，其特征在于，所述步骤1)包括下列子步骤：11)获取待检测的双声道音频数据并进行分帧处理，得到相应的音频帧；12)提取每个音频帧的特征向量，基于脚步检测模型得出每个音频帧属于脚步的概率；其中，所述脚步检测模型是以音频帧的特征向量为输入，以音频帧属于脚步的概率为输出的机器学习模型，该机器学习模型以标注了脚跟着地声的音频帧和标注了前脚掌着地声的音频帧为正样本，以前一步的前脚掌着地声与后一步的脚跟着地声之间的多个音频帧为负样本进行训练；13)根据所得出的各个音频帧属于脚步的概率，得出各个音频帧是否含有脚步声，进而得出脚步对应的时间区间。4.根据权利要求3所述的融合加速度和音频信息的脚步检测方法，其特征在于，所述步骤12)中，左脚声道的音频帧及其属于脚步的概率构成左脚声道概率曲线，右脚声道的音频帧及其属于脚步的概率构成右脚声道概率曲线；所述步骤13)还包括：将左、右脚声...

【专利技术属性】
技术研发人员：王成，龙舟，钱跃良，王向东，袁静，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11