【技术实现步骤摘要】
本专利技术的是神经网络、模式识别和人工智能。具体而言，它涉及行人步态数据的识别与分类方法，利用雷达数据和惯性导航数据，结合迁移学习和特征金字塔网络，在多传感器数据上实现对行人步态的准确预测。在这个中，本专利技术提出了一种创新的方法，以改善行人步态数据的处理和分析，从而在实际应用中提供更可靠的步态识别和分类性能。
技术介绍
1、传统的行人步态识别与分类方法在面对多传感器数据融合、特征提取和泛化能力方面存在一定局限性。单一传感器数据的应用往往难以充分捕捉行人步态的多样特征，因此必须寻求更全面的信息源来确保准确性。同时，传统的特征提取方法可能未能在复杂的步态模式中有效地捕获多尺度信息，这导致了分类性能的下降。更进一步地，将不同传感器数据分开训练可能会导致模型在新数据上的泛化能力受到限制，因为它无法适应多样的环境和变化。这限制了传统方法在现实世界应用中的效果。为了解决这些问题，近年来，迁移学习和特征金字塔网络等先进技术在行人步态分类任务中展现出出色的表现。迁移学习允许从一个任务中学习的知识迁移到另一个相关任务中，从而提高模型在新任务上的性能。特征金字塔网络则能够有效地提取多尺度特征，使模型能够更好地捕获步态的细节和整体特征，从而提高分类准确性。传统方法在行人步态分类中的局限性促使我们探索新的方法来充分利用多传感器数据、提取更丰富的特征并提升泛化能力。迁移学习和特征金字塔网络代表了这一探索的方向，并在分类任务中呈现出令人满意的成果。
技术实现思路
1、为了克服所述现有技术的不足，本专利技术提
2、使用手机传感器以及毫米波雷达进行惯性导航数据以及雷达数据的采集，其中手机传感器放置于被采集目标大腿外侧，毫米波雷达放置于目标位移方向相反位置。
3、根据上一步骤所采集的惯性导航数据采取一系列严格的数据预处理步骤，包括数据校准、去噪和对齐，以确保惯性传感器的读数准确可靠。通过仔细校正传感器的误差和漂移，获得更加精确的姿态、位置和速度信息。针对不同应用场景的需求，进行了特征提取和降维操作，以便在后续任务中能够更有效地利用这些信息，最终构建横坐标为时间，纵坐标为加速度的图像。
4、对于雷达数据。着重考虑了数据的分辨率、噪声和目标检测问题。通过雷达信号处理技术，能够从原始数据中提取出距离、速度等关键信息，并将其转化为更有意义的数据表示。此外，本专利技术针对雷达数据中可能存在的杂波和虚警进行了过滤和校正，以确保数据的可靠性和准确性。具体操作为使用时频卡尔曼动态处理构建横坐标为时间，纵坐标为速度的微多普勒图像。
5、其中，本专利技术使用时频卡尔曼动态处理是一种综合利用时频分析和卡尔曼滤波的数据处理方法，结合了时域和频域信息，同时利用卡尔曼滤波的状态估计能力，以实现更精确的动态目标定位和状态预测。首先，时频卡尔曼动态处理能够结合时频信息和卡尔曼滤波的状态估计，提供更精确的动态目标定位和预测，尤其在非平稳环境下效果显著。其次，时频分析允许捕捉信号在时频域的瞬态和频率变化，提供了更全面的信号特征，有助于更好地理解目标行为，卡尔曼滤波的递归性质使得时频卡尔曼动态处理能够实时更新目标状态，适用于需要实时跟踪和预测的应用。
6、时频卡尔曼动态处理结合了时频分析和卡尔曼滤波的优势，能够在信号处理和目标跟踪等应用中实现更准确、实时的动态目标定位和状态预测。在捕捉目标行为的时变特征和提高目标状态估计的准确性方面具有重要作用。
7、根据上一步骤对所有的数据进行处理，获得惯性导航数据集以及雷达数据集。
8、使用卷积神经网络结合特征金字塔网络以及通道注意力机制搭建网络结构并使用惯性导航数据集进行训练。卷积神经网络以vgg16网络结构为基础模型进行搭建，vgg16网络是一个经典而强大的卷积神经网络，以其深层的卷积层和池化层为基础，有助于有效地提取图像中的抽象特征，为网络提供了一个强大的特征提取能力，有助于捕捉步态数据中的复杂模式和信息。
9、根据上一步骤，继续在雷达数据处理中采取相同的网络结构，但根据雷达数据的特点进行了适当的调整。需要注意输入层的格式大小，以确保适应雷达数据的输入。其次，将之前训练完毕的神经网络的权重复制到这个新的网络模型中，以便在保留之前学到的特征表示的同时，进行后续训练和微调。在这一阶段，训练目标是在新的雷达数据集上训练网络，以使其适应雷达数据的特征和模式。为了实现这一点，将网络的主干层冻结，即预训练的卷积层，以保留之前学到的通用特征表示。
10、在训练过程中，使用雷达数据集作为训练数据，将雷达数据输入到网络中。通过反向传播算法，根据分类任务来优化网络的权重，使其能够适应新的数据分布和任务要求。由于主干层被冻结，网络主要在自定义层进行微调，这有助于快速收敛并避免过拟合。
11、这一训练过程将在新的雷达数据集上逐渐调整网络的参数，使其能够更好地理解和表示雷达数据中的特征。通过这种方式，能够充分利用之前训练的权重，快速实现在雷达数据上的应用。
12、根据上一步的训练结果，使用验证集数据对网络进行评定，得到最优网络结构。
13、有益效果：
14、1、多传感器融合优势：将雷达数据与惯性导航数据相结合，使得网络能够更全面地捕捉行人步态的多样特征，从而显著提升了步态识别的鲁棒性。雷达数据提供了高分辨率、实时性和对运动目标敏感的优势，而惯性导航数据则能够提供准确的姿态、位置和速度信息。这种融合的方法克服了单一传感器数据的局限性，使得网络能够更好地适应不同环境下的变化，从而实现更准确、可靠的步态识别结果。通过充分利用不同传感器的优势，此方法在步态分析领域展现出卓越的性能，为实现更精确的目标识别和应用提供了强有力的支持。
15、2、精确的时变特征捕捉：时频卡尔曼动态处理能够结合时频分析的特点，捕捉信号在不同时间和频率上的变化。这在涉及动态目标的情况下特别有益，因为它允许系统更好地理解目标行为的时变特征，包括瞬态和频率变化，从而提供更准确的目标状态估计。
16、3、迁移学习提升泛化能力：通过在多个传感器数据集上进行迁移学习，网络在面对未知数据时能够更好地适应和推广，从而显著降低了过拟合的风险。这种方法允许将在一个任务中学到的知识和特征应用于另一个相关任务，使得网络能够更好地捕捉数据中的通用模式和特征。通过跨越不同数据域的学习，网络不仅能够适应多样性和变化，还能够更有效地利用有限的数据资源。这种迁移学习策略为我们的研究提供了一种强大的方法，不仅提升了步态识别的性能，还为未知环境下的应用提供了更高的鲁棒性和可靠性。
17、4、特征金字塔提取多尺度信息：通过在不同尺度上分析，网络能够更全面地理解行人的本文档来自技高网...
【技术保护点】
1.一种结合迁移学习与特征金字塔的行人步态识别与分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种结合迁移学习与特征金字塔的行人步态识别与分类方法，其特征在于，将采集后的惯性导航数据中的加速度使用多轴行人步态预测神经网络获取直角坐标系各轴的权重，并进行融合，具体步骤包括：
3.根据权利要求1所述的结合迁移学习与特征金字塔的行人步态识别与分类方法，其特征在于，对雷达数据进行时频卡尔曼动态处理获得去除雷达数据的环境噪声后的时间——速度微多普勒图像，具体步骤包括：
4.根据权利要求1所述的结合迁移学习与特征金字塔的行人步态识别与分类方法，其特征在于，构建通道感知金字塔卷积网络Net1，具体步骤包括：
5.根据权利要求1所述的结合迁移学习与特征金字塔的行人步态识别与分类方法，其特征在于，在使用雷达数据对网络Net2进行训练前，将网络Net2的主干层进行冻结，仅调整头部层的权重以适应雷达数据特点。
【技术特征摘要】
1.一种结合迁移学习与特征金字塔的行人步态识别与分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种结合迁移学习与特征金字塔的行人步态识别与分类方法，其特征在于，将采集后的惯性导航数据中的加速度使用多轴行人步态预测神经网络获取直角坐标系各轴的权重，并进行融合，具体步骤包括：
3.根据权利要求1所述的结合迁移学习与特征金字塔的行人步态识别与分类方法，其特征在于，对雷达数据进行时频卡尔曼动态处理...
【专利技术属性】
技术研发人员：何家庆，施佳佳，朱翊晗，许长勇，花冰，施佺，许致火，张永伟，储柳，郁正宇，
申请(专利权)人：南通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。