多域特征注意力融合网络的人体动作识别方法及装置制造方法及图纸

本申请公开了一种多域特征注意力融合网络的人体动作识别方法及装置，该方法包括：获取通过毫米波雷达采集的人体动作数据；依据人体动作数据确定第一特征图和第二特征图，采用多域特征融合网络识别模型中的特征提取模块分别对第一特征图和第二特征图进行特征提取，并采用多域特征融合网络识别模型中的拼接模块对完成特征提取的第一特征图和第二特征图进行特征融合，得到融合特征，对融合特征进行特征再提取，得到深层特征，在对第一特征图和第二特征图进行特征提取的过程中，分别采用通道注意力机制对第一特征图和第二特征图进行加权，以获取多个层次的加权特征；对深层特征进行分类处理，以确定人体动作数据对应的动作类型。类型。类型。

【技术实现步骤摘要】
多域特征注意力融合网络的人体动作识别方法及装置


[0001]本申请涉及人工智能领域，具体而言，涉及一种多域特征注意力融合网络的人体动作识别方法及装置。

技术介绍

[0002]人体动作识别是人工智能的一个重要研究领域，在人机交互、智能监控和其他领域有广泛的应用。人体动作识别主要通过光学元件或传感器设备获取人类目标的信息，并采用机器学习或深度学习算法实现人体动作识别。目前，用于人体动作识别的主流设备包括可穿戴电子设备、相机、雷达等设备。
[0003]可穿戴电子设备传感器可以获得大量的人体动作信息。然而，这一传感器存在局限性，因为可穿戴电子设备必须附着在人的身体上，而且人体必须一直戴着设备才能正常使用。相比之下，基于图像的人体动作识别主要依靠相机或其他图像采集设备来获取人体动作的信息，虽然高分辨率相机可以准确地识别人体动作，但它们在全方位和全天候的条件下，无论环境条件如何，都存在局限性。此外，使用基于图像的技术会存在泄露隐私的风险。由于隐私和数据安全的问题，人们对于在公共场所使用这些传感器的担忧越来越大。相比之下，毫米波雷达可以克服和改进上述设备的局限性。毫米波雷达可以保证用户的隐私，并具有在任何光照条件下工作的优势，同时具有全天候工作的能力，甚至在各种恶劣的环境条件下，如大雾和浓烟等环境，具有更高的稳定性和隐私性。因此，毫米波雷达被广泛用于人体动作识别的各种领域，包括城市军事活动监测、老年人安全监护和自动驾驶领域，但是基于毫米波雷达的多域特征注意力融合网络的人体动作识别方法中存在易混淆动作的误判率较高这一问题。<br/>
技术实现思路

[0004]本申请实施例提供了一种多域特征注意力融合网络的人体动作识别方法及装置，以至少解决由于人体动作易混淆导致的人体动作识别准确率低的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种多域特征注意力融合网络的人体动作识别方法，包括：获取通过毫米波雷达采集的人体动作数据；依据所述人体动作数据确定第一特征图和第二特征图，其中，所述第一特征图用于表征各种人体动作的距离与时间的关系，所述第二特征图用于表征各种人体动作的速度与时间的关系；采用多域特征融合网络识别模型中的特征提取模块分别对所述第一特征图和所述第二特征图进行特征提取，并采用所述多域特征融合网络识别模型中的拼接模块对完成特征提取的第一特征图和第二特征图进行特征融合，得到融合特征，对所述融合特征进行特征再提取，得到深层特征，其中，在对所述第一特征图和所述第二特征图进行特征提取的过程中，分别采用通道注意力机制对所述第一特征图和所述第二特征图进行加权，以获取多个层次的加权特征；采用所述多域特征融合网络识别模型中的分类模块，对所述深层特征进行分类处理，以确定所述人体动作数据对应的动作类型。
[0006]可选地，所述采用多域特征融合网络识别模型中的特征提取模块分别对所述第一特征图和所述第二特征图进行特征提取，包括：将所述第一特征图和所述第二特征图分别输入到所述多域特征融合网络识别模型的第一传输通道和第二传输通道中，依次进行特征提取得到第一目标特征图和第二目标特征图，其中，所述第一传输通道和第二传输通道中均包括多个依次连接的特征提取模块，所述特征提取模块包括两个卷积层和一个池化层；将所述第一目标特征图和所述第二目标特征图拼接，得到所述融合特征。
[0007]可选地，所述第一目标特征图通过以下方式确定，包括：将所述第一特征图依次输入到所述第一传输通道中的多个特征提取模块中，并通过所述第一传输通道中的最后一个特征提取模块输出所述第一目标特征图，其中，所述第一传输通道中的每个特征提取模块输出的特征图通道数均是前一个特征提取模块输出的特征图通道数的第一预设倍数，所述第一通道中的每个特征提取模块输出的特征图的像素大小均是前一个特征提取模块输出的特征图像素大小的第二预设倍数。分别在第一个特征提取模块之后的多个特征提取模块中，采用通道注意力机制对所述第一特征图进行加权，以获取多个加权特征图，并将所述多个加权特征图进行拼接，得到第一目标特征图，其中，所述多个加权特征图分别用于展示多个层次的加权特征。
[0008]可选地，将所述第一目标特征图和所述第二目标特征图拼接，得到所述融合特征，包括：将所述第一目标特征图和所述第二目标特征图输入到所述多域特征融合网络识别模型中的拼接模块进行拼接得到融合特征；将所述融合特征输入到所述多域特征融合网络识别模型中的特征再提取模块中进行处理，得到所述深层特征，其中，所述深层特征对应的特征图的通道数是所述第一目标特征图通道数的第一预设倍数，所述深层特征对应的特征图的像素大小为所述第一目标特征图像素大小的第二预设倍数。
[0009]可选地，所述采用通道注意力机制对所述第一特征图进行加权，以获取多个加权特征图包括：在所述第一特征图通过所述第一传输通道中的第一个特征提取模块后，此后的每个特征提取模块分别根据各自确定的注意力权重，对所述第一特征图中的每个通道进行加权，以得到所述多个加权特征图。
[0010]可选地，每个特征提取模块的注意力权重通过以下方式确定，包括：采用挤压操作对输入特征提取模块进行通道注意力加权的特征图中的每个通道的对应的特征转换为数值；根据预设的通道压缩率所述每个通道进行压缩和激励操作，以确定所述输入的特征图中每个通道的注意力权重。
[0011]可选地，所述方法还包括：通过预设多分类焦点损失函数样本进行分类，其中，所述预设多分类焦点损失函数包含调制因子，所述调制因子根据预测概率确定，用于调整所述多分类焦点预设损失函数的权重。
[0012]根据本申请实施例的另一方面，还提供了一种多域特征注意力融合网络的人体动作识别装置，包括：获取模块，获取通过毫米波雷达采集的人体动作数据；预处理模块，用于依据所述人体动作数据确定第一特征图和第二特征图，其中，所述第一特征图用于表征各种人体动作的距离与时间的关系，所述第二特征图用于表征各种人体动作的速度与时间的关系；融合模块，用于采用多域特征融合网络识别模型中的特征提取模块分别对所述第一特征图和所述第二特征图进行特征提取，并采用所述多域特征融合网络识别模型中的拼接模块对完成特征提取的第一特征图和第二特征图进行特征融合，得到融合特征，对所述融
合特征进行特征再提取，得到深层特征，其中，在对所述第一特征图和所述第二特征图进行特征提取的过程中，分别采用通道注意力机制对所述第一特征图和所述第二特征图进行加权，以获取多个层次的加权特征；分类模块，用于采用所述多域特征融合网络识别模型中的分类模块，对所述深层特征进行分类处理，以确定所述人体动作数据对应的动作类型。
[0013]根据本申请实施例的再一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述多域特征注意力融合网络的人体动作识别方法。
[0014]根据本申请实施例的再一方面，还提供了一种计算机设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行上述多域特征注意力融合网络的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多域特征注意力融合网络的人体动作识别方法，其特征在于，包括：获取通过毫米波雷达采集的人体动作数据；依据所述人体动作数据确定第一特征图和第二特征图，其中，所述第一特征图用于表征各种人体动作的距离与时间的关系，所述第二特征图用于表征各种人体动作的速度与时间的关系；采用多域特征融合网络识别模型中的特征提取模块分别对所述第一特征图和所述第二特征图进行特征提取，并采用所述多域特征融合网络识别模型中的拼接模块对完成特征提取的第一特征图和第二特征图进行特征融合，得到融合特征，对所述融合特征进行特征再提取，得到深层特征，其中，在对所述第一特征图和所述第二特征图进行特征提取的过程中，分别采用通道注意力机制对所述第一特征图和所述第二特征图进行加权，以获取多个层次的加权特征；采用所述多域特征融合网络识别模型中的分类模块，对所述深层特征进行分类处理，以确定所述人体动作数据对应的动作类型。2.根据权利要求1所述的方法，其特征在于，所述采用多域特征融合网络识别模型中的特征提取模块分别对所述第一特征图和所述第二特征图进行特征提取，包括：将所述第一特征图和所述第二特征图分别输入到所述多域特征融合网络识别模型的第一传输通道和第二传输通道中，依次进行特征提取得到第一目标特征图和第二目标特征图，其中，所述第一传输通道和第二传输通道中均包括多个依次连接的特征提取模块，所述特征提取模块包括两个卷积层和一个池化层；将所述第一目标特征图和所述第二目标特征图拼接，得到所述融合特征。3.根据权利要求2所述的方法，其特征在于，所述第一目标特征图通过以下方式确定，包括：将所述第一特征图依次输入到所述第一传输通道中的多个特征提取模块中，并通过所述第一传输通道中的最后一个特征提取模块输出所述第一目标特征图，其中，所述第一传输通道中的每个特征提取模块输出的特征图通道数均是前一个特征提取模块输出的特征图通道数的第一预设倍数，所述第一传输通道中的每个特征提取模块输出的特征图的像素大小均是前一个特征提取模块输出的特征图像素大小的第二预设倍数；分别在第一个特征提取模块之后的多个特征提取模块中，采用通道注意力机制对所述第一特征图进行加权，以获取多个加权特征图，并将所述多个加权特征图进行拼接，得到第一目标特征图，其中，所述多个加权特征图分别用于展示多个层次的加权特征。4.根据权利要求2所述的方法，其特征在于，将所述第一目标特征图和所述第二目标特征图拼接，得到所述融合特征，包括：将所述第一目标特征图和所述第二目标特征图输入到所述多域特征融合网络识别模型中的拼接模块进行拼接得到融合特征；将所述融合特征输入到所述多域特征融合网络识别模型中的特征再提取模块中进...

【专利技术属性】
技术研发人员：曹林，梁松，赵宗民，杜康宁，郭亚男，王东峰，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：