一种基于多模态学习的人类活动识别方法技术

本发明专利技术提供一种基于多模态学习的人类活动识别方法，包括人类活动数据采集模块、多特征表示及融合模块、显著特征选择模块、平衡数据集构造模块。首先利用采集设备提取原始数据，利用时序信号生成信号图像，搭建深度神经网络输出图像特征，与提取的时间序列特征进行融合，并利用分类函数进行分类，输出分类概率。本发明专利技术将人体活动数据转化为不同的特征表示，利用图像和时间序列两大模态进行融合，最大限度利用活动数据信息，挖掘活动数据间的关联性，提高模型的性能。提高模型的性能。提高模型的性能。

【技术实现步骤摘要】
一种基于多模态学习的人类活动识别方法


[0001]本专利技术属于活动识别
，特别是涉及一种基于多模态学习的人类活动识别方法。

技术介绍

[0002]随着传感器技术与物联网技术的发展，活动识别技术已逐渐渗透到人们生活的方方面面，例如智能家居、智能健身、医疗健康及安防监控等。特征提取技术是人类活动识别技术的重要组成部分，它能够从传感器采集到的原始数据中提取出有用的特征，例如时域特征、频域特征、小波特征等，从而为后续的分类和识别提供基础。此外活动识别还依赖数据预处理技术、实时性技术以及隐私保护技术。
[0003]现有的人类活动识别技术主要有基于传感器的特征提取和机器学习算法的分类识别技术、基于深度学习的人类活动识别技术、基于视觉传感器的人类活动识别技术以及基于多传感器数据融合的人类活动识别技术；基于传感器的特征提取和机器学习算法的分类识别技术主要包括传感器数据采集、特征提取和机器学习算法分类识别三个步骤。传感器数据采集可以采用加速度传感器、陀螺仪等多种传感器，通过对传感器采集到的原始数据进行特征提取，例如时域特征、频域特征等，然后将特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态学习的人类活动识别方法，其特征在于，包括以下步骤：S1、采集人体活动数据：利用可穿戴设备采集人体活动数据，并将采集到的原始数据进行数据格式处理，并按受试者的序号以及活动序号命名数据文件；S2、特征提取：通过神经网络模型及手动提取模型对S1得到的数据进行提取，生成图像特征和时间序列特征；S3、特征融合及分类：将S2中得到的图像特征和时间序列特征进行加权融合，利用softmax分类函数输出活动类型的分类概率。2.根据权利要求1所述的一种基于多模态学习的人类活动识别方法，其特征在于，所述人体活动包括14个活动：手部类：1拇食指捏合、2握拳张开、3手腕翻转、4左手翻转、5右手翻转、6左手指鼻尖、7右手指鼻尖、8喝水；腿部类：10起立、11弯腰捡东西；行走类：9往返走；姿势类：12抬手直立、13静坐、14静站。3.根据权利要求1所述的一种基于多模态学习的人类活动识别方法，其特征在于，所述S2中生成图像特征具体为：S201、时序信号生成信号图像，信号图像经过2D傅里叶变化生成活动图像；S202、搭建深度神经网络，输出矢量化为120维特征向量：在DCNN框架中，第一卷积层用5个大小为5
×
5的内核过滤36
×
68输入活动图像，然后进行4
×
4次采样；第二卷积层将第一个子采样层的输出作为输入，并用10个大小为5
×
5的内核对其进行过滤，然后进行2
×
2的子采样；全连接层将第二子采样层的输出矢量化为120维特征向量；每个卷积层在其输入映射上执行2D卷积；输出映射生成为：y
i
＝(1+exp(b
j
+∑
i
k
ij
*x
i
))
‑1ꢀꢀꢀꢀꢀꢀ
(I)其中，*表示卷积算子，k
ij
是第i个输入映射x
i
上的卷积核，用于生成第j个输出映射y
i
，b
j
是一个偏差项；采用均值池化法作为二次抽样方法；通过使用方形滤波器m
×
m计算输入映射x
i
的非重叠区域上的平均值来实现输出映射y
i
：其中，y
i
(r,c)表示位置(r,c)处y
i
的像素值,m代表方形滤波器的大小，p、q∈[1
‑
m]表示中间参数,然后将第二次采样层的输出接一个全连接层，将第二子采样层的输出向量化为120维特征向量。4.根据权利要求1所述的一种基于多模态学习的人类活动识别方法，其特征在于，所述S2中生成时间序列特征具体为：S211、数据清洗：使用0.5
‑
10hz的滤波段进行滤波，保留低频信号，去除高频噪声；滤波后，通过Z
‑
Score标准化对每个轴的数据进行处理，处理后原始数据的均值为0，方差为1；S212、划分数据集：在数据清洗后，使用时间滑动窗口根据时间序列划分数据集，窗口划分方法为半重叠窗口划分，重叠率为50％，窗口大小为300；经过划分后，生成...

【专利技术属性】
技术研发人员：杨云，赵钰婷，杨珀，南峰涛，李子恒，周梦辉，
申请(专利权)人：云南大学，
类型：发明
国别省市：