【技术实现步骤摘要】
一种基于时空多特征提取的行为识别系统及其工作方法
本专利技术涉及一种基于时空多特征提取的行为识别系统及其工作方法，属于人工智能与模式识别的
技术介绍
随着各类传感器和可穿戴设备的多样化和普及，基于传感器的人类活动识别已经成为重要的研究领域。与基于视频的行为识别相比，基于传感器的行为识别有更高的私密性，更好的抗干扰性，并且可以应用于更加灵活多样的环境。同时，蓝牙、4G、5G、LoRa(LongRange)、NB-IoT(NarrowBandInternetofThings)等物联网传输技术的迅速发展，使得更加快速和便捷信息传输成为可能。这使得基于传感器的行为识别在智慧家居、医疗护理、运动分析等领域扮演着越来越重要的角色。同样，基于可穿戴设备的行为识别系统也可以用于监狱等特殊场合来监控犯罪行为和预防危险的发生。用于人类行为识别的传感器主要分为身体传感器和环境传感器。身体传感器包括加速度传感器、陀螺仪、心率传感器，心电传感器等等，它们常见于手机、智能手环等可穿戴设备，可以伴随着人类行动，分别采集人类的运动信息和生...
【技术保护点】
1.一种基于时空多特征提取的行为识别系统，其特征在于，包括依次连接的行为信息采集模块、行为信息多模态传输模块、行为信息处理模块、行为信息应用模块；所述行为信息处理模块包括依次连接的行为信息预处理模块和行为信息分类模块，所述行为信息多模态传输模块连接所述行为信息预处理模块，所述行为信息分类模块连接所述行为信息应用模块；/n所述行为信息采集模块用于：实时采集人体的生理数据和运动数据，生理数据包括心率值和皮肤电阻值，运动数据包括三轴加速度值和三轴角速度值；三轴为X轴、Y轴和Z轴，三轴加速度值包括X轴加速度值、Y轴加速度值和Z轴加速度值，三轴角速度值包括X轴角速度值、Y轴角速度值和...
【技术特征摘要】
1.一种基于时空多特征提取的行为识别系统，其特征在于，包括依次连接的行为信息采集模块、行为信息多模态传输模块、行为信息处理模块、行为信息应用模块；所述行为信息处理模块包括依次连接的行为信息预处理模块和行为信息分类模块，所述行为信息多模态传输模块连接所述行为信息预处理模块，所述行为信息分类模块连接所述行为信息应用模块；
所述行为信息采集模块用于：实时采集人体的生理数据和运动数据，生理数据包括心率值和皮肤电阻值，运动数据包括三轴加速度值和三轴角速度值；三轴为X轴、Y轴和Z轴，三轴加速度值包括X轴加速度值、Y轴加速度值和Z轴加速度值，三轴角速度值包括X轴角速度值、Y轴角速度值和Z轴角速度值；
所述行为信息多模态传输模块用于：将采集的人体的生理数据和运动数据传输至云服务器；
所述行为信息处理模块用于：将接收到的生理数据和运动数据通过所述行为信息预处理模块和所述信息分类模块，得到当前用户的行为类型；
所述行为信息预处理模块用于：对接收到的人体的生理数据和运动数据依次进行缺失信息的补全操作、错误信息的删除操作、归一化及滑动窗口切割；
所述行为信息分类模块用于：通过基于时空多特征提取的深度学习算法对人体当前行为进行判断；
所述行为信息应用模块用于：输出人体当前行为，并对人体当前行为的危险性进行判断和实时报警。
2.根据权利要求1所述的一种基于时空多特征提取的行为识别系统，其特征在于，所述行为信息采集模块包括行为信息类型选择单元、若干个运动数据感知单元和若干个生理数据感知单元，所述信息类型选择单元分别连接每个运动数据感知单元以及每个生理数据感知单元；
所述行为信息类型选择单元根据用户设定开启相应的运动数据感知单元或生理数据感知单元；所述运动数据感知单元包括若干个三轴加速度传感器和若干个三轴角速度传感器，用于采集人体的运动数据；所述生理数据感知单元包括若干个心率传感器、若干个皮肤电传感器，用于采集人体的生理数据。
3.根据权利要求2所述的一种基于时空多特征提取的行为识别系统，其特征在于，所述行为信息类型选择单元为模式切换按键。
4.根据权利要求2所述的一种基于时空多特征提取的行为识别系统，其特征在于，所述行为信息多模态传输模块包括传输类型选择单元、若干个行为信息发送单元和行为信息接收单元；所述传输类型选择单元分别连接每个行为信息发送单元，每个行为信息发送单元均连接所述行为信息接收单元；
所述传输类型选择单元根据用户设定选择不同的行为信息发送单元和行为信息接收单元；
所述行为信息发送单元用于信息的发送；
所述行为信息接收单元用于信息的接收；
进一步优选的，所述行为信息发送单元为LoRa节点、WiFi节点和4G/5G节点中的任一种，所述传输类型选择单元有LoRa、WiFi和4G/5G三种模式，所述行为信息接收单元为与信息发送单元对应的LoRa基站、WiFi网关和4G/5G基站中的任一种。
5.根据权利要求4所述的一种基于时空多特征提取的行为识别系统，其特征在于，所述行为信息预处理模块包括依次相连的多传感器数据融合单元、原始数据预处理单元、数据归一化单元和数据切割单元；
所述多传感器数据融合单元，用于将心率传感器、皮肤电阻传感器、三轴加速度传感器和三轴角速度传感器分别采集的心率值、皮肤电阻值、三轴加速度值和三轴角速度值，按照纵轴为时间戳，横轴为各个传感器的数据值，合并到同一个数组中，合并后的数组共8列，分别是心率值、皮肤电阻值、X轴加速度值、Y轴加速度值、Z轴加速度值、X轴角速度值、Y轴角速度值和Z轴角速度值；
所述原始数据预处理单元，用于对缺失信息进行补全操作，以及对异常信息进行删除操作；对缺失信息进行补全操作是指：采用均值插补法，以缺失数据所在列的平均值作为缺失值；对异常信息进行删除操作是指：对于异常数据，采用直接删除异常数据所在行数据的方法；
所述数据归一化单元，用于将不同量纲和不同量纲单位的传感器数据归一到同一量级，采用的最大值最小值归一化方法，把结果映射到[0,1]之间；
所述数据切割单元，用于将连续数据分割为大小相同的数据块，分割后的每个数据块代表一个行为完整的周期，数据的切割由滑动窗口实现，滑动窗口的窗口大小即为数据块的大小，滑动步长为滑动窗口每次移动的距离。
6.根据权利要求5所述的一种基于时空多特征提取的行为识别系统，其特征在于，所述行为信息分类模块包括统计特征提取单元、时间特征提取单元、空间特征提取单元和行为类型判别单元；
所述数据切割单元分别连接所述统计特征提取单元和时间特征提取单元，所述时间特征提取单元连接所述空间特征提取单元，所述统计特征提取单元和所述空间特征提取单元均连接所述行为类型判别单元；
所述统计特征提取单元，用于提取多维统计特征，多维统计特征包括时域、频域的均值、方差、峰峰值、偏度、峰度；
所述时间特征提取单元包括依次连接的两个GRU单元，用于对输入的传感器数据进行时间上的重编码，以保留传感器数据的时间特征；
所述空间特征提取单元包括依次连接的两个CNN单元，用于进一步提取输入传感器数据的空间特征；
所述CNN单元包括依次连接的卷积层、池化层及特征重标定卷积层；卷积层用于提取特征和权值共享；池化层用于对卷积层得到的特征进行压缩，提取主要特征；特征重标定卷积层用于对池化层处理后的特征重新赋予不同的权值；
所述行为类型判别单元包括依次连接的全连接层、Softmax分类器，经过多尺度的特征提取后，数据集输出到所述全连接层，并经过Softmax分类器进行分类，输出最终的行为类型。
7.根据权利要求6所述的一种基于时空多特征提取的行为识别系统，其特征在于，所述行为信息应用模块包括行为类型输出界面单元和报警单元，所述行为类型输出界面单元和所述报警单元均与所述行为类型判别单元相连；
所述行为类型输出界面单元实时输出当前使用者正在进行的行为类型；
所述报警单元根据用户设置的行为危险类型和程度与当前行为进行比较，一旦超过所设置阈值或者符合所设置的报警条件，立刻向监护者发送报警信息，即立刻向监护者发送生理异常信息；所设报警条件为行为类型，行为类型为异常行为类型，一旦判断当前行为符合所设置的报警条件，立刻向监护者发送行为异常信息。
8.权利要求7所述的基于时空多特征提取的行为识别系统的工作方法，其特征在于，包括步骤如下：
步骤S01：选择数据采集模式
系统设定三种数据采集模式，三种数据采集模式包括行为数据采集、生理数据采集以及行为数据和生理数据同时采集；根据行为识别所需数据采集模式的要求，选择加速度计、角速度计作为系统的行为数据的传感器，选择心率传感器和皮肤电传感器数据作为系统的生理数据的传感器，通过以上传感器多角度采集人体行为数据和生理数据，根据用户设定的数据采集模式，采集不...
【专利技术属性】
技术研发人员：许宏吉，张贝贝，石磊鑫，王珏，李梦荷，邢庆华，李娟，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。