基于多特征融合的非接触式状态识别方法技术

技术编号：41404653 阅读：6 留言：0更新日期：2024-05-20 19:30

本发明专利技术公开了基于多特征融合的非接触式状态识别方法，属于物联网领域。本发明专利技术设置前端图像监控设备，设置监控周期对单用户面部数据进行采集，生成临时锁定码对当前用户与其对应面部数据建立联系；中控分析系统将采集数据通过特征切片处理获取面部帧序列数据，将处理后面部帧序列数据通过卷积模型对用户面部脉搏波信号进行分析，获取IPPG信号特征向量；利用面部补丁网络对用户面部帧序列数据进行局部分解特征提取，通过向量化特征数据生成对应面部特征向量；将IPPG信号特征向量与用户面部特征向量进行融合特征分析，通过构建双线性识别模型对当前用户状态数据进行分析；将用户的状态分析结果通过对应的数据报表形式在反馈端口进行输出。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及物联网领域，具体为基于多特征融合的非接触式状态识别方法。

技术介绍

1、非接触式状态识别技术是一种利用传感器或其他设备在不直接接触人体的情况下，通过分析人体产生的信号来识别个体的状态或行为的技术；这种技术在医疗健康监测、智能家居、人机交互等领域有着广泛的应用潜力；

2、当前环境下，人们通过非接触的方式进行面部状态识别分为两种，其一使用深度学习的方法，如vgg-face、openface、facenet和deepld等系列模型对面部进行特征提取；另一种方式则是基于深度神经网络和信号处理的方法对生理信号进行特征提取。然而，这种单模态的情绪识别方法具有较大的局限性，结合传统的脑电、皮肤电信号等的多模态情绪识别又需要额外的传感器，给状态识别带来不便。

技术实现思路

1、本专利技术的目的在于提供基于多特征融合的非接触式状态识别方法，以解决上述
技术介绍
中提出的问题。

2、为了解决上述技术问题，本专利技术提供如下技术方案：

3、基于多特征融合的非接触式状态识别方法，该方法包括以下步骤：

4、s100、通过在前端设置图像监控设备，通过设置监控周期对单用户面部数据进行实时动态多角度采集，通过生成临时锁定码对当前用户与其对应面部数据建立联系；

5、s200、中控分析系统将采集数据通过特征切片处理获取面部帧序列数据，并将处理后的面部帧序列数据通过卷积模型对用户面部脉搏波信号进行分析，获取对应分析结果的ippg信号特征向量；

6、s300、利用面部补丁网络对用户面部帧序列数据进行局部分解特征提取，并通过向量化特征数据生成对应的面部特征向量；将提取的ippg信号特征向量与用户面部特征向量进行融合特征分析，并通过构建双线性识别模型对当前用户状态数据进行分析；

7、所述将提取的ippg信号特征向量与用户面部特征向量进行融合特征分析包括对ippg信号特征向量和面部特征向量进行真实状态预测，通过将当前ippg信号特征向量进行不同类别状态的分向量分解，获取对应类别的特征状态分向量，将与各类别的特征状态分向量对应各类别状态的真实分向量之间进行差异计算；同样对用户面部特征向量的不同类别状态的分向量与对应各类别状态的真实分向量之间进行差异计算；通过计算结果获取对应ippg信号特征向量与用户面部特征向量的真实状态预测值；根据预测结果分别构建ippg特征向量真实状态预测值集合和面部特征向量真实状态预测值集合；

8、s400、将用户的状态分析结果通过对应的数据报表形式在反馈端口进行输出。

9、所述s100中通过在前端设置图像监控设备，通过设置监控周期对单用户面部数据进行实时动态多角度采集，通过生成临时锁定码对当前用户与其对应面部数据建立联系的具体步骤如下：

10、s101、在前端实况区域中，对存在数据采集需求的区域进行图像监控设备安装；在监控区域内，通过对监控设备设置单用户监控周期，对监控区域中单用户面部数据进行视频数据采集；

11、s102、对单用户视频数据采集完成后，通过数据锁码单元对当前用户信息与对应面部采集数据建立联系并生成对应的锁定码；将当前用户信息、面部采集数据及锁定码传输至中控分析系统。

12、所述s101中图像监控设备为监控摄像器；所述对单用户面部数据进行视频数据采集是通过多监控摄像器在单用户监控周期内对用户进行多角度动态捕捉拍摄，采集在周期内用户面部数据在不同角度下和不同光照强度下的视频图像数据；所述数据锁码单元是以当前用户的身份信息和静态面部数据为关联参数与用户实况视频数据建立联系通道，并生成对应锁定码作为数据调取通行码。

13、所述s200中控分析系统将采集数据通过特征切片处理获取面部帧序列数据，并将处理后的面部帧序列数据通过卷积模型对用户面部脉搏波信号进行分析，获取对应分析结果的ippg信号特征向量的具体步骤如下：

14、s201、中控分析系统根据用户的身份信息对用户的面部数据进行检索，并通过锁定码对用户的实况脸部数据视频数据进行调取；

15、s202、利用帧插法对视频数据进行分帧处理，获取分帧后的多图像数据并生成对应周期面部帧序列数据一级集合；通过对分帧后的面部帧序列数据进行图像预处理，获取面部帧序列数据二级集合；

16、s203、将面部帧序列数据二级集合输入卷积模型中，通过模型计算分析用户的面部脉搏信号，并根据输出提取对应的ippg信号特征向量数据。

17、所述s202中帧插法为取固定时间帧对视频数据进行等时间帧进行点插，将原视频数据分为多静态图像帧数据；所述图像预处理包括裁剪、缩放、归一化和筛选操作；所述卷积模型计算过程如下：

18、s202-1、首先将面部帧序列数据二级集合中的数据，以时间线为分析顺序进行卷积滤波计算提取图像特征，其计算公式为；其中f为输入面部帧序列的图像，为卷积核，为图像坐标，为图像中的像素坐标，为图像在坐标处的像素值，为卷积核在坐标的权重值，为卷积计算；

19、s202-2、将面部帧序列图像数据完成卷积计算的输出数据进行筛选重置化，其计算公式为；其中为面部帧序列卷积输出；通过对面部帧序列数据卷积输出进行负值置0处理，可以降低图像数据的线性化，提高图像数据的特征凸出性，降低计算量；

20、s202-3、对筛选重置化后的面部帧序列图像数据进行图像局部干扰数据降维处理，其计算公式为；其中为局部窗口范围数据；通过在图像上构建局部窗口，对窗口内的数据进行去干扰降维操作，降低图像中的数据干扰项，减少整体计算数据；

21、s202-4、将以上操作处理后的面部帧图像数据进行数据向量化操作，并提取对应的ippg信号特征向量，其计算公式为；其中为ippg信号特征向量，为权重矩阵，为面部帧图像特征向量，为偏置向量；根据分析结果统计ippg信号特征向量数量，并构建ippg信号特征向量集合。

22、所述s300中利用面部补丁网络对用户面部帧序列数据进行局部分解特征提取，并通过向量化特征数据生成对应的面部特征向量；将提取的ippg信号特征向量与用户面部特征向量进行融合特征分析，并通过构建双线性识别模型对当前用户状态数据进行分析具体步骤如下：

23、s301、将面部帧序列数据二级集合中的数据输入面部补丁网络，通过面部补丁网络对面部帧序列图像数据进行面部关键特征点进行定位；

24、s302、通过对当前用户脸部进行大数据模拟，并将定位后的面部关键特征点进行映射标注；以任一关键特征点为起始点对其余关键特征点进行延伸构建面部特征向量；统计面部特征向量的数量，并构建面部特征向量集合；

25、s303、结合提取的ippg信号特征向量与面部特征向量进行融合特征分析并通过构建双线性识别模型对用户的状态数据进行分析。

26、所述构建面部特征向量过程中，任意两关键特征点之间存在两个面部特征向量；由于向量的本质属性，当方向发生改变，向量整体也会发生本文档来自技高网...

【技术保护点】

1.基于多特征融合的非接触式状态识别方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述S100中通过在前端设置图像监控设备，通过设置监控周期对单用户面部数据进行实时动态多角度采集，通过生成临时锁定码对当前用户与其对应面部数据建立联系的具体步骤如下：

3.根据权利要求2所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述S101中图像监控设备为监控摄像器；所述对单用户面部数据进行视频数据采集是通过多监控摄像器在单用户监控周期内对用户进行多角度动态捕捉拍摄，采集在周期内用户面部数据在不同角度下和不同光照强度下的视频图像数据；所述数据锁码单元是以当前用户的身份信息和静态面部数据为关联参数与用户实况视频数据建立联系通道，并生成对应锁定码作为数据调取通行码。

4.根据权利要求3所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述S200中控分析系统将采集数据通过特征切片处理获取面部帧序列数据，并将处理后的面部帧序列数据通过卷积模型对用户面部脉搏波信号进行分析，获取对应分析

5.根据权利要求4所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述S202中帧插法为取固定时间帧对视频数据进行等时间帧进行点插，将原视频数据分为多静态图像帧数据；所述图像预处理包括裁剪、缩放、归一化和筛选操作；所述卷积模型计算过程如下：

6.根据权利要求5所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述S300中利用面部补丁网络对用户面部帧序列数据进行局部分解特征提取，并通过向量化特征数据生成对应的面部特征向量；将提取的IPPG信号特征向量与用户面部特征向量进行融合特征分析，并通过构建双线性识别模型对当前用户状态数据进行分析具体步骤如下：

7.根据权利要求6所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述构建面部特征向量过程中，任意两关键特征点之间存在两个面部特征向量。

8.根据权利要求7所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述S303中结合提取的IPPG信号特征向量与面部特征向量进行融合特征分析的具体步骤如下：

9.根据权利要求8所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述S303-3中构建双线性识别模型对用户的状态数据做进一步分析的具体步骤如下：

10.根据权利要求9所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述S400中将用户的状态分析结果通过对应的数据报表形式在反馈端口进行输出的具体步骤如下：

...

【技术特征摘要】

1.基于多特征融合的非接触式状态识别方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述s100中通过在前端设置图像监控设备，通过设置监控周期对单用户面部数据进行实时动态多角度采集，通过生成临时锁定码对当前用户与其对应面部数据建立联系的具体步骤如下：

3.根据权利要求2所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述s101中图像监控设备为监控摄像器；所述对单用户面部数据进行视频数据采集是通过多监控摄像器在单用户监控周期内对用户进行多角度动态捕捉拍摄，采集在周期内用户面部数据在不同角度下和不同光照强度下的视频图像数据；所述数据锁码单元是以当前用户的身份信息和静态面部数据为关联参数与用户实况视频数据建立联系通道，并生成对应锁定码作为数据调取通行码。

4.根据权利要求3所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述s200中控分析系统将采集数据通过特征切片处理获取面部帧序列数据，并将处理后的面部帧序列数据通过卷积模型对用户面部脉搏波信号进行分析，获取对应分析结果的ippg信号特征向量的具体步骤如下：

5.根据权利要求4所述的基于多特征融合的非接触式状态识别方法，其特征在于：所述s202中帧插法为取固定时间帧...

【专利技术属性】
技术研发人员：陶雪，嵇晓强，孟凡军，江晟，王美娇，宋静，赵春华，曹秒，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人