远程心冲击信号的特征提取方法和装置制造方法及图纸

公开了一种远程心冲击信号的特征提取方法和装置。所述特征提取方法包括：采集包括人脸图像的视频；根据视频获得远程心冲击信号；以及基于远程心冲击信号生成用于情绪识别的特征。根据视频获得远程心冲击信号包括：从视频中采集人脸特征点的横向运动轨迹和纵向运动轨迹；对横向运动轨迹和纵向运动轨迹进行第一去噪处理以获得初步去噪纵向运动轨迹，第一去噪处理使得初步去噪纵向运动轨迹与共享运动轨迹的相关性最小化，共享运动轨迹是指横向运动轨迹和纵向运动轨迹中都存在的运动轨迹；以及将初步去噪纵向运动轨迹随机分为两组，并对两组进行第二去噪处理以获得远程心冲击信号，第二去噪处理使得远程心冲击信号与两组的相关性最大化。相关性最大化。相关性最大化。

【技术实现步骤摘要】
远程心冲击信号的特征提取方法和装置


[0001]本公开涉及情绪识别领域，具体地，本公开提供了一种远程心冲击信号的特征提取方法和装置。

技术介绍

[0002]情绪识别在诸如人机交互、安全驾驶、远程教育、社会保障、心理健康监测和临床医学等多个领域都有重要的研究价值。例如，现有技术中可以使用生理信号(例如，脑电图(EEG)和皮肤电反应(GSR)等)来实现情绪识别。
[0003]由于其检测过程的复杂性和对受试者的影响，它们并不适合用于日常长期监测。远程心冲击(rBCG)技术是一种新兴的、无感监测的情绪识别方法，通过检测心脏搏动与大动脉血液循环导致的身体振动以实现非直接接触式的心脏功能实时检测。然而，使用rBCG技术进行情绪识别面临一些问题。首先，rBCG技术受到运动伪影的影响，如自愿的头部运动或面部表情。尽管现有研究尝试改进信号提取和信号估计以克服这一问题，无论是选择受运动伪影影响较小的适当的ROI(例如，对眼线以上、脸颊周围和嘴唇上部的人脸区域进行裁剪)，还是使用复杂的信号处理算法，都缺乏稳定性。其次，尽管基于BCG的情绪分类方法已经得到一些研究，但它们主要基于接触式BCG(cBCG)，对受试者有直接接触，信号易淹没在由于受试者自主运动造成的伪影中，应用场景有限。另外，现有的BCG情绪识别研究中提取的情绪特征较为单一，没有全面地从多个维度提取生理信号中的情绪信息，导致最后的模型识别准确率降低。因此，如何利用rBCG信号实现情绪识别工作，扩展应用场景，仍是一个待解决的问题。

技术实现思路

[0004]提供本公开内容是为了以简化的形式介绍所选择的构思，并在下面的具体实施方式中进一步描述这些构思。本
技术实现思路
无意确定所要求保护的主题的关键特征或必要特征，也无意用于帮助确定所要求保护的主题的范围。
[0005]根据现有技术中存在的问题，本公开提供了一种远程心冲击信号的特征提取方法和装置，能够去除运动伪影以得到更清晰、准确的rBCG信号，将rBCG信号转换为ECG信号，并且设计了非线性特征提取和最优特征集的构建方法，从而在情绪识别提供了更为全面、准确的特征。
[0006]本公开的一方面提供了一种远程心冲击信号的特征提取方法，其特征在于，所述特征提取方法包括：采集包括人脸图像的视频；根据视频获得远程心冲击信号；以及基于远程心冲击信号生成用于情绪识别的特征，其中，根据视频获得远程心冲击信号包括：从视频中采集人脸特征点的横向运动轨迹和纵向运动轨迹；对横向运动轨迹和纵向运动轨迹进行第一去噪处理以获得初步去噪纵向运动轨迹，其中，第一去噪处理使得初步去噪纵向运动轨迹与共享运动轨迹的相关性最小化，共享运动轨迹是指横向运动轨迹和纵向运动轨迹中都存在的运动轨迹；以及将初步去噪纵向运动轨迹随机分为两组运动轨迹，并对两组运动
轨迹进行第二去噪处理以获得远程心冲击信号，第二去噪处理使得远程心冲击信号与两组运动轨迹的相关性最大化。
[0007]可选地，所述第一去噪处理可以包括：对横向运动轨迹和纵向运动轨迹进行典型相关性分析以获得第一变换矩阵，初步去噪纵向运动轨迹表示为第一变换矩阵与纵向运动轨迹的乘积。
[0008]可选地，所述第二去噪处理可以包括：对所述两组运动轨迹中的每组分别进行主成分分析；对所述两组运动轨迹中的每组中的预定数量个主成分进行典型相关性分析以获得第二变换矩阵，远程心冲击信号表示为
[0009][0010]其中，rBCG为所述远程心冲击信号，是所述第二变换矩阵，U1和U2分别表示所述两组运动轨迹中的所述预定数量个主成分，[U1,U2]表示将U1和U2并列在一起形成的向量，所述远程心冲击信号是与[U1,U2]相关性最高的典型变量。
[0011]可选地，所述基于远程心冲击信号生成用于情绪识别的特征，可以包括：基于远程心冲击信号通过预训练的心拍生成网络模型来生成心拍信号，其中，所述预训练的心拍生成网络模型包括生成器和鉴别器，并通过以下步骤进行训练：采集包括人脸图像的训练用视频并获得训练用视频的远程心冲击信号；根据远程心冲击信号通过生成器获得生成心拍信号；采集与训练用视频同步的心电图信号以获得真实心拍信号；根据生成心拍信号和真实心拍信号通过鉴别器获得均方误差；以及基于预设的损失函数对生成网络模型进行训练，预设的损失函数用于衡量均方误差以及生成心拍信号和真实心拍信号之间的相干性。
[0012]可选地，所述预设的损失函数可以表示为：
[0013][0014]其中，N为样本数量，g
i
为所述生成心拍信号，b
i
为所述真实心拍信号，MSE(
·
)表示均方误差，ρ(
·
)表示相干性指数，α为所述相干性指数的权重。
[0015]可选地，所述基于远程心冲击信号生成用于情绪识别的特征，可以包括：基于远程心冲击信号生成多尺度递归定量分析特征。
[0016]可选地，所述基于所述远程心冲击信号生成多尺度递归定量分析特征，可以包括：基于远程心冲击信号获得二阶导数信号；对二阶导数信号进行相空间重构以获得第一相空间；根据第一相空间和初始阈值来绘制第一递归图，根据第一递归图来提取第一特征，以第一特征的互信息系数最大化为目标进行迭代以确定最优阈值；将与最优阈值对应的第一特征作为多尺度递归定量分析特征进行输出。
[0017]可选地，所述基于所述远程心冲击信号生成多尺度递归定量分析特征，还可以包括：以预设的时间窗口对二阶导数信号进行分帧处理以获得多个切片；对多个切片中的每个进行相空间重构以获得第二相空间；根据第二相空间和最优阈值来绘制第二递归图，根据第二递归图来提取第二特征；用卡方检验的方法对第二特征进行排序，并将第二特征中的预定排名的特征作为多尺度递归定量分析特征进行输出。
[0018]本公开的另一方面提供了一种远程心冲击信号的特征提取装置，其特征在于，所
述特征提取装置包括：视频采集单元，被配置为采集包括人脸图像的视频；信号重建单元，被配置为根据视频获得远程心冲击信号；以及特征提取单元，被配置为基于远程心冲击信号生成用于情绪识别的特征，其中，信号重建单元包括：特征点采集模块，被配置为从视频中采集人脸特征点的横向运动轨迹和纵向运动轨迹；第一去噪模块，被配置为对横向运动轨迹和纵向运动轨迹进行第一去噪处理以获得初步去噪纵向运动轨迹，其中，第一去噪处理使得初步去噪纵向运动轨迹与共享运动轨迹的相关性最小化，共享运动轨迹是指横向运动轨迹和纵向运动轨迹中都存在的运动轨迹；以及第二去噪模块，被配置为将初步去噪纵向运动轨迹随机分为两组运动轨迹，并对所述两组运动轨迹进行第二去噪处理以获得远程心冲击信号，第二去噪处理使得远程心冲击信号与所述两组运动轨迹的相关性最大化。
[0019]可选地，所述第一去噪模块可以被配置为：对横向运动轨迹和纵向运动轨迹进行典型相关性分析以获得第一变换矩阵，初步去噪纵向运动轨迹表示为第一变换矩阵与纵向运动轨迹的乘积。
[0020]可选地，所述第二去噪模块可以被配置为：对所述两组运动轨迹中的每组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程心冲击信号的特征提取方法，其特征在于，所述特征提取方法包括：采集包括人脸图像的视频；根据所述视频获得远程心冲击信号；以及基于所述远程心冲击信号生成用于情绪识别的特征，其中，所述根据所述视频获得远程心冲击信号，包括：从所述视频中采集人脸特征点的横向运动轨迹和纵向运动轨迹；对所述横向运动轨迹和所述纵向运动轨迹进行第一去噪处理以获得初步去噪纵向运动轨迹，其中，所述第一去噪处理使得所述初步去噪纵向运动轨迹与共享运动轨迹的相关性最小化，所述共享运动轨迹是指所述横向运动轨迹和所述纵向运动轨迹中都存在的运动轨迹；以及将所述初步去噪纵向运动轨迹随机分为两组运动轨迹，并对所述两组运动轨迹进行第二去噪处理以获得所述远程心冲击信号，所述第二去噪处理使得所述远程心冲击信号与所述两组运动轨迹的相关性最大化。2.根据权利要求1所述的特征提取方法，其特征在于，所述第一去噪处理包括：对所述横向运动轨迹和所述纵向运动轨迹进行典型相关性分析以获得第一变换矩阵，所述初步去噪纵向运动轨迹表示为所述第一变换矩阵与所述纵向运动轨迹的乘积。3.根据权利要求1所述的特征提取方法，其特征在于，所述第二去噪处理包括：对所述两组运动轨迹中的每组分别进行主成分分析；对所述两组运动轨迹中的每组中的预定数量个主成分进行典型相关性分析以获得第二变换矩阵，所述远程心冲击信号表示为其中，rBCG为所述远程心冲击信号，是所述第二变换矩阵，U1和U2分别表示所述两组运动轨迹中的所述预定数量个主成分，[U1,U2]表示将U1和U2并列在一起形成的向量，所述远程心冲击信号是与[U1,U2]相关性最高的典型变量。4.根据权利要求1所述的特征提取方法，其特征在于，所述基于所述远程心冲击信号生成用于情绪识别的特征，包括：基于所述远程心冲击信号通过预训练的心拍生成网络模型来生成心拍信号，其中，所述预训练的心拍生成网络模型包括生成器和鉴别器，并通过以下步骤进行训练：采集包括人脸图像的训练用视频并获得所述训练用视频的远程心冲击信号；根据所述远程心冲击信号通过所述生成器获得生成心拍信号；采集与所述训练用视频同步的心电图信号以获得真实心拍信号；根据所述生成心拍信号和所述真实心拍信号通过所述鉴别...

【专利技术属性】
技术研发人员：童心，程天庆，马竞，王治博，李英杰，魏宏超，蒲岩，
申请(专利权)人：沈阳康泰电子科技股份有限公司，
类型：发明
国别省市：