一种结合HRV信号和面部表情判断情绪的方法及设备技术

本发明专利技术涉及一种结合HRV信号和面部表情判断情绪的方法及设备，该方法为：使用前：情绪分类；建立HRV信号数据库和各情绪区间；建立面部表情数据库和各情绪区间；使用中：采集即时HRV信号数据、比对HRV信号数据，判断情绪；采集即时面部表情数据、比对面部表情数据，判断情绪；当2次判断一致，则输出情绪，否则输出无效，重新采集HRV信号数据和面部表情数据，直到两次判断情绪一致，输出情绪。本发明专利技术根据两个指标的结合输出情绪，评估效果较为准确，避免人故意压制，制造假情绪。

【技术实现步骤摘要】
一种结合HRV信号和面部表情判断情绪的方法及设备
本专利技术涉及一种结合HRV信号和面部表情判断情绪的方法及设备，属于人脸表情判断的

技术介绍
情绪管理（EmotionManagement）是指通过研究个体和群体对自身情绪和他人情绪的认识、协调、引导、互动和控制，充分挖掘和培植个体和群体的情绪智商、培养驾驭情绪的能力，从而确保个体和群体保持良好的情绪状态，并由此产生良好的管理效果。在当今高节奏的生活环境下，做好个人的情绪管理是非常必要的。情绪管理的前提是能够判断情绪，目前判断情绪还没有有效直观的方法。很多时候，人们并不清楚自己的情绪状态，所以无从下手去管理清晰，可见，寻找有效的人机互动的形式判断情绪，称为亟待解决的问题。心率变异性简称HRV，是指逐次心跳周期差异的变化情况，它含有神经体液因素对心血管系统调节的信息，从而判断其对心血管等疾病的病情及预防，可能是预测心脏性猝死和心律失常性事件的一个有价值的指标。将HRV用于判断情绪，是有个有效方式。人脸识别已经成为非常成熟的技术，人脸识别仅仅是选择多个固定点，与采集的图片进行比对，来判断是或否，输出面部是否匹配，不能有效识别面部表情。
技术实现思路
为了解决上述技术问题，本专利技术提供一种结合HRV信号和面部表情判断情绪的方法及设备，其具体技术方案如下：一种结合HRV信号和面部表情判断情绪的方法，包括以下步骤：步骤1：情绪分类；步骤2：建立HRV信号数据库：根据不同的情绪分类，分别采集多组若干组HRV信号数据，组成HRV信号数据库；步骤3：建立HRV信号的各情绪区间：确定各情绪的HRV信号数据区间；步骤4：建立面部表情数据库：根据不同的情绪分类，分别采集若干组面部表情数据，组成面部表情数据库；步骤5：建立面部表情的各情绪区间：确认各情绪的面部表情特征值区间；步骤6：采集即时HRV信号数据：采集测试者或使用者的HRV信号数据；步骤7：比对HRV信号数据：将步骤6采集的HRV信号数据与步骤3中的各情绪区间的端值比较，确认属于的情绪区间；步骤8：采集即时面部表情数据：采集测试者或使用者的面部表情数据；步骤9：比对面部表情数据：将步骤8采集的HRV信号数据与步骤5中的各情绪区间的端值比较，确认属于的情绪区间；步骤10：判断情绪：比对步骤7和9输出的情绪，当属于相同情绪时，确定此情绪为输出情绪，否则返回步骤6和8，直到步骤7和9输出的情绪，属于相同情绪。进一步的，所述步骤1中将情绪分成3类，分别为平静、负情绪和正情绪。进一步的，所述步骤2中确定采集者处于不同程度的负面情绪下，采集多组HRV数据，确定这些HRV数据的最大值和最小值，形成负面情绪HRV信号数据区间；所述步骤2中确定采集者处于不同程度的正面情绪下，采集多组HRV数据，确定这些HRV数据的最大值和最小值，形成正面情绪HRV信号数据区间；所述步骤2中确定采集者处于不同程度的平静情绪下，采集多组HRV数据，确定这些HRV数据的最大值和最小值，形成平静情绪HRV信号数据区间；负面情绪HRV信号数据区间、正面情绪HRV信号数据区间和平静情绪HRV信号数据区间不存在交集，若存在交集，视为无效数据，剔除，增加数据采集组数，直到寻找到确定的区间端值。进一步的，所述HRV信号数据采用心率测试仪绑缚在采集者的手腕处采集。进一步的，所述步骤4确定采集者处于不同程度的负面情绪下，采集多组面部表情图像，提取这些面部表情图像的特征，形成负面情绪面部表情特征区间；采集者处于不同程度的正面情绪下，采集多组面部表情图像，提取这些面部表情图像的特征，形成正面情绪面部表情特征区间；采集者处于不同程度的平静情绪下，采集多组面部表情图像，提取这些面部表情图像的特征，形成平静情绪面部表情特征区间；所述负面情绪面部表情特征区间、正面情绪面部表情特征区间和平静情绪面部表情特征区间不存在交集，若存在交集，视为无效数据，剔除，增加数据采集组数，直到寻找到确定的区间端值。进一步的，所述面部表情数据采集具体为：步骤a：采集图像：摄像机采集嘴部图像；步骤b：图像处理：对图像进行灰度处理获得灰度图，阈值分割获得二值图，通过计算sobel算子来计算图像灰度函数的近似梯度，图像可清晰显示牙齿位置和嘴角位置；步骤c：建立坐标系：以门牙的中心作为圆点，门牙所在平面，平行于牙齿方向为X轴，门牙的中缝与下巴骨骼的中间连线作为Y轴，同时垂直于X轴和Y轴作为Z轴；步骤d：确定嘴角位置：确定两侧嘴角在坐标系中坐标。进一步的，所述步骤d中嘴角坐标通过matlab软件快速标注生成。结合HRV信号和面部表情判断情绪的设备，该设备通过上述方法实现情绪判断。本专利技术的工作原理是：本专利技术设备在使用前，首先需要录入数据库，首先在设备上分类情绪，然后采集设备使用者在各种情绪（情绪可以人为制造，每种情绪变换多种方式制造，引发出各种可能的程度）下的HRV信号数据和面部表情数据，数据分区间时，去除重复的交集数据，使得每个情绪有明确的区间端值。使用时，采集已经存储过数据的人的数据，系统判断处于哪个区间内，给出所处区间的情绪。如果两种情绪不一致，表明采集者故意压制，没有表现出真实的情绪，输出无效，直到两种数据输出的情绪属于相同的情绪，表明数据有效，输出情绪为使用者的真实情绪。本专利技术的有益效果是：本专利技术根据两个指标的结合给出人的情绪评估范围，确定情绪处于正面情绪、负面情绪或者是平静情绪，评估效果较为准确，人很难蒙混假装表面现象来输出与实际不符的情绪。本专利技术检测快速，适用面广，可以用于犯罪甄别，以及孩子的情绪管理，以及心理障碍者的康复等等。具体实施方式本专利技术的结合HRV信号和面部表情判断情绪的方法，包括以下步骤：步骤1：情绪分类：情绪分成3类，分别为平静、负情绪和正情绪，在特定的使用情况下，可以根据需要分成更多种类，只需要根据不同的情绪，通过大量的数据采集，寻找确定各个情绪的特征以及特征区间便可。步骤2：建立HRV信号数据库：根据不同的情绪分类，分别采集多组若干组HRV信号数据，组成HRV信号数据库，采用心率测试仪绑缚在采集者的手腕处采集。步骤3：建立HRV信号的各情绪区间：确定采集者处于不同程度的负面情绪下，采集多组HRV数据，确定这些HRV数据的最大值和最小值，形成负面情绪HRV信号数据区间；所述步骤2中确定采集者处于不同程度的正面情绪下，采集多组HRV数据，确定这些HRV数据的最大值和最小值，形成正面情绪HRV信号数据区间；所述步骤2中确定采集者处于不同程度的平静情绪下，采集多组HRV数据，确定这些HRV数据的最大值和最小值，形成平静情绪HRV信号数据区间；负面情绪HRV信号数据区间、正面情绪HRV信号数据区间和平静情绪HRV信号数据区间不存在交集，若存在交集，视为无效数本文档来自技高网...

【技术保护点】
1.一种结合HRV信号和面部表情判断情绪的方法，其特征在于：包括以下步骤：/n步骤1：情绪分类；/n步骤2：建立HRV信号数据库：根据不同的情绪分类，分别采集多组若干组HRV信号数据，组成HRV信号数据库；/n步骤3：建立HRV信号的各情绪区间：确定各情绪的HRV信号数据区间；/n步骤4：建立面部表情数据库： 根据不同的情绪分类，分别采集若干组面部表情数据，组成面部表情数据库；/n步骤5：建立面部表情的各情绪区间：确认各情绪的面部表情特征值区间；/n步骤6：采集即时HRV信号数据：采集测试者或使用者的HRV信号数据；/n步骤7：比对HRV信号数据：将步骤6采集的HRV信号数据与步骤3中的各情绪区间的端值比较，确认属于的情绪区间；/n步骤8：采集即时面部表情数据：采集测试者或使用者的面部表情数据；/n步骤9：比对面部表情数据：将步骤8采集的HRV信号数据与步骤5中的各情绪区间的端值比较，确认属于的情绪区间；/n步骤10：判断情绪：比对步骤7和9输出的情绪，当属于相同情绪时，确定此情绪为输出情绪，否则返回步骤6和8，直到步骤7和9输出的情绪，属于相同情绪。/n

【技术特征摘要】
1.一种结合HRV信号和面部表情判断情绪的方法，其特征在于：包括以下步骤：
步骤1：情绪分类；
步骤2：建立HRV信号数据库：根据不同的情绪分类，分别采集多组若干组HRV信号数据，组成HRV信号数据库；
步骤3：建立HRV信号的各情绪区间：确定各情绪的HRV信号数据区间；
步骤4：建立面部表情数据库：根据不同的情绪分类，分别采集若干组面部表情数据，组成面部表情数据库；
步骤5：建立面部表情的各情绪区间：确认各情绪的面部表情特征值区间；
步骤6：采集即时HRV信号数据：采集测试者或使用者的HRV信号数据；
步骤7：比对HRV信号数据：将步骤6采集的HRV信号数据与步骤3中的各情绪区间的端值比较，确认属于的情绪区间；
步骤8：采集即时面部表情数据：采集测试者或使用者的面部表情数据；
步骤9：比对面部表情数据：将步骤8采集的HRV信号数据与步骤5中的各情绪区间的端值比较，确认属于的情绪区间；
步骤10：判断情绪：比对步骤7和9输出的情绪，当属于相同情绪时，确定此情绪为输出情绪，否则返回步骤6和8，直到步骤7和9输出的情绪，属于相同情绪。


2.根据权利要求1所述的结合HRV信号和面部表情判断情绪的方法，其特征在于：所述步骤1中将情绪分成3类，分别为平静、负情绪和正情绪。


3.根据权利要求1所述的结合HRV信号和面部表情判断情绪的方法，其特征在于：所述步骤2中确定采集者处于不同程度的负面情绪下，采集多组HRV数据，确定这些HRV数据的最大值和最小值，形成负面情绪HRV信号数据区间；
所述步骤2中确定采集者处于不同程度的正面情绪下，采集多组HRV数据，确定这些HRV数据的最大值和最小值，形成正面情绪HRV信号数据区间；
所述步骤2中确定采集者处于不同程度的平静情绪下，采集多组HRV数据，确定这些HRV数据的最大值和最小值，形成平静情绪HRV信号数据区间；
负面情绪HRV信号数据区间、正面情绪HRV信号数据区间和...

【专利技术属性】
技术研发人员：彭浩，周长亮，
申请(专利权)人：南京七岩电子科技有限公司，
类型：发明
国别省市：江苏;32