基于面部视频生理指标提取的大脑认知负荷量化方法技术

本发明专利技术公开了一种基于面部视频生理指标提取的大脑认知负荷量化方法，在弹琴记奏场景下记录受试者的面部视频，通过面部视频提取脉搏变异性与血氧饱和度，同时记录复现音符时间，使用上述指标为认知负荷量化打分，克服了国际上通用的自我评估量表的主观性、接触式设备测量的不便性等问题。步骤如下：通过摄像头采集受试者记忆音符序列过程的面部视频，同时记录复现音符时间；从面部视频中还原脉搏波并进行去噪，提取多种生理指标；基于统计分析，使用生理指标与复现音符时间共同为认知负荷量化打分。本发明专利技术可以为量化认知负荷提供一种无感无创的手段。感无创的手段。感无创的手段。

【技术实现步骤摘要】
基于面部视频生理指标提取的大脑认知负荷量化方法


[0001]本专利技术涉及信息技术及智慧健康
，具体涉及一种基于面部视频生理指标提取的大脑认知负荷量化方法。

技术介绍

[0002]目前国际上通用的大脑认知负荷评价方法是主观量表法，包括PAAS量表、WP量表、TLX量表。这些量表基本都是通过受试者对量表中的问题进行回答，实验人员根据回答结果进行打分，评判受试者的大脑认知负荷。这种测量大脑认知负荷的方法主观性较强，且花费时间较多；另一种衡量大脑认知负荷的方法是通过性能去度量，例如受试者任务完成时间、速度或正确性、关键错误和错误启动，但是这种方法能获取的信息比较有限。也有通过行为去测量大脑认知负荷的方法，例如观察受试者互动行为的特征模式，如语言或对话模式，这种方法同样具有主观性，且普适度不高。
[0003]随着现代传感器技术的发展，各种生理测量方法被开发出来用于大脑认知负荷的评估。常用的大脑认知负荷测量方法多利用脑电波、眼睛活动、呼吸、心率、皮肤电导、语言等信号。然而传统的接触式测量方法对受试者的刺激反而会影响大脑认知负荷本身的测量。
[0004]因此，使用非接触式摄像头采集受试者的面部视频，提取各种生理指标，进而测量认知负荷的方法，提供了一种无损、无创、客观、高效的测量方案，也是未来智慧医疗的主要发展方向。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中通用的大脑认知负荷自我评估量表的主观性和接触式设备测量的不便性等问题，提供一种基于面部视频生理指标提取的大脑认知负荷量化方法，设计弹琴记奏的场景来诱发不同水平的认知负荷，通过受试者记忆不同的音符序列并在电子琴上复现的方式，逐步增加记忆的难度，把控不同等级的认知负荷，同时手脑结合，更加全面地衡量认知负荷。在此场景下通过人脸视频提取的生理指标、记录的复现音符时间，多维度地评测量化受试者的认知负荷。这种非接触式的方式，为衡量认知负荷提供一种无感无创的手段。
[0006]本专利技术的目的可以通过采取如下技术方案达到：
[0007]一种基于面部视频生理指标提取的大脑认知负荷量化方法，所述大脑认知负荷量化方法包括下列步骤：
[0008]S1、采集受试者在不同认知负荷下的记忆音符序列过程中的面部视频，并记录复现音符时间；其中，所述认知负荷是受试者大脑所承受的认知压力的大小，不同认知负荷水平是通过记忆不同长度的音符序列来划分；
[0009]采集面部视频是用于后续的生理指标提取，并从客观的角度来衡量认知负荷水平；所述复现音符时间是记忆过程结束后受试者回忆音符并完整弹奏的总时间，复现音符
时间通过反映大脑的紧张程度来衡量认知负荷水平；所述音符序列是指从中音的“do”至中音的“xi”这一个八度内的七个单音符的任意组合；
[0010]S2、定位面部感兴趣区域，提取脉搏波：对采集到的人脸面部视频，进行人脸识别，定位到感兴趣区域，获取感兴趣区域皮肤像素的灰度值，提取出原始脉搏波信号；其中，所述感兴趣区域是用于提取脉搏波信号的人脸区域；基于皮肤像素灰度值变化与脉搏变化具有一致性的特点，提取出原始脉搏波信号；
[0011]S3、对原始脉搏波信号进行去噪：对还原出的原始脉搏波信号，使用级联的均匀相位经验模态分解算法，并结合巴特沃斯带通滤波器进行噪声的去除，得到去噪后的脉搏波信号；这种复合的滤波方法可以很好解决非接触式设备采集信号的信噪比较低的问题；
[0012]S4、针对去噪后的脉搏波信号，提取血氧饱和度和脉搏变异性，其中，所述血氧饱和度使用两个不同颜色通道的脉搏波进行拟合获得，所述脉搏变异性通过提取脉搏波的峰
‑
峰时间间隔获得；由于脉搏变异性包含了人体交感神经与副交感神经对脉搏的调制作用，与脑认知负荷直接相关，血氧饱和度反应了大脑在不同认知负荷下对资源的调用情况，可以间接反映认知负荷水平的高低，故选择提取这两种生理指标；
[0013]S5、分别对上述血氧饱和度、脉搏变异性以及复现音符时间进行统计分析，构建每个指标的分布，从而建立各个指标对应的分布曲线方程，筛选服从正态分布的指标，用于后续的量化打分；
[0014]S6、采集受试者的人脸面部视频，重复步骤S1
‑
S4，得到血氧饱和度、脉搏变异性、复现音符时间；重复步骤S5进行指标筛选，选择服从正态分布的指标，将血氧饱和度、脉搏变异性、复现音符时间分别输入到对应的曲线方程中，进行认知负荷的量化打分。
[0015]进一步地，所述步骤S1过程如下：
[0016]S101、受试者坐在一个外接摄像头的显示屏前，显示屏由外接的智能终端控制，展示需要记忆的音符序列，摄像头采集受试者的无遮挡面部视频，受试者通过设置在面前的电子琴弹奏记忆的音符。此步骤的显示屏用于展示待记忆的音符序列，通过激发人脑记忆资源的调度，产生认知负荷；此步骤选择简谱符号来表示音符序列，避免零乐理基础的受试者读不懂题目；此步骤摄像头采集的面部视频用于后续提取生理指标，衡量认知负荷的高低；此步骤的电子琴将认知负荷的考察面从单一的记忆资源调度扩展到听觉的维度，可以考察到更加全面的认知负荷；
[0017]S102、显示屏上播放待记忆的一个音符序列并开始倒计时，受试者面向显示屏，记忆音符序列，外接摄像头记录受试者的面部视频。此步骤要求受试者在有限的时间记忆音符序列，记忆时间过短会造成过大的认知负荷，导致受试者的放弃性行为，记忆时间过长会造成过低的认知负荷，导致较难检测；此步骤要求受试者尽量保持静止，避免产生过大的运动噪声，导致生理指标的提取结果误差过大；
[0018]S103、记忆时间倒计时归零后，显示屏自动切到下一页，受试者在面前的电子琴上弹奏出对应的音符序列，记录受试者的复现音符时间。此步骤记录的复现音符时间从任务绩效的角度反映认知负荷的高低，避免单一生理指标衡量认知负荷不够全面；此步骤受试者需在有限的时间复现音符序列，设定有限的时间与步骤S102设定记忆时限的目的相同；
[0019]S104、重复步骤S101
‑
S103的过程，并且受试者在记忆后，弹奏出前一轮或前两轮的音符序列。此步骤要求受试者重复多轮测试，每轮测试的待记忆音符序列难度不同，以此
产生不同水平的认知负荷，增加可评判的数据种类，验证认知负荷测量方法的普适性。
[0020]进一步地，所述步骤S2过程如下：
[0021]S201、对采集到的面部视频进行分帧和亮度增强：先对采集到的面部视频进行分帧，得到连续的彩色图片序列。图片的格式为RGB，其中R代表红色通道、G代表绿色通道、B代表蓝色通道；
[0022]再将图片由RGB颜色空间转换到YCrCb颜色空间，基于亮度与信噪比正相关的理论，对只包含亮度信息的Y空间的值乘以1.5，进行亮度的增强，增大信噪比。其中Y代表明亮度、Cr代表RGB输入信号红色部分与RGB信号亮度值之间的差异、Cb代表RGB输入信号蓝色部分与RGB信号亮度值之间的差异；
[0023]此步骤首先对面部视频进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部视频生理指标提取的大脑认知负荷量化方法，其特征在于，所述大脑认知负荷量化方法包括下列步骤：S1、采集受试者在不同认知负荷下的记忆音符序列过程中的面部视频，并记录复现音符时间；其中，所述认知负荷是受试者大脑所承受的认知压力的大小，不同认知负荷水平是通过记忆不同长度的音符序列来划分；所述复现音符时间是记忆过程结束后受试者回忆音符并完整弹奏的总时间，复现音符时间通过反映大脑的紧张程度来衡量认知负荷水平；所述音符序列是指从中音的“do”至中音的“xi”这一个八度内的七个单音符的任意组合；S2、对采集到的人脸面部视频，进行人脸识别，定位到感兴趣区域，获取感兴趣区域皮肤像素的灰度值，提取出原始脉搏波信号；其中，所述感兴趣区域是用于提取脉搏波信号的人脸区域；S3、对还原出的原始脉搏波信号，使用级联的均匀相位经验模态分解算法，并结合巴特沃斯带通滤波器进行噪声的去除，得到去噪后的脉搏波信号；S4、针对去噪后的脉搏波信号，提取血氧饱和度和脉搏变异性，其中，所述血氧饱和度使用两个不同颜色通道的脉搏波进行拟合获得，所述脉搏变异性通过提取脉搏波的峰
‑
峰时间间隔获得；S5、分别对上述血氧饱和度、脉搏变异性以及复现音符时间进行统计分析，构建每个指标的分布，从而建立各个指标对应的分布曲线方程，筛选服从正态分布的指标，用于后续的量化打分；S6、采集受试者的人脸面部视频，重复步骤S1
‑
S4，得到血氧饱和度、脉搏变异性、复现音符时间；重复步骤S5进行指标筛选，选择服从正态分布的指标，将血氧饱和度、脉搏变异性、复现音符时间分别输入到对应的曲线方程中，进行认知负荷的量化打分。2.根据权利要求1所述的基于面部视频生理指标提取的大脑认知负荷量化方法，其特征在于，所述步骤S1过程如下：S101、受试者坐在一个外接摄像头的显示屏前，显示屏由外接的智能终端控制，展示需要记忆的音符序列，摄像头采集受试者的无遮挡面部视频，受试者通过设置在面前的电子琴弹奏记忆的音符；S102、显示屏上播放待记忆的一个音符序列并开始倒计时，受试者面向显示屏，记忆音符序列，外接摄像头记录受试者的面部视频；S103、记忆时间倒计时归零后，显示屏自动切到下一页，受试者在面前的电子琴上弹奏出对应的音符序列，记录受试者的复现音符时间；S104、重复步骤S101
‑
S103的过程，并且受试者在记忆后，弹奏出前一轮或前两轮的音符序列。3.根据权利要求1所述的基于面部视频生理指标提取的大脑认知负荷量化方法，其特征在于，所述步骤S2过程如下：S201、先对采集到的面部视频进行分帧，得到连续的彩色图片序列，图片的格式为RGB，其中R代表红色通道、G代表绿色通道、B代表蓝色通道，再将图片由RGB颜色空间转换到YCrCb颜色空间，进行亮度的增强，其中Y代表明亮度、Cr代表RGB输入信号红色部分与RGB信号亮度值之间的差异、Cb代表RGB输入信号蓝色部分与RGB信号亮度值之间的差异；
S202、对亮度增强后的每一帧图片，使用基于梯度提高学习的回归树方法进行人脸关键点检测，检测到人脸关键点，并以此定位到前额部位，以此作为感兴趣区域；S203、对感兴趣区域的图像进行通...

【专利技术属性】
技术研发人员：韦岗，窦志远，曹燕，王一歌，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：