手机处理人脸视频提取心率信号的系统及其方法技术方案

本发明专利技术公开一种手机处理人脸视频提取心率信号的系统及其方法，系统包括，特征点识别模块、特征图像截取模块、色度差值放大模块、滤波模块、有效特征检测模块、显示模块。方法的步骤为：输入人脸视频、识别人脸特征点、截取特征图像、计算色度差放大值、色度差值放大模块判断是否提取完人脸视频的帧图像、滤波、标记特征、计算心率值、显示心率值。本发明专利技术的系统中从色度差值中提取心率信号，计算简单，系统运行时间短。本发明专利技术的方法根据有效特征计算心率值，计算心率值更准确，放大色度信号，计算结果受亮度变化影响小。

【技术实现步骤摘要】
手机处理人脸视频提取心率信号的系统及其方法
本专利技术属于物理
，更进一步涉及图像处理
中的一种手机处理人脸视频提取心率信号的系统及其方法。本专利技术可用放大人脸视频信号中的微小变化，从处理后的人脸视频中提取心率信号。
技术介绍
人们在日常生活中往往使用接触式的心率检测仪测量心率，该仪器使用接触式传感器接收心率电信号。虽然接触式心率检测仪测量准确，但是其引入了硬件成本，价格较高。此外，接触式心率检测仪的接触式传感器给外伤患者和幼儿造成不便。为此，研究人员提出了诸多非接触式心率检测方法及系统。天津点康科技有限公司在其申请的专利文献“非接触式自动心率测量系统及测量方法”(专利申请专利号：201310172275.9，公开号：CN104138254A)中公开了一种非接触式自动心率测量系统。该系统包括视频采集模块、分帧提取感兴趣区域ROI模块、基色分量分离模块、时域信号生成模块、盲源分离模块、信号筛选模块、心率分析模块。该系统中使用视频采集模块采集人脸彩色视频，使用分帧提取感兴趣区域ROI模块利用人脸跟踪算法提取视频中每帧图片的感兴趣区域，使用基色分离模块将所提取的感兴趣区域图像进行红绿蓝RGB基色分离，使用时域信号生成模块从基色分离后的图像中提取图像特征值，生成特征值序列，使用盲源分离模块对获取的特征值序列进行盲源分离，使用信号筛选模块筛选出最终信号，使用心率分析模块对筛选得到的信号进行频谱分析，计算出心率值。该系统虽然能自动提取人脸特征区域，无需手动标定，进而计算出心率值。但是，该系统仍然存在的不足之处是：由于该系统使用的盲源分离模块首先要对图像进行主成分分析，然后对图像进行滤波，计算图像的独立性，最后使用优化算法实现盲源分离，而该过程中包含了对每一帧图像的卷积和矩阵运算，导致其该系统运算量巨大，系统运算时间长。天津点康科技有限公司在其申请的专利文献中还公开了一种非接触式自动心率测量方法。该方法首先采集包含人脸区域的彩色视频图像，提取所采集视频图像中的特征点并与人脸模式进行匹配，提取其中人脸区域图像，使用基色分离方法对提取的感兴趣区域图像按照红绿蓝RGB三个颜色通道进行基色分离，对获取的三基色分量图像的每帧图像分别取所有像素的灰度均值，作为该帧的特征值并生成三个时域信号，对得到的三个时域信号进行筛选，获得最终的筛选信号，使用频谱分析计算出心率值。该方法存在的不足之处是：在计算心率值时，该方法将筛选得到的信号变换到频域进行频谱分析，而筛选得到的信号中包含较多的其他频率成分的杂波，导致该方法计算的心率值不准确。西北工业大学在其申请的专利文献“基于智能手机的心率检测方法”(专利申请专利号：201610421290.6，公开号：CN106073745A)中公开了一种基于智能手机的心率检测方法。该方法首先将人体指尖、手心或者面部以及其他部位皮肤在稳定光源下皮肤颜色变化的视频输入智能手机中，然后使用视频中单个像素点的灰度值序列作为有效容积脉搏波信号，最后通过平均幅度比较得到主波波形，进而求取心率值。该方法存在的不足之处是：人脸视频中的心率信号十分微弱，该方法没有对微弱的心率信号进行放大处理，而是直接对视频中单个像素点的灰度值序列比较平均幅度并提取心率值，导致该方法测量结果易受光照变化、温度变化的影响。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提取一种手机处理人脸视频心率信号的系统及其方法，从色度差值中提取心率信号，克服了计算复杂的问题；通过计算色度特征阈值，标记有效色度特征，根据有效色度特征个数计算心率值，减少了其他频率杂波的影响；通过放大人脸视频中微小的色度变化，提取出不受亮度变化影响的心率信号，克服了测量结果易受光照变化影响的问题。实现本专利技术目的的思路是，特征图像截取模块截取人脸特征图像，色度差值放大模块将人脸特征图像转换到亮度色度YUV颜色空间，计算每一帧人脸特征图像中色度U通道均值和色度V通道均值的色度差放大值，得到色度差特征序列，有效特征检测模块计算所选取特征的阈值，根据阈值标记有效特征，心率值计算模块根据有效特征计算心率值，其特征在于，计算色度U通道均值和色度V通道均值的色度差放大值，作为人脸特征图像的特征，有效特征检测模块计算所选取特征的阈值，根据阈值标记有效特征，心率值计算模块根据有效特征计算心率值。本专利技术的系统包括特征点识别模块、特征图像截取模块、滤波模块、显示模块、色度差值放大模块、有效特征检测模块、心率值计算模块；其中：所述特征点识别模块，用于提取当前帧图像；识别当前帧图像中所有的人脸特征点；判断是否识别到人脸特征点，若是，将所有人脸特征点发送给特征图像截取模块，否则，特征点识别模块重新提取一帧图像；所述特征图像截取模块，用于绘制包含所有人脸特征点的最小矩形框；截取最小矩形框内图像，作为人脸特征图像；将人脸特征图像发送给色度差值放大模块；所述色度差值放大模块，用于将人脸特征图像从红绿蓝RGB颜色空间转换到亮度色度YUV颜色空间；计算人脸特征图像色度U通道均值和色度V通道均值的色度差放大值；判断是否提取完人脸视频的帧图像，若是，将特征序列输入到滤波模块，否则，特征点识别模块重新提取一帧图像；所述滤波模块，用于将特征序列输入通带频率为0.8赫兹到2.5赫兹的带通滤波器中，得到滤波后特征序列；将滤波后特征序列发送给有效特征检测模块；所述有效特征检测模块，用于从滤波后特征序列中顺序地选取一个特征；计算所选特征状态；利用阈值计算公式，计算所选取特征的阈值；判断所选取的特征是否为下降状态，且所选取的特征大于所选取特征的阈值，若是，将所选取特征标记为有效特征，否则，有效特征检测模块重新选取一个特征；判断是否取完滤波后特征序列的所有特征，若是，将所有有效特征发送给心率值计算模块，否则，有效特征检测模块重新从滤波后特征序列中顺序地选取一个特征；所述心率值计算模块，用于计算心率值；将心率值发送给显示模块；所述显示模块，用于显示心率值。本专利技术的方法的具体步骤包括如下：(1)输入人脸视频：将人脸视频输入手机的视频解码库中，解码人脸视频，得到人脸视频的总帧数和帧率，将解码后的人脸视频发送给特征点识别模块；(2)识别人脸特征点：(2a)特征点识别模块从解码后的人脸视频中顺序提取一帧图像，作为当前帧图像；(2b)特征点识别模块使用人脸特征点识别工具，识别当前帧图像中所有的人脸特征点；(3)特征点识别模块判断是否识别到人脸特征点，若是，则执行步骤(4)，否则，执行步骤(2)；(4)截取特征图像：(4a)特征点识别模块将识别到的所有人脸特征点，发送给特征图像截取模块；(4b)特征图像截取模块绘制包含所有人脸特征点的最小矩形框；(4c)使用图像剪辑方法，特征图像截取模块截取最小矩形框内包含的图像，作为人脸特征图像，将人脸特征图像发送给色度差值放大模块；(5)计算色度差放大值：(5a)色度差值放大模块利用颜色空间转换公式，将人脸特征图像从红绿蓝RGB颜色空间转换到亮度色度YUV颜色空间；(5b)色度差值放大模块计算人脸特征图像中所有像素点色度U通道的均值和色度V通道的均值；(5c)色度差值放大模块利用色度差值放大公式，计算色度U通道均值和色度V通道均值的色度差放大值，作为人脸特征图像的特征；(6)色度差值本文档来自技高网...

【技术保护点】
1.一种手机处理人脸视频提取心率信号的系统，包括特征点识别模块、特征图像截取模块、滤波模块、显示模块，其特征在于，还包括色度差值放大模块、有效特征检测模块、心率值计算模块；其中：所述特征点识别模块，用于提取当前帧图像；识别当前帧图像中所有的人脸特征点；判断是否识别到人脸特征点，若是，将所有人脸特征点发送给特征图像截取模块，否则，特征点识别模块重新提取一帧图像；所述特征图像截取模块，用于绘制包含所有人脸特征点的最小矩形框；截取最小矩形框内图像，作为人脸特征图像；将人脸特征图像发送给色度差值放大模块；所述色度差值放大模块，用于将人脸特征图像从红绿蓝RGB颜色空间转换到亮度色度YUV颜色空间；计算人脸特征图像色度U通道均值和色度V通道均值的色度差放大值；判断是否提取完人脸视频的帧图像，若是，将特征序列输入到滤波模块，否则，特征点识别模块重新提取一帧图像；所述滤波模块，用于将特征序列输入通带频率为0.8赫兹到2.5赫兹的带通滤波器中，得到滤波后特征序列；将滤波后特征序列发送给有效特征检测模块；所述有效特征检测模块，用于从滤波后特征序列中顺序地选取一个特征；计算所选特征状态；利用阈值计算公式，计算所选取特征的阈值；判断所选取的特征是否为下降状态，且所选取的特征大于所选取特征的阈值，若是，将所选取特征标记为有效特征，否则，有效特征检测模块重新选取一个特征；判断是否取完滤波后特征序列的所有特征，若是，将所有有效特征发送给心率值计算模块，否则，有效特征检测模块重新从滤波后特征序列中顺序地选取一个特征；所述心率值计算模块，用于计算心率值；将心率值发送给显示模块；所述显示模块，用于显示心率值。...

【技术特征摘要】
1.一种手机处理人脸视频提取心率信号的系统，包括特征点识别模块、特征图像截取模块、滤波模块、显示模块，其特征在于，还包括色度差值放大模块、有效特征检测模块、心率值计算模块；其中：所述特征点识别模块，用于提取当前帧图像；识别当前帧图像中所有的人脸特征点；判断是否识别到人脸特征点，若是，将所有人脸特征点发送给特征图像截取模块，否则，特征点识别模块重新提取一帧图像；所述特征图像截取模块，用于绘制包含所有人脸特征点的最小矩形框；截取最小矩形框内图像，作为人脸特征图像；将人脸特征图像发送给色度差值放大模块；所述色度差值放大模块，用于将人脸特征图像从红绿蓝RGB颜色空间转换到亮度色度YUV颜色空间；计算人脸特征图像色度U通道均值和色度V通道均值的色度差放大值；判断是否提取完人脸视频的帧图像，若是，将特征序列输入到滤波模块，否则，特征点识别模块重新提取一帧图像；所述滤波模块，用于将特征序列输入通带频率为0.8赫兹到2.5赫兹的带通滤波器中，得到滤波后特征序列；将滤波后特征序列发送给有效特征检测模块；所述有效特征检测模块，用于从滤波后特征序列中顺序地选取一个特征；计算所选特征状态；利用阈值计算公式，计算所选取特征的阈值；判断所选取的特征是否为下降状态，且所选取的特征大于所选取特征的阈值，若是，将所选取特征标记为有效特征，否则，有效特征检测模块重新选取一个特征；判断是否取完滤波后特征序列的所有特征，若是，将所有有效特征发送给心率值计算模块，否则，有效特征检测模块重新从滤波后特征序列中顺序地选取一个特征；所述心率值计算模块，用于计算心率值；将心率值发送给显示模块；所述显示模块，用于显示心率值。2.一种手机处理人脸视频提取心率信号的方法，其特征在于，计算色度U通道均值和色度V通道均值的色度差放大值，作为人脸特征图像的特征，有效特征检测模块计算所选取特征的阈值，根据阈值标记有效特征，心率值计算模块根据有效特征计算心率值；该方法的具体步骤包括如下：(1)输入人脸视频：将人脸视频输入手机的视频解码库中，解码人脸视频，得到人脸视频的总帧数和帧率，将解码后的人脸视频发送给特征点识别模块；(2)识别人脸特征点：(2a)特征点识别模块从解码后的人脸视频中顺序提取一帧图像，作为当前帧图像；(2b)特征点识别模块使用人脸特征点识别工具，识别当前帧图像中所有的人脸特征点；(3)特征点识别模块判断是否识别到人脸特征点，若是，则执行步骤(4)，否则，执行步骤(2)；(4)截取特征图像：(4a)特征点识别模块将识别到的所有人脸特征点，发送给特征图像截取模块；(4b)特征图像截取模块绘制包含所有人脸特征点的最小矩形框；(4c)使用图像剪辑方法，特征图像截取模块截取最小矩形框内包含的图像，作为人脸特征图像，将人脸特征图像发送给色度差值放大模块；(5)计算色度差放大值：(5a)色度差值放大模块利用颜色空间转换公式，将人脸特征图像从红绿蓝RGB颜色空间转换到亮度色度YUV颜色空间；(5b)色度差值放大模块计算人脸特征图像中所有像素点色度U通道的均值和色度V通道的均值；(5c)色度差值放大模块利用色...

【专利技术属性】
技术研发人员：杨刚，刘衍，于占胜，陈怡然，骆天翔，米悦丰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61