基于人脸视频实时显示脉象波形的方法和系统技术方案

本发明专利技术公开一种基于人脸视频实时显示脉象波形的方法和系统，包括以下步骤：（1）采集人脸视频及标准脉象；（2）对采集的人脸视频图像进行检测与区域追踪；（3）进行颜色空间转换；（4）欧拉视频放大处理；（5）RGB通道分离生成初始脉搏波；（6）对初始脉搏波信号进行去噪处理；（7）脉搏波希尔伯特‑黄转换得到希尔伯特谱；（8）构建条件生成对抗网络；（9）训练条件生成对抗网络；（10）重构脉象波形。本发明专利技术只需要采集人脸视频就可以直观地显示脉象波形，使用便捷，适用性广。

【技术实现步骤摘要】
基于人脸视频实时显示脉象波形的方法和系统
本专利技术涉及计算机视觉
，具体指一种基于人脸视频实时显示脉象波形的方法和系统。
技术介绍
人体动脉遍布全身，而脉搏波是反映机体生理状态或病理状态的一种信息窗口。人体是个统一的整体，各组织、器官、系统的功能状态会直接或间接影响心血管系统，而脉搏波是心脏的张缩形成的脉动流所致的压力脉动和血液流量共同作用形成，其携带着机体全身各部分的信息向全身各处传播。通过采集脉搏波，分析其携带的信息特征，即可对机体整体状态做出判断。脉搏波是传统中医脉诊的重要载体，传统中医通过利用手指感触患者腕部实现脉象信息的获取，随着技术的发展，现在有利用压力传感器接触手腕的方法获取脉搏波，进而分析脉象特征，因其需要接触人体，操作复杂，受众面窄。随着人工智能技术在计算机视觉领域特别是人脸识别领域的成功运用，为人们通过计算机视觉技术探索生命科学提供了榜样。计算机视觉通过计算机和摄像头等工具，通过图像分割、视频流处理等技术，能对医学领域中的特定问题进行数据建模和技术创新。现有技术中通过计算机摄像头采集人脸视频图像并处理后，可以将处理后得到的脉象信号与标准脉象数据库对比进行对抗训练，从而得到实时检测的脉象波形，但现有技术对采集的人脸视频图像处理过程不够科学合理，导致最终输出的脉搏波形不能精确地反映检测者真实脉搏信号，影响最终判断的准确性。
技术实现思路
本专利技术针对以上问题，提出了一种基于人脸视频实时显示中医脉象波形的方法和系统，该方法和系统只需采用普通的摄像头获取人脸视频，通过视频放大技术对人脸脉搏的运动信息进行获取和放大，然后通过与标准脉象进行生成对抗网络训练处理，可实时生成准确度高且可视化效果好的中医脉象波形。本专利技术的技术方案如下：基于人脸视频实时显示脉象波形的方法，包括以下步骤：(1)采集人脸视频及标准脉象；(2)对采集的人脸视频图像进行检测与区域追踪；(3)颜色空间转换：将采集到的人脸视频图像由RGB空间转换为HSV空间；(4)欧拉视频放大处理：人脸视频图像转换到HSV空间后，将脉动引起的颜色变化信号进行放大处理，得到放大变化后的合成信号；(5)RGB通道分离生成初始脉搏波：将经过欧拉视频放大处理的视频中每帧图像分离成R、G、B三个通道，获得视频不同通道像素值的时间序列，生成初始脉搏波；(6)对初始脉搏波信号进行去噪处理；(7)脉搏波希尔伯特-黄转换：将去噪后的脉搏波信号先进行总体经验模态分解，然后将分解后的每个IMF分量进行希尔伯特-黄转换，得到每个IMF分量随时间变化的瞬时频率和瞬时幅值，由此可以得到一个脉搏波的频率-幅度-能量分布图，即希尔伯特谱；所述的IMF是IntrinsicModeFunction的简称，叫固态模式函数，IMF分量即将混合模式的信号分解为多个单一模式的信号；比如混合信号包含1Hz，3Hz，5Hz等三种频率的信号混合，那么1Hz，3Hz，5Hz就是IMF分量之一；(8)构建条件生成对抗网络：条件生成对抗网络包括生成模型、判别模型和损失函数三部分，生成模型的输入为希尔伯特谱和混入的随机噪声，输出为优化的脉象波形的希尔伯特谱；辨别模型随机接收来自生成模型输出的脉象波形或标准脉象数据集的标准脉象波形的希尔伯特谱，并判断输入的信号是来自于标准数据集还是生成模型的输出信号，生成模型与判别模型形成对抗训练，经过不断优化生成对抗网络的参数，最终实现更好的人脸脉象波形的输出；损失函数对判别模型的输出计算损失概率，根据损失概率的大小设定阀值判断输出的真假；(9)训练条件生成对抗网络：利用人脸视频生成的脉搏波与同时采集的标准脉象波形组成成对的训练数据，累积得到一个训练数据批数据；当训练批数据达到数据量要求时，完成一轮条件生成对抗网络的训练，并更新网络参数；循环执行训练批数据采集和对抗训练过程，直到损失函数的值满足预设的阀值，即完成对抗网络训练；(10)重构脉象波形：当判别模型的损失函数值小于预先设定的阀值时，生成对抗网络模型的训练完成，则可通过对生成模型输出的脉象波形的希尔伯特谱进行逆希尔伯特变换，重构得到脉象波形，并实时显示。步骤(4)所述的欧拉视频放大处理包括以下步骤：a.空间分解：通过图像金字塔来实现，图像金字塔每一层图像均由底层图像进行采样得到；b.时域滤波：利用时域带通滤波器对视频信号进行滤波，得到感兴趣的脉搏搏动的变化信号；c.放大处理：经过带通滤波输出的变化信号进行放大，得到颜色放大的目标信号；d.视频重构：合成不同分辨率下放大后的变化信号，并与原图像叠加得到最后的输出结果。步骤(7)所述总体经验模态分解的过程如下：去噪后的脉搏波信号数据中加入高斯白噪声，然后分解带高斯白噪声的时间序列，得到各IMF分量，每次加入不同的高斯白噪声，然后各IMF分量分别取均值，得到最终的IMF分量。本专利技术还包括基于人脸视频实时显示脉象波形的系统，包括人脸视频采集模块、视频放大模块、脉搏波特征构建模块、标准脉象数据集、条件生成对抗网络模块、脉象波形重构模块，所述的人脸视频采集模块与视频放大模块连接，视频放大模块与脉搏波特征构建模块连接，所述条件生成对抗网络模块分别与脉搏波特征构建模块、标准脉象数据集、脉象波形重构模块连接；所述生成对抗网络模块接收来自脉搏波特征构建模块输出的数据与标准脉象数据集的数据，并形成对抗训练，得到优化的对抗网络参数；脉象波形重构模块接收优化的对抗网络参数对脉象波形进行重构转换，完成脉象波形的实时显示。所述的人脸视频采集模块采用智能手机摄像头或其他摄像头自动检测定位人脸区域并实时录制小段视频，传输至人脸视频放大模块。所述的视频放大模块接收人脸视频采集模块录制的视频并依次进行颜色空间转换、欧拉视频放大、RGB通道分离、信号滤波去噪，直至生成初始脉搏波波形，然后送入脉搏波特征构建模块。所述的脉搏波特征构建模块对生成的初始脉搏波波形进行希尔伯特-黄变换，得到对应脉率的希尔伯特谱，该希尔伯特谱作为生成对抗网络生成模型的输入数据，与标准脉象波形组成成对数据输入生成对抗网络判别模块进行模型训练。本专利技术的有益效果在于：1.本专利技术提出的方法和系统利用智能手机摄像头或其他摄像方式均可实现数据采集，无须增加专用设备，使用简便，用户使用成本低，且脉搏数据采集部位是人脸，非人体隐藏部位，易于操作。2.本发在进行生成对抗网络训练时，引入希尔伯特谱，将脉搏波时域信号变换为同时含有频率、幅度和能量的时域信息信号，信号特征更加明显，从而能使辨别模型更好地识别到人脸视频采集产生的脉搏信号，避免进行对抗训练时混入随机噪声，经对抗训练后得到的脉搏波形能更准确地表达被测者的真实脉搏状态。3.本专利技术利用生成对抗网络的方法学习其他部位的脉搏信号特征用以增强人脸脉搏的波形显示效果，同时对采集的人脸脉搏波信号进行去噪处理，使本有大量噪声的人脸脉搏波易于识别，直观且准确地显示脉象波形。4.本专利技术所述的方法经过对人脸视频本文档来自技高网...

【技术保护点】
1.基于人脸视频实时显示脉象波形的方法，其特征在于，包括以下步骤：/n(1)采集人脸视频及标准脉象；/n(2)对采集的人脸视频图像进行检测与区域追踪；/n(3)颜色空间转换：将采集到的人脸视频图像由RGB空间转换为HSV空间；/n(4)欧拉视频放大处理：人脸视频图像转换到HSV空间后，将脉动引起的颜色变化信号进行放大处理，得到放大变化后的合成信号；/n(5)RGB通道分离生成初始脉搏波：将经过欧拉视频放大处理的视频中每帧图像分离成R、G、B三个通道，获得视频不同通道像素值的时间序列，生成初始脉搏波；/n(6)对初始脉搏波信号进行去噪处理；/n(7)脉搏波希尔伯特-黄转换：将去噪后的脉搏波信号先进行总体经验模态分解，然后将分解后的每个IMF分量进行希尔伯特-黄转换，得到每个IMF分量随时间变化的瞬时频率和瞬时幅值，由此可以得到一个脉搏波的频率-幅度-能量分布图，即希尔伯特谱；/n(8)构建条件生成对抗网络：条件生成对抗网络包括生成模型、判别模型和损失函数三部分，生成模型的输入为希尔伯特谱和混入的随机噪声，输出为优化的脉象波形的希尔伯特谱；辨别模型随机接收来自生成模型输出的脉象波形或标准脉象数据集的标准脉象波形的希尔伯特谱，并判断输入的信号是来自于标准数据集还是生成模型的输出信号，生成模型与判别模型形成对抗训练，经过不断优化生成对抗网络的参数，最终实现更好的人脸脉象波形的输出；损失函数对判别模型的输出计算损失概率，根据损失概率的大小设定阀值判断输出的真假；/n(9)训练条件生成对抗网络：利用人脸视频生成的脉搏波与同时采集的标准脉象波形组成成对的训练数据，累积得到一个训练数据批数据；当训练批数据达到数据量要求时，完成一轮条件生成对抗网络的训练，并更新网络参数；循环执行训练批数据采集和对抗训练过程，直到损失函数的值满足预设的阀值，即完成对抗网络训练；/n(10)重构脉象波形：当判别模型的损失函数值小于预先设定的阀值时，生成对抗网络模型的训练完成，则可通过对生成模型输出的脉象波形的希尔伯特谱进行逆希尔伯特变换，重构得到脉象波形，并实时显示。/n...

【技术特征摘要】
1.基于人脸视频实时显示脉象波形的方法，其特征在于，包括以下步骤：
(1)采集人脸视频及标准脉象；
(2)对采集的人脸视频图像进行检测与区域追踪；
(3)颜色空间转换：将采集到的人脸视频图像由RGB空间转换为HSV空间；
(4)欧拉视频放大处理：人脸视频图像转换到HSV空间后，将脉动引起的颜色变化信号进行放大处理，得到放大变化后的合成信号；
(5)RGB通道分离生成初始脉搏波：将经过欧拉视频放大处理的视频中每帧图像分离成R、G、B三个通道，获得视频不同通道像素值的时间序列，生成初始脉搏波；
(6)对初始脉搏波信号进行去噪处理；
(7)脉搏波希尔伯特-黄转换：将去噪后的脉搏波信号先进行总体经验模态分解，然后将分解后的每个IMF分量进行希尔伯特-黄转换，得到每个IMF分量随时间变化的瞬时频率和瞬时幅值，由此可以得到一个脉搏波的频率-幅度-能量分布图，即希尔伯特谱；
(8)构建条件生成对抗网络：条件生成对抗网络包括生成模型、判别模型和损失函数三部分，生成模型的输入为希尔伯特谱和混入的随机噪声，输出为优化的脉象波形的希尔伯特谱；辨别模型随机接收来自生成模型输出的脉象波形或标准脉象数据集的标准脉象波形的希尔伯特谱，并判断输入的信号是来自于标准数据集还是生成模型的输出信号，生成模型与判别模型形成对抗训练，经过不断优化生成对抗网络的参数，最终实现更好的人脸脉象波形的输出；损失函数对判别模型的输出计算损失概率，根据损失概率的大小设定阀值判断输出的真假；
(9)训练条件生成对抗网络：利用人脸视频生成的脉搏波与同时采集的标准脉象波形组成成对的训练数据，累积得到一个训练数据批数据；当训练批数据达到数据量要求时，完成一轮条件生成对抗网络的训练，并更新网络参数；循环执行训练批数据采集和对抗训练过程，直到损失函数的值满足预设的阀值，即完成对抗网络训练；
(10)重构脉象波形：当判别模型的损失函数值小于预先设定的阀值时，生成对抗网络模型的训练完成，则可通过对生成模型输出的脉象波形的希尔伯特谱进行逆希尔伯特变换，重构得到脉象波形，并实时显示。


2.如权利要求1所述的基于人脸视频实时显示脉象波形的方法，其特征在于，步骤(4)所述的欧拉视频放大处理包括以下步骤：
a.空间分解：通...

【专利技术属性】
技术研发人员：蒙文，
申请(专利权)人：南宁莲现健康科技有限公司，
类型：发明
国别省市：广西;45