当前位置: 首页 > 专利查询>清华大学专利>正文

一种通过视频提取PPG信号的方法及其系统技术方案

技术编号:28375660 阅读:62 留言:0更新日期:2021-05-08 00:03
本申请公开了一种通过视频提取PPG信号的方法及其系统,其中,通过视频提取PPG信号的方法,包括如下步骤:对人脸视频进行处理,获取最终关键点位置;根据最终关键点位置动态选取感兴趣区域位置,并计算感兴趣区域位置内像素所有的通道亮度值,获得PPG信号。本申请通过视频提取PPG信号的方法及其装置相较传统的指夹手环等可穿戴设备收集而言减少了设备的特殊需求,相较传统的视频收集方法提升了准确性。

【技术实现步骤摘要】
一种通过视频提取PPG信号的方法及其系统
本申请涉及计算机
,尤其涉及一种通过视频提取PPG信号的方法及其系统。
技术介绍
常用的PPG设备包括手环、指夹器等,可在接触被试者的条件下获得较好的信号波形。用指夹和手环等接触设备收集PPG信号时限制较多,手环目前普及程度较低,且佩戴过程需要耗费一定时间。指夹更是极少在医疗场景以外出现,且长时间佩戴会造成不适。如果想利用PPG信号实现活体检测,活体身份认证等需求时,利用手环和指夹采集PPG信号均不合适。由于血液会吸收绿色光谱的光,所以PPG信号会导致皮肤色彩的变化,虽然难以通过人眼捕捉,但是在8位深度的标准RGB图中可以检测到。通过视频采集PPG信号时,通常选取面部的某个区域(如额头、脸颊等,称为ROI),并用采集设备拍摄一段视频,选取ROI内的绿色通道的数值(常为区域内的均值),并用带通滤波器选通0.5Hz~5Hz(人类脉搏频率范围)作为PPG信号。但由于人的位置不可能在一段时间内保持完全静止,所以传统方案中对ROI的选择面临较大挑战,如果被测试者的面部发生移动会导致ROI偏离,甚至完全离开面部,导致收集到的PPG信号失效。
技术实现思路
本申请的目的在于提供一种通过视频提取PPG信号的方法及其系统,具有在提升视频收集PPG的效率和准确性的同时,还能进一步利用PPG信号实现活体检测和活体认证的技术效果。为达到上述目的,本申请提供一种通过视频提取PPG信号的方法,包括如下步骤:对人脸视频进行处理,获取最终关键点位置;根据最终关键点位置动态选取感兴趣区域位置,并计算感兴趣区域位置内像素所有的通道亮度值,获得PPG信号。如上的,其中,对人脸视频进行处理,获取最终关键点位置的子步骤如下:对人脸视频进行人脸识别,确定待处理图像;对待处理图像进行检测,获取最终关键点位置。如上的,其中,对人脸视频的当前帧图像进行人脸识别,确定待处理图像的子步骤如下:对人脸视频的当前帧图像进行人脸识别,并生成识别结果,其中,识别结果为有效或无效;根据识别结果确定待处理图像;其中,若识别结果为:有效,则确定当前帧图像为待处理图像;若识别结果为:无效,则将当前帧图像清空,获取下一帧图像,并对下一帧图像进行人脸识别。如上的,其中,对待处理图像进行检测,获取最终关键点位置的子步骤如下:对待处理图像进行人脸区域检测,并获取人脸特征点;根据人脸特征点确定人脸区域和最终关键点位置。如上的,其中,当待处理图像为有效图像,且待处理图像之前具有上一帧有效图像时,需要利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理,并将完成平滑处理后获得的关键点位置作为待处理图像的最终关键点位置。如上的,其中,利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理,确定待处理图像的最终关键点位置的子步骤如下:U1:获取待处理图像的人脸区域和关键点位置,以及上一帧有效图像的人脸区域和关键点位置,执行U2;U2:对上一帧有效图像的人脸区域和待处理图像的人脸区域进行相对移动判断,并生成第一判断结果,若两帧人脸区域的相对移动较小,则生成的第一判断结果为:是,执行U3;若两帧人脸区域的相对移动较大,则生成的第一判断结果为:否,则执行U6;U3:将待处理图像的人脸区域和上一帧有效图像的人脸区域进行加权,并将加权平均结果作为最终的人脸区域,执行U4;U4:对上一帧有效图像的关键点位置和待处理图像的关键点位置进行相对移动判断,并生成第二判断结果,若两帧关键点位置的相对移动较小,则生成的第二判断结果为:是,执行U5;若两帧关键点位置的相对移动较大,则生成的第二判断结果为:否,执行U6;U5:将待处理图像的关键点位置和上一帧有效图像的关键点位置进行加权,并将加权平均结果作为新的关键点位置,执行U6;U6:根据第一判断结果、第二判断结果或者新的关键点位置确定最终关键点位置。如上的,其中,对动态选取的感兴趣区域位置进行优化,获取待处理图像最终的感兴趣区域位置的子步骤如下:G1:确定上一帧有效图像的感兴趣区域位置,并将该感兴趣区域位置分割为n×n的m个互相重叠的子感兴趣区域;G2:检测待处理图像的人脸,匹配各子感兴趣区域,并计算子感兴趣区域外界;G3:判断子感兴趣区域外界的中心位置与上一帧有效图像的感兴趣区域的中心位置是否接近,若子感兴趣区域外界的中心位置与上一帧有效图像的感兴趣区域的中心位置较为接近,则执行G4;若子感兴趣区域外界的中心位置与上一帧有效图像的感兴趣区域中心较远,则直接调用人脸检测算法重新检测关键点并重新确定感兴趣区域,将重新确定的感兴趣区域作为待处理图像的感兴趣区域,并执行G5;G4:检查子感兴趣区域外界的大小;若子感兴趣区域外界过大或过小,则表示人脸出现了明显的偏转,应调整感兴趣区域尺寸,故以此子感兴趣区域外界作为待处理图像的感兴趣区域,执行G5;若子感兴趣区域外界大小与感兴趣区域相近,则直接以上一帧有效图像的感兴趣区域做匹配,得到新的感兴趣区域,并将新的感兴趣区域作为待处理图像的感兴趣区域,执行G5;G5:将待处理图像的感兴趣区域分割为n×n的m个互相重叠的子感兴趣区域作为待处理图像最终的感兴趣区域位置;其中,n为子感兴趣区域的边长,m为子感兴趣区域的个数。本申请还提供一种通过视频提取PPG信号的系统,包括:拍摄单元和数据处理单元;其中,拍摄单元:用于拍摄人脸视频,并将人脸视频输入至数据处理单元进行处理;数据处理单元:用于执行上述的通过视频提取PPG信号的方法。如上的,其中,所述数据处理单元包括:人脸检测单元和PPG信号提取单元;其中,人脸检测单元:用于接收人脸视频,并对人脸视频进行人脸检测,检测到人脸后,确定最终关键点位置;PPG信号提取单元:利用最终关键点位置获取PPG信号。如上的,其中,所述人脸检测单元设置有人脸检测算法,通过人脸检测算法对人脸视频进行人脸检测,获取人脸特征点。本申请通过视频提取PPG信号的方法及其装置相较传统的指夹手环等可穿戴设备收集而言减少了设备的特殊需求,相较传统的视频收集方法提升了准确性。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。图1为通过视频提取PPG信号的系统一种实施例的结构示意图;图2为通过视频提取PPG信号的方法一种实施例的流程图;图3为PPG信号的未平滑波形;图4为确定最终关键点位置一种实施例的流程图;图5为PPG信号的平滑后波形;图6为获取待处理图像最终的感兴趣区域位置的流程图;图7为多区域匹配结果;图8为除背景后的PPG信号;图9为人脸特征点的示意图。具体实施方式下面结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分本文档来自技高网...

【技术保护点】
1.一种通过视频提取PPG信号的方法,其特征在于,包括如下步骤:/n对人脸视频进行处理,获取最终关键点位置;/n根据最终关键点位置动态选取感兴趣区域位置,并计算感兴趣区域位置内像素所有的通道亮度值,获得PPG信号。/n

【技术特征摘要】
1.一种通过视频提取PPG信号的方法,其特征在于,包括如下步骤:
对人脸视频进行处理,获取最终关键点位置;
根据最终关键点位置动态选取感兴趣区域位置,并计算感兴趣区域位置内像素所有的通道亮度值,获得PPG信号。


2.根据权利要求1所述的通过视频提取PPG信号的方法,其特征在于,对人脸视频进行处理,获取最终关键点位置的子步骤如下:
对人脸视频进行人脸识别,确定待处理图像;
对待处理图像进行检测,获取最终关键点位置。


3.根据权利要求2所述的通过视频提取PPG信号的方法,其特征在于,对人脸视频的当前帧图像进行人脸识别,确定待处理图像的子步骤如下:
对人脸视频的当前帧图像进行人脸识别,并生成识别结果,其中,识别结果为有效或无效;
根据识别结果确定待处理图像;其中,若识别结果为:有效,则确定当前帧图像为待处理图像;若识别结果为:无效,则将当前帧图像清空,获取下一帧图像,并对下一帧图像进行人脸识别。


4.根据权利要求3所述的通过视频提取PPG信号的方法,其特征在于,对待处理图像进行检测,获取最终关键点位置的子步骤如下:
对待处理图像进行人脸区域检测,并获取人脸特征点;
根据人脸特征点确定人脸区域和最终关键点位置。


5.根据权利要求4所述的通过视频提取PPG信号的方法,其特征在于,当待处理图像为有效图像,且待处理图像之前具有上一帧有效图像时,需要利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理,并将完成平滑处理后获得的关键点位置作为待处理图像的最终关键点位置。


6.根据权利要求5所述的通过视频提取PPG信号的方法,其特征在于,利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理,确定待处理图像的最终关键点位置的子步骤如下:
U1:获取待处理图像的人脸区域和关键点位置,以及上一帧有效图像的人脸区域和关键点位置,执行U2;
U2:对上一帧有效图像的人脸区域和待处理图像的人脸区域进行相对移动判断,并生成第一判断结果,若两帧人脸区域的相对移动较小,则生成的第一判断结果为:是,执行U3;若两帧人脸区域的相对移动较大,则生成的第一判断结果为:否,则执行U6;
U3:将待处理图像的人脸区域和上一帧有效图像的人脸区域进行加权,并将加权平均结果作为最终的人脸区域,执行U4;
U4:对上一帧有效图像的关键点位置和待处理图像的关键点位置进行相对移动判断,并生成第二判断结果,若两帧关键点位置的相对移动较小,则生成的第二判断结果为:是,执行U5;若两帧关键点位置的相...

【专利技术属性】
技术研发人员:吕勇强汪东升孟焱罗暄澍吕永兴
申请(专利权)人:清华大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1