基于视频的非接触式脉搏实时估计方法及设备技术

本发明专利技术属于生物识别技术领域，尤其涉及一种基于视频的非接触式脉搏实时估计方法及设备，旨在增强实时体验与运动鲁棒性。本发明专利技术的方法包括：从视频流中获取感兴趣皮肤区域；计算所述视频流每一帧中所述感兴趣皮肤区域内所有像素的原始RGB信号；对所述原始RGB信号进行预处理；使用训练好的深度神经网络滤波器对所述预处理后信号进行滤波，得到脉搏估计信号；对所述脉搏估计信号进行心跳峰值检测；根据所述心跳峰值，采用预设方式计算当前瞬时心率。本发明专利技术可以有效地实现脉搏信号估计与瞬时心率计算，且具有较好的实时性、准确性和鲁棒性，适用于刑侦测谎、健康监测、生物识别中活体检测等领域。

Real-time Video-based Contactless Pulse Estimation Method and Equipment

The invention belongs to the field of biometric identification technology, in particular to a video-based non-contact real-time pulse estimation method and equipment, aiming at enhancing real-time experience and motion robustness. The method of the present invention includes: acquiring the region of interest from the video stream; calculating the original RGB signal of all the pixels in the region of interest in each frame of the video stream; preprocessing the original RGB signal; filtering the preprocessed signal using the trained deep neural network filter to obtain the pulse estimation signal; and estimating the pulse signal. The current instantaneous heart rate is calculated in a preset manner according to the peak heartbeat. The invention can effectively realize pulse signal estimation and instantaneous heart rate calculation, and has good real-time performance, accuracy and robustness, and is suitable for lie detection, health monitoring, biometric detection and other fields.

【技术实现步骤摘要】
基于视频的非接触式脉搏实时估计方法及设备
本专利技术属于生物识别
，尤其涉及一种基于视频的非接触式脉搏实时估计方法及设备。
技术介绍
脉搏信号是具有重要参考价值的生理信号，可以反映人的健康状况和心理状态。所以脉搏信号的有效采集在医疗监护、刑侦测谎等领域具有重要价值。传统的脉搏信号采集装置都为接触式仪器，如心电仪、指夹式脉搏血氧仪等。接触式采集手段限制了被监护病人的自由活动，对于刑侦测谎场景也增加了被试者的心理防备，所以该种采集方式有方便性差、隐蔽性弱、成本高等缺陷。为解决这些问题，非接触式的基于视频采集人体脉搏信号的方法具有很高的应用价值。此类方法仅依靠常规摄像头和计算机就能搭建非接触式脉搏测量环境，具有方便易用、隐蔽性强、成本低廉的优势。基于视频的脉搏采集原理为：心脏跳动引起皮下毛细血管充血量周期性变化，导致皮肤对入射光谱的吸收作用及反射作用出现周期性波动，摄像头可以捕捉皮肤反射光谱强度的微弱波动，从而经过处理、计算得到相应的脉搏信号。已公开的视频脉搏信号估计方法一般离线计算一段视频内的平均心率，且方法对于头部运动、脸部非刚体活动、光照变化等的鲁棒性较差。离线计算平均心率不适合对受试者当前瞬时心理及生理状况做出快速判断，对运动噪声鲁棒性弱则限制了已有方法的有效应用。鉴于此，本专利技术提出一种基于视频的非接触式脉搏实时估计方法，以增强实时体验与运动鲁棒性。
技术实现思路
本专利技术的主要目的在于提供一种基于视频的非接触式脉搏实时估计方法及设备，旨在提供一种可增强实时体验与运动鲁棒性的非接触式脉搏估计方法。为实现上述目的，本专利技术提供的一种基于视频的非接触式脉搏实时估计方法，所述方法包括如下步骤：步骤S10，从视频流中获取感兴趣皮肤区域；步骤S20，计算所述视频流每一帧中所述感兴趣皮肤区域内所有像素的原始RGB信号；步骤S30，对所述原始RGB信号进行预处理，步骤S40，使用训练好的深度神经网络滤波器对所述预处理后信号进行滤波，得到脉搏估计信号步骤S50，对所述脉搏估计信号进行心跳峰值检测；步骤S60：根据所述心跳峰值，采用预设方式计算当前瞬时心率。优选地，所述步骤S20还具体包括：分别对R、G、B三个通道，计算所述视频流每一帧中所述感兴趣皮肤区域内所有像素的平均灰度值，从而得到原始RGB信号。优选地，所述步骤S40中所述训练好的深度神经网络滤波器，其训练方法包括：步骤S101，收集模拟及真实的带噪声脉搏信号以及模拟及真实的无噪声脉搏信号，构成训练数据集步骤S102，设计深度神经网络结构作为信号滤波器，以有噪声脉搏信号作为输入，无噪声脉搏信号作为监督信息，进行网络训练。优选地，所述步骤101中，所述模拟的无噪声脉搏信号通过合成随机的类正弦波信号生成，所述模拟的有噪声脉搏信号通过向所述类正弦波信号中加入随机的白噪声、运动阶跃噪声信号合成，所述真实无噪声脉搏信号在拍摄视频时，同步使用指夹式血氧仪或者心电图仪记录脉搏波形得到，所述真实带噪声脉搏信号通过从拍摄视频中按照所述步骤S10至步骤S30进行处理得到信号。优选地，所述步骤S10包括：步骤S11，从视频流中基于人脸关键点检测和跟踪；步骤S12，根据人脸关键点检测和跟踪获取感兴趣皮肤区域；其中，所述感兴趣皮肤区域为两个外眼角特征点和两个嘴角特征点构成的四边形区域内部。优选地，所述步骤S30中的预处理包括：平滑滤波、消除趋势以及归一化。优选地，所述步骤S50中的进行心跳峰值检测的方法为：如果宽度为u的滑动窗口中心点是当前窗口内信号幅度最高点，则判断其为一个心跳峰值点；心跳峰值点集合的数学表达式定义如下：T＝{t|St＞Si，t-(u-1)/2＜i＜t+(u-1)/2，i≠t}其中，St为t时刻的脉搏估计信号，Si为i时刻的脉搏估计信号，滑动窗口u的宽度选择满足：0.5f≤u≤f，f为输入视频的帧速率。优选地，所述步骤S60中采用预设方式计算当前瞬时心率的方法为：步骤S61，将检测到的所述心跳峰值点集合T按照时间先后顺序，以最近k次峰值点的时间间隔为依据计算瞬时心率，计算公式如下：hr＝60*k/(tc-tc-k)其中，hr表示当前心率值，tc为集合T中最近一次心跳峰值点，tc-k为tc前第k个峰值点。为实现上述目的，本专利技术还提出存储设备，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于视频的非接触式脉搏实时估计方法。为实现上述目的，本专利技术还提出一种处理设备，包括处理器、存储设备；处理器适于执行各条程序；存储设备适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于视频的非接触式脉搏实时估计方法。本专利技术利用人脸感兴趣区域跟踪、滑窗信号处理、深度神经网络滤波、脉搏波峰检测，可以有效地实现脉搏信号估计与瞬时心率计算，且具有较好的实时性、准确性和鲁棒性，在刑侦测谎、健康监测、生物识别中活体检测等领域具有较大的应用空间。附图说明附图作为本专利技术的一部分，用来提供对本专利技术的进一步的理解，本专利技术的示意性实施例及其说明用于解释本专利技术，但不构成对本专利技术的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：图1是本专利技术基于视频的非接触式脉搏实时估计方法的流程示意图；图2是本专利技术实施例中脉搏实时估计界面效果示意图；图3是本专利技术实施例的详细流程框架图；图4是本专利技术实施例中所抽取的原始RGB信号实例；图5是本专利技术实施例中预处理后信号实例；图6是本专利技术实施例中深度神经网络滤波器的结构实例。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面结合附图以及具体实施例对本专利技术实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获得的所有其它等同或明显变型的实施例均落在本专利技术的保护范围内。本专利技术实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本专利技术的实现可以没有这些具体细节。需要说明的是，在没有明确限定或不冲突的情况下，本专利技术中的各个实施例及其中的技术特征可以相互组合而形成技术方案。本专利技术提出一种基于视频的非接触式脉搏实时估计方法及设备，旨在提供一种可增强实时体验与运动鲁棒性的非接触式脉搏估计方法。所述方法可应用在计算机视觉、信号处理、生物识别、刑侦测谎与健康监测等领域中，但是不限于上述领域，凡是应用到本专利技术方法而实施的应用均属于本专利技术的保护范围内。如图1所示，本专利技术实施例的基于视频的非接触式脉搏实时估计方法，基于训练好的深度神经网络滤波器，通过以下步骤获取心率，具体步骤包括：步骤S10，从视频流中获取感兴趣皮肤区域；步骤S20，计算所述视频流每一帧中所述感兴趣皮肤区域内所有像素的原始RGB信号；步骤S30，对所述原始RGB信号进行预处理；步骤S40，使用训练好的深度神经网络滤波器对所述预处理后信号进行滤波，得到脉搏估计信号；步骤S50，对所述脉搏估计信号进行心跳峰值检测；步骤S60：根据所述心跳峰本文档来自技高网...

【技术保护点】
1.一种基于视频的非接触式脉搏实时估计方法，其特征在于，所述方法包括如下步骤：步骤S10，从视频流中获取感兴趣皮肤区域；步骤S20，计算所述视频流每一帧中所述感兴趣皮肤区域内所有像素的原始RGB信号；步骤S30，对所述原始RGB信号进行预处理；步骤S40，使用训练好的深度神经网络滤波器对所述预处理后信号进行滤波，得到脉搏估计信号；步骤S50，对所述脉搏估计信号进行心跳峰值检测；步骤S60，根据所述心跳峰值，采用预设方式计算当前瞬时心率。

【技术特征摘要】
1.一种基于视频的非接触式脉搏实时估计方法，其特征在于，所述方法包括如下步骤：步骤S10，从视频流中获取感兴趣皮肤区域；步骤S20，计算所述视频流每一帧中所述感兴趣皮肤区域内所有像素的原始RGB信号；步骤S30，对所述原始RGB信号进行预处理；步骤S40，使用训练好的深度神经网络滤波器对所述预处理后信号进行滤波，得到脉搏估计信号；步骤S50，对所述脉搏估计信号进行心跳峰值检测；步骤S60，根据所述心跳峰值，采用预设方式计算当前瞬时心率。2.根据权利要求1所述的基于视频的非接触式脉搏实时估计方法，其特征在于，所述步骤S20还具体包括，分别在R、G、B三个通道，计算所述视频流每一帧中所述感兴趣皮肤区域内所有像素的平均灰度值，得到原始RGB信号。3.根据权利要求1所述的基于视频的非接触式脉搏实时估计方法，其特征在于，所述步骤S40中所述训练好的深度神经网络滤波器，其训练方法包括：步骤S101，收集模拟及真实的带噪声脉搏信号以及模拟及真实的无噪声脉搏信号，构成训练数据集；步骤S102，设计深度神经网络结构作为信号滤波器，以有噪声脉搏信号作为输入，无噪声脉搏信号作为监督信息，进行网络训练。4.根据权利要求3所述的基于视频的非接触式脉搏实时估计方法，其特征在于，所述步骤101中，模拟的无噪声脉搏信号通过合成随机的类正弦波信号生成，模拟的有噪声脉搏信号通过向所述类正弦波信号中加入随机的白噪声、运动阶跃噪声信号合成，真实的无噪声脉搏信号为在拍摄视频时，同步使用指夹式血氧仪或者心电图仪记录脉搏波形得到，真实的带噪声脉搏信号通过从拍摄视频中按照所述步骤S10至步骤S30进行处理得到信号。5.根据权利要求1所述的基于视频的非接触式脉搏实时估计方法，其特征在于，所述步骤S10还具体包括：...

【专利技术属性】
技术研发人员：谭铁牛，董晶，王伟，彭勃，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11