心率检测方法及装置制造方法及图纸

本公开涉及心率检测方法及装置。该方法包括：截取视频帧序列的各个视频帧中的人脸区域，得到各个所述视频帧对应的人脸区域图像；通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征；根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率。本公开通过截取视频帧序列的各个视频帧中的人脸区域，得到各个视频帧对应的人脸区域图像，通过卷积神经网络提取各个人脸区域图像中的皮肤区域的特征，并根据各个人脸区域图像中的皮肤区域的特征，确定视频帧序列对应的心率，由此能够提高心率检测的准确性和鲁棒性。

Heart rate detection method and device

The present disclosure relates to a method and device for detecting heart rate. The method includes: the face region of each video frame sequence of the interception of the video frames in the image, get the face region of each of the video frames corresponding to the convolutional neural network feature extraction; through the skin area of each of the face image in the region; according to the characteristics of the skin area of each of the face region in the image, determine the sequence the video frame corresponding to the heart rate. The public through the face area of each video frame sequence of video frames in the capture, get face images corresponding to each video frame, through convolution neural network feature extraction of skin regions each face image in the region, and according to the characteristics of each area of skin of the face region in the image, determining a sequence of video frames corresponding to the heart rate. To improve the accuracy and robustness of heart rate detection.

【技术实现步骤摘要】
心率检测方法及装置
本公开涉及计算机视觉领域，尤其涉及一种心率检测方法及装置。
技术介绍
通过包含人脸的视频检测视频中对象的心率，是一种通过分析视频中人脸所在区域因血流变化而产生的像素RGB(Red，红；Green，绿；Blue，蓝)值变化，从而得到心率的方法。在相关技术的基于人脸视频的心率检测方法中，通常将视频中每帧人脸区域的像素值的平均值分别作为每帧的RGB特征，再利用连续帧的RGB特征通过盲源分离或者矩阵补全等方法得到视频中对象的心率。这类方法的缺陷在于，直接通过每帧中人脸区域的RGB特征得到每帧的心率相关特征，容易由于环境光照改变或者人脸表情变化等原因而不能真实反映心率信号，鲁棒性较差。此外，由于人脸中各部分血流变化对RGB的反应程度不一样，一些较能表现血流变化的区域常常会因与其他部分平均之后使得信号变得微弱，导致心率检测的准确性较低。
技术实现思路
有鉴于此，本公开提出了一种心率检测方法及装置，以提高心率检测的准确性和鲁棒性。根据本公开的一方面，提供了一种心率检测方法，包括：截取视频帧序列的各个视频帧中的人脸区域，得到各个所述视频帧对应的人脸区域图像；通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征；根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率。在一种可能的实现方式中，根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率，包括：根据所述视频帧序列对应的各个人脸区域图像中的皮肤区域的特征，确定多组连续帧对应的特征；将多组连续帧对应的特征输入全连接神经网络中，得到所述视频帧序列对应的心率。在一种可能的实现方式中，通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征，包括：根据所述卷积神经网络的输入帧率，调整所述视频帧序列对应的人脸区域图像序列的帧率，其中，所述人脸区域图像序列为根据所述视频帧序列对应的各个所述人脸区域图像得到的图像序列；将调整帧率后的所述人脸区域图像序列输入所述卷积神经网络中，得到所述人脸区域图像序列中的各个人脸区域图像中的皮肤区域的特征。在一种可能的实现方式中，在通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征之前，所述方法还包括：采用训练数据集训练卷积神经网络和全连接神经网络，其中，所述训练数据集包括人脸视频帧序列和所述人脸视频帧序列对应的心率。根据本公开的另一方面，提供了一种心率检测装置，包括：截取模块，用于截取视频帧序列的各个视频帧中的人脸区域，得到各个所述视频帧对应的人脸区域图像；特征提取模块，用于通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征；心率确定模块，用于根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率。在一种可能的实现方式中，所述心率确定模块包括：第一确定子模块，用于根据所述视频帧序列对应的各个人脸区域图像中的皮肤区域的特征，确定多组连续帧对应的特征；第二确定子模块，用于将多组连续帧对应的特征输入全连接神经网络中，得到所述视频帧序列对应的心率。在一种可能的实现方式中，所述特征提取模块包括：帧率调整子模块，用于根据所述卷积神经网络的输入帧率，调整所述视频帧序列对应的人脸区域图像序列的帧率，其中，所述人脸区域图像序列为根据所述视频帧序列对应的各个所述人脸区域图像得到的图像序列；特征提取子模块，用于将调整帧率后的所述人脸区域图像序列输入所述卷积神经网络中，得到所述人脸区域图像序列中的各个人脸区域图像中的皮肤区域的特征。在一种可能的实现方式中，所述装置还包括：训练模块，用于采用训练数据集训练卷积神经网络和全连接神经网络，其中，所述训练数据集包括人脸视频帧序列和所述人脸视频帧序列对应的心率。根据本公开的另一方面，提供了一种心率检测装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。本公开的各方面的心率检测方法及装置通过截取视频帧序列的各个视频帧中的人脸区域，得到各个视频帧对应的人脸区域图像，通过卷积神经网络提取各个人脸区域图像中的皮肤区域的特征，并根据各个人脸区域图像中的皮肤区域的特征，确定视频帧序列对应的心率，由此能够提高心率检测的准确性和鲁棒性。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本公开一实施例的心率检测方法的流程图。图2示出根据本公开一实施例的心率检测方法中某一视频帧中的人脸特征点的示意图。图3示出根据本公开一实施例的心率检测方法中某一视频帧对应的人脸区域图像的示意图。图4示出根据本公开一实施例的心率检测方法步骤S13的一示例性的流程图。图5示出根据本公开一实施例的心率检测方法步骤S12的一示例性的流程图。图6示出根据本公开一实施例的心率检测装置的框图。图7示出根据本公开一实施例的心率检测装置的一示例性的框图。图8是根据一示例性实施例示出的一种用于心率检测的装置800的框图。具体实施方式以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。图1示出根据本公开一实施例的心率检测方法的流程图。如图1所示，该方法包括步骤S11至步骤S13。在步骤S11中，截取视频帧序列的各个视频帧中的人脸区域，得到各个视频帧对应的人脸区域图像。在一种可能的实现方式中，可以采用视频采集设备采集包含人脸区域的视频，根据该包含人脸区域的视频得到视频帧序列，并可以采用人脸特征点定位方法对视频帧序列的各个视频帧中的人脸特征点进行定位，从而确定视频帧序列的各个视频帧中的人脸区域。图2示出根据本公开一实施例的心率检测方法中某一视频帧中的人脸特征点的示意图。图3示出根据本公开一实施例的心率检测方法中某一视频帧对应的人脸区域图像的示意图。在步骤S12中，通过卷积神经网络提取各个人脸区域图像中的皮肤区域的特征。在一种可能的实现方式中，每个人脸区域图像可以分别通过一个卷积神经网络进行特征提取。其中，卷积神经网络对每个人脸区域图像共享权值。在本实施例中，通过避开人脸区域图像中的眼睛、眉毛等非皮肤区域，仅提取皮肤区域的特征，能够避免非皮肤区域降低所提取的特征所反应的血流变化的信号强度，从而能够提高所确定的心率的准确性与可靠性。在一种可能的实现方式中，通过卷积神经网络提取各个人脸区域图像中的皮肤区域的特征，可以为：通过卷积神经网络提取各个人脸区域图像中的皮肤区域的特征向本文档来自技高网...

【技术保护点】
一种心率检测方法，其特征在于，包括：截取视频帧序列的各个视频帧中的人脸区域，得到各个所述视频帧对应的人脸区域图像；通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征；根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率。

【技术特征摘要】
1.一种心率检测方法，其特征在于，包括：截取视频帧序列的各个视频帧中的人脸区域，得到各个所述视频帧对应的人脸区域图像；通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征；根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率。2.根据权利要求1所述的方法，其特征在于，根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率，包括：根据所述视频帧序列对应的各个人脸区域图像中的皮肤区域的特征，确定多组连续帧对应的特征；将多组连续帧对应的特征输入全连接神经网络中，得到所述视频帧序列对应的心率。3.根据权利要求1所述的方法，其特征在于，通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征，包括：根据所述卷积神经网络的输入帧率，调整所述视频帧序列对应的人脸区域图像序列的帧率，其中，所述人脸区域图像序列为根据所述视频帧序列对应的各个所述人脸区域图像得到的图像序列；将调整帧率后的所述人脸区域图像序列输入所述卷积神经网络中，得到所述人脸区域图像序列中的各个人脸区域图像中的皮肤区域的特征。4.根据权利要求1所述的方法，其特征在于，在通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征之前，所述方法还包括：采用训练数据集训练卷积神经网络和全连接神经网络，其中，所述训练数据集包括人脸视频帧序列和所述人脸视频帧序列对应的心率。5.一种心率检测装置，其特征在于，包括：截取模块，用于截取视频帧序列的各个视频帧中的人脸区域，得到各个所述视频帧对应的人脸区域图像；特...

【专利技术属性】
技术研发人员：季向阳，刘文然，陈孝罡，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11