基于人体微动而提取心脏信息的方法技术

公开了一种从身体微动中提取心脏信息的方法。该方法包括：面部跟踪步骤、帧差平均步骤、平滑滤波步骤和滑动峰值检测步骤。

Method for extracting heart information based on human jiggle

A method of extracting cardiac information from body motion is disclosed. The method comprises the following steps: a face tracking step, a frame difference averaging step, a smoothing filtering step and a sliding peak detection step.

【技术实现步骤摘要】
【国外来华专利技术】基于人体微动而提取心脏信息的方法
本专利技术涉及基于对人体微动信息的提取来检测心脏信息(脉搏波，PPG(光电容积脉搏波描记法))的方法和系统，更具体地，涉及一种通过采用非侵入性相机从解剖学结构产生的运动提取微动信息并从微动信息提取心脏信息的方法和系统。
技术介绍
最近，在不断研究从人体中提取多种生物信息，特别地，正积极展开许多对非侵入性的生物信息采集和感测技术的研究。特别地，正在进行使用可穿戴设备和相机的各种研究。人眼看不到人体的微动。特别地，即使在作出面部表情时也会出现微细的面部表情，这种面部表情被称为微表情。微表情是一种瞬间无意的面部表情，或者根据无意识的情感或反应状态而瞬间作出。换句话说，微表情不是有意的面部表情，而是根据生物反应或机制进行的运动。特别地，这种微表情的运动和抖动等可用于识别人的情绪状态，并因此微表情可用于实现反馈系统(FACS，面部动作编码系统)。人体的这种微动也出现在除脸部之外的身体部分。身体的运动导致由于心血管系统和呼吸系统的重力而引起的机械(本能/不自觉/生理)变化。体位变化通过传入途径传递给中枢神经系统，例如视觉、躯体觉、自主神经路径或前庭信号，因此通过对血管、心跳和呼吸肌的适当反应而发生身体的运动。特别地，前庭系统是解剖学系统，其连接到人体的多个系统并且能够保持平衡感，并因此被认为通过保持关于多个响应的平衡感来产生运动。前庭系统由各种解剖器官例如前庭眼运动系统、前庭脊柱系统和前庭自主神经系统来控制，并在各种器官的影响下进行反应，例如自主神经系统、心血管系统和呼吸系统。因此，提出了一种通过相机反向跟踪上述前庭系统的反应以将生物信息提取为微动并从微动提取心跳信息的方法和系统。
技术实现思路
[技术问题]本专利技术提供了一种提取人体的微动信息的方法，即通过使用非侵入式相机从人体解剖学结构产生的运动提取微动信息并从微动信息提取心脏信息(脉搏波，PPG)的方法。[技术方案]根据本专利技术的方法包括通过拍摄对象的微动来生成图像数据；在生成图像数据的同时对对象进行面部跟踪；通过处理图像数据来提取对象的微动信息；执行滑动峰值检测；以及从身体微动信息中提取心脏信息。根据本专利技术的实施方式，经过上述处理的分离空间的数据被放大并恢复到原始数据上。根据本专利技术的实施方式，对于分离成分的数据值，通过计算每隔预定时间测量的图像的运动数据的一帧的平均值之间的差异以计算先前状态和当前状态下的平均运动之间的差异来提取整个微动的量。根据本专利技术的微动检测系统用于执行上述方法，该系统包括相机，其配置成生成图像数据；数据处理单元，其配置成处理来自所述相机的图像数据；以及分析单元，其配置成分析由所述数据处理单元获得的数据以检测微动的量并从所述微动的量提取所述心脏信息。[有益效果]根据本专利技术，提供了一种提取人体的微动信息并从微动信息中提取心跳信息的方法。根据本专利技术，可以实现通过使用非侵入式相机从人体的解剖学结构产生的运动中提取微动信息并从微动信息提取心脏信息(脉搏波，PPG)的方法。近来，在不断研究从人体中提取多种生物信息。特别地，正积极展开许多对非侵入性生物信息采集和感测技术的研究。特别地，正在进行使用可穿戴设备和相机的各种研究。本专利技术提出的微动信息是基于人体的解剖学依据来提取的，因此预期作为替代侵入性感测技术的能够提取心脏信息的新型感测技术而在非侵入性自由感测技术中得到各种利用。附图说明图1是根据本专利技术的提取心脏信息的方法的流程图。图2示出了图1的步骤的操作场景。图3示出了根据本专利技术的用于提取心脏信息的程序的屏幕结构。图4是根据本专利技术的实施方式的心脏信息提取系统的示意性框图。具体实施方式现在将参考附图更全面地描述根据本专利技术实施方式的心脏信息提取方法。本专利技术拍摄对象或用户的视频，并且从视频中提取与对象的内部生物信号相关的微动数据。微动数据可以用作提取各种身体信息的基本原始数据。可以从原始数据检测心律相关性(HRC)和心律模式(HRP)等，并且由此例如可以提取对象的心跳信息。根据本专利技术的提取微动数据的方法包括如图1所示的总共六个步骤。图2示出了图1的各步骤的操作场景。A、视频输入步骤S11由摄像机拍摄对象，从而生成连续的图像数据。此时，如图2所示，拍摄区域为包括被拍脸部的上身。B、面部跟踪步骤S12为了通过使用经由摄像机接收到的图像数据从头部提取人体的微动，通过使用开源计算机视觉库(OpenCV)的面部识别来分离图像信息。OpenCV是开源计算机视觉C库。OpenCV最初由英特尔开发，可用于Windows和Linux等多个平台。OpenCV是一个专注于实时图像处理的库。基于OpenCV的面部识别系统是指通过数字图像自动识别每个人的计算机辅助应用程序。这是通过将出现在实时图像上的所选面部特征与面部数据库进行比较来实现的。如图2所示，在步骤S12中，原始图像上的矩形表示脸部的跟踪区域。根据用户的运动，对脸部进行跟踪。C、帧差平均步骤S13通过计算每隔预定时间(30fps)测量的图像的运动数据的一帧的平均值之间的差异来计算先前状态和当前状态下的平均运动Xn和Xn-1之间的差m，从而从分离的图像信息提取整个微动的量。一帧的平均值表示一帧的微动的量m。【等式1】m＝Xn-Xn-1D、平滑滤波步骤S14当提取的微动被提取为数据时，相对于运动的噪声被包括在提取的数据中，因此信号严重失真，使得峰值检测困难。因此，对消除噪声并提高峰值检测精度的数据进行处理。【等式2】【等式3】其中，SMA表示运动平均值，SMA今天和SMA昨天表示在不同特定日期的运动平均值，Pm表示当前帧的微动值，n表示运动平均值的窗口大小。E、滑动峰值检测步骤S15和S16通过接收用于消除噪声且检测峰值的处理数据，从而使每帧的峰值数据基于30秒的窗口大小连续滑动，从而使运动影响和对数据的影响最小化，从而能够提取每分钟脉搏数(BPM)信号。【等式4】在上述过程中获得的PPG信号通过QRS(量子共振)检测算法检测到R峰值(Pan和Tompkins，1985)。从检测到的R峰值数据中消除噪声分量，并通过使用正常R峰值间隔的差异提取R峰值到R峰值间隔(RRI)。可以通过60/RRI计算BPM以分析HRP，并且可以使用正常RRI的标准偏差来提取正常到正常的标准差(SDNN)。如在图1的流程图中实现且实际处理的功能如图2所示能够提取最终微动的平均数据。图4是根据本专利技术的微动提取系统的示意性框图。通过面向对象100的网络摄像机或小型摄像机110获得的视频经过图像处理单元120的处理，从而从视频中提取特定图像。特定图像由处理装置130处理。处理装置130具有用于执行如上所述的方法的软件以及支持该软件的硬件系统。处理设备130可以是基于计算机的设备，例如，包括装载如上所述的方法或算法的软件以及由软件驱动的硬件的通用计算机或专用设备。来自处理设备130的处理结果被显示在显示器140上。该系统还可以包括包含一般输入的一般的外部接口设备，例如键盘或鼠标。验证方法<受试者>10名大学生(5名男子和5名女性)被分类为无表情脸部和在其面部表现出表情的受试者，并参加了两次实验。所有受试者在心脏血液神经系统中没有障碍或没有病史，建议它们在前一天进行充分的睡眠。此外，实验前一天禁止可能影响心血本文档来自技高网...

【技术保护点】
一种从身体微动中提取心脏信息的方法，所述方法包括：通过对对象的微动进行拍摄来生成图像数据；在生成所述图像数据的同时对所述对象进行面部跟踪；通过处理所述图像数据来提取所述对象的身体微动信息；执行滑动峰值检测；以及从所述身体微动信息中提取心脏信息。

【技术特征摘要】
【国外来华专利技术】2014.11.18 KR 10-2014-0160876;2014.11.18 KR 10-2011.一种从身体微动中提取心脏信息的方法，所述方法包括：通过对对象的微动进行拍摄来生成图像数据；在生成所述图像数据的同时对所述对象进行面部跟踪；通过处理所述图像数据来提取所述对象的身体微动信息；执行滑动峰值检测；以及从所述身体微动信息中提取心脏信息。2.根据权利要求1所述的从身体微动中提取心脏信息的方法，其中，所述身体微动信息的提取包括：通过计算每隔预定时间而测量的图像的运动数据的一帧的平均值之间的差异以计算先前状态和当前状态下的平均运动之间的差异来提取整个微动的量。3.根据权利要求2所述的从身体微动中提取心脏信息的方法，其中，对所述身体微动信息进行平滑滤波以增加峰值检测的...

【专利技术属性】
技术研发人员：黄成泽，黄珉哲，朴相仁，李东原，
申请(专利权)人：祥明大学校产学协力团，
类型：发明
国别省市：韩国,KR