一种基于视频图像的非接触式生命体征检测系统及方法技术方案

本发明专利技术公开了一种基于视频图像的非接触式生命体征检测系统及方法，属于图像处理技术领域。本发明专利技术系统包括多核异构微处理器，多核异构微处理器包括可编程控制系统和可编程逻辑系统；可编程控制系统由微处理器构成，可编程逻辑系统由可编程逻辑电路构成；本发明专利技术方法采用多核微处理器，简化非接触生命体征检测所涉及的图像与信号处理算法及流程，将非接触式生命体征检测所必需的人脸检测等计算复杂度较高的关键算法进行并行化加速，在保持检测效果的前提下，降低算法的算力需求和资源开销，使其能够快速稳定的运行于低成本嵌入式平台中，降低了成本、体积和能耗，且便携程度高，便于用户操作和使用，拓宽了非接触式生命体征检测产品的应用场景。测产品的应用场景。测产品的应用场景。

【技术实现步骤摘要】
一种基于视频图像的非接触式生命体征检测系统及方法


[0001]本专利技术属于图像处理
，具体涉及一种基于视频图像的非接触式生命体征检测系统及方法。

技术介绍

[0002]基于视频的非接触生命体征检测是一种新兴的生理信号测量技术，旨在从被测人的视频数据中提取与人体生命体征信息相关的信号(如心率、呼吸等)，实现人体健康状况的实时监测。相比于其他监测手段，基于视频的非接触生命体征检测技术不需要受试者佩戴专用传感器，能实现无人化自动测试，适用于婴幼儿或老年人的健康监护等应用场景。
[0003]基于视频的非接触式生命体征检测技术的一般流程如下：1)获取视频数据，采用图像处理算法确定皮肤(通常是面部)感兴趣区域；2)分别计算感兴趣区域中所有像素点三个颜色通道的均值，按视频帧的采集顺序排列成三个均值数据向量，向量长度等于视频帧的数量；3)对三个颜色均值向量进行信号处理，分离出生命体征相关的信号成分；4)采用FFT等信号处理算法，计算出生命体征信号的频率等信息，完成人体生命体征信息的检测。步骤1)所涉及的“图像处理算法确定面部感兴趣区域”，一般采用基于滑动窗口的人脸检测算法，或基于颜色模型的皮肤分割算法；步骤3)所涉及的“信号处理算法分离出生命体征相关成分信息”，一般采用基于成像模型的算法、或盲源分离算法。步骤3)的性能，非常依赖于步骤1)面部感兴趣区域的识别准确性。对于滑窗人脸检测算法，其检测准确性较高，但计算量较大，虽然目前有适用于嵌入式环境的优化算法，但受其基本原理的限制，滑窗方法必须反复多次读写内存数据，易出现内存带宽瓶颈，影响最终的计算性能，限制其在嵌入式平台的应用。若采用固定区域的检测方法，虽然可以避免滑动窗口带来的大量复杂计算和内存带宽瓶颈，但需要受试者配合并保持静止，应用场景受限。而基于颜色模型的皮肤分割算法，计算量和内容开销小，适合在嵌入式环境中运行。但是该方法容易受背景环境的干扰，检测效果差，影响生命体征信号的提取，在对检测性能要求较高的应用中无法使用。因此，当前的嵌入式非接触生命体征检测方法受检测算法原理和硬件运行条件的限制，存在检测性能和运行成本的矛盾。
[0004]目前的非接触式生命体征检测技术，在检测性能与设备成本之间存在矛盾：如要求达到较高的检测精度，则需要复杂的图像和信号处理算法，其计算时间长，算力资源需求高，需要PC机等大型计算设备，体积大、成本高、便携性差，不易携带和使用；若采用简单算法以降低计算复杂度和资源开销，使其能够在低成本、便携式的嵌入式环境中运行，则无法达到满意的检测效果，特别是在家庭康养、运动科学研究等用户配合度低的应用场合，采用简单算法和嵌入式平台的非接触生命体征检测设备的性能更加无法满足实际要求。
[0005]综上，如何设计高性能、低成本的非接触式生命体征检测方法，是当前亟需解决的技术难题，也是限制非接触式生命体征检测产品在日常健康检测、智能医疗保健、运动状态监控等进行推广的重要因素。
[0006]本专利技术阐述一种基于并行异构嵌入式平台的快速非接触式生命体征检测方法，综
合软件设计和集成电路设计两种设计手段，高性能、高效率地实现非接触式生命体征检测所必需的“面部感兴趣区域提取”、“生命体征信号成分分离”等关键算法，使其能在嵌入式平台中有效运行，解决当前相近技术方案存在的性能与成本矛盾，为开发高性能、低成本、便携式的非接触生命体征检测设备提供支持。

技术实现思路

[0007]针对现有技术中存在的上述技术问题，本专利技术提出了一种基于视频图像的非接触式生命体征检测系统及方法，设计合理，克服了现有技术的不足，具有良好的效果。
[0008]为了实现上述目的，本专利技术采用如下技术方案：
[0009]一种基于视频图像的非接触式生命体征检测系统，包括多核异构微处理器，多核异构微处理器包括可编程控制系统和可编程逻辑系统；可编程控制系统由包括ARM在内的微处理器构成，可编程逻辑系统由包括FPGA在内的可编程逻辑电路构成。
[0010]此外，本专利技术还提到一种基于视频图像的非接触式生命体征检测方法，该方法采用如上所述的一种基于视频图像的非接触式生命体征检测系统，具体包括如下步骤：
[0011]步骤1：采用多核异构微处理器进行视频图像采集；
[0012]步骤2：像素格式变换；
[0013]步骤3：图像数据缓存；
[0014]步骤4：皮肤区域检测；判断是否检测到皮肤区域；
[0015]若：判断结果是检测到皮肤区域，则执行步骤5；
[0016]或判断结果是没有检测到皮肤区域，则执行步骤1；
[0017]步骤5：人脸区域粗检测；
[0018]步骤6：人脸区域精检测；判断是否检测到人脸区域；
[0019]若：判断结果是检测到人脸区域，则执行步骤7；
[0020]或判断结果是没有检测到人脸区域，则执行步骤1；
[0021]步骤7：获取PPG信号即光电容积脉搏描记信号；
[0022]步骤8：计算结果并显示。
[0023]优选地，在步骤2中，在步骤2中，使用可编程逻辑系统，通过公式(1)将每一帧视频的像素数据从16bit的RGB565数据格式变换为24bit的RGB888数据格式；
[0024][0025]其中，Pix
RGB565
表示格式的像素数据，每个像素16bit；Pix
R8
、Pix
G8
、Pix
B8
分别表示变换为RGB888格式后的R、G、B三通道颜色数据，每个通道的颜色数据都为8bit，共计24bit。
[0026]优选地，在步骤3中，将可编程逻辑系统的片上存储资源分成两个缓存部分，分别命名为MEM1、MEM2，用于存放转换后的像素数据和检测算法运行过程中的中间结果；
[0027]MEM1是二维缓存，每个缓存有L行，标记为其中r＝1,2,
……
,L，代表行序号，缓存的每行包含K2个存储单元，每个存储单元的位宽为24bit，用于存储一个RGB888格式的像素数据，L和K的选取满足L
×
K2＝W
×
H；
[0028]图像数据以分块的方式存储到缓存中，具体过程如下：
[0029]将输入图像划分为L个K
×
K的方块，依次标记为B
1,1
、B
1,2
、
……
、B
i,j
、
……
、B
W/K,H/K
，其中i和j分别为图像块所在的行列序号；
[0030]将B
1,1
至B
1,W/K
存储到MEM1的至中，将B
2,1
至B
2,W/K
存储到MEM1的至中；以此类推，直到将B
H/K,1
至B
H/K,W/K
存储到MEM1的至M1L中；
[0031]MEM2是二维缓存，存储单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频图像的非接触式生命体征检测系统，其特征在于：包括多核异构微处理器，多核异构微处理器包括可编程控制系统和可编程逻辑系统；可编程控制系统由包括ARM在内的微处理器构成，可编程逻辑系统由包括FPGA在内的可编程逻辑电路构成。2.一种基于视频图像的非接触式生命体征检测方法，其特征在于：采用如权利要求1所述的一种基于视频图像的非接触式生命体征检测系统，具体包括如下步骤：步骤1：采用多核异构微处理器进行视频图像采集；步骤2：像素格式变换；步骤3：图像数据缓存；步骤4：皮肤区域检测；判断是否检测到皮肤区域；若：判断结果是检测到皮肤区域，则执行步骤5；或判断结果是没有检测到皮肤区域，则执行步骤1；步骤5：人脸区域粗检测；步骤6：人脸区域精检测；判断是否检测到人脸区域；若：判断结果是检测到人脸区域，则执行步骤7；或判断结果是没有检测到人脸区域，则执行步骤1；步骤7：获取PPG信号即光电容积脉搏描记信号；步骤8：计算结果并显示。3.根据权利要求2所述的基于视频图像的非接触式生命体征检测方法，其特征在于：在步骤2中，在步骤2中，使用可编程逻辑系统，通过公式(1)将每一帧视频的像素数据从16bit的RGB565数据格式变换为24bit的RGB888数据格式；其中，Pix
RGB565
表示格式的像素数据，每个像素16bit；Pix
R8
、Pix
G8
、Pix
B8
分别表示变换为RGB888格式后的R、G、B三通道颜色数据，每个通道的颜色数据都为8bit，共计24bit。4.根据权利要求2所述的基于视频图像的非接触式生命体征检测方法，其特征在于：在步骤3中，将可编程逻辑系统的片上存储资源分成两个缓存部分，分别命名为MEM1、MEM2，用于存放转换后的像素数据和检测算法运行过程中的中间结果；MEM1是二维缓存，每个缓存有L行，标记为其中r＝1,2,
……
,L，代表行序号，缓存的每行包含K2个存储单元，每个存储单元的位宽为24bit，用于存储一个RGB888格式的像素数据，L和K的选取满足L
×
K2＝W
×
H；图像数据以分块的方式存储到缓存中，具体过程如下：将输入图像划分为L个K
×
K的方块，依次标记为B
1,1
、B
1,2
、
……
、B
i,j
、
……
、B
W/K,H/K
，其中i和j分别为图像块所在的行列序号；将B
1,1
至B
1,W/K
存储到MEM1的至中，将B
2,1
至B
2,W/K
存储到MEM1的至中；以此类推，直到将B
H/K,1
至B
H/K,W/K
存储到MEM1的至M1L中；MEM2是二维缓存，存储单元数量为W/K
×
H/K，标记为其中，i＝1,2,
……
,W/K，j＝1,
2,
……
,H/K，代表存储单元序号，每个存储单元的位宽为1，这些存储单元用于存储算法运行过程的中间结果；进行图像数据缓存后，MEM1缓存的每个行与原图像每个K
×
K的方块一一对应，MEM2缓存的每个单元与原图像每个K
×
K的方块一一对应。5.根据权利要求4所述的基于视频图像的非接触式生命体征检测方法，其特征在于：在步骤4中，具体包括如下步骤：步骤4.1：当读取完K行图像数据时，MEM1缓存的第1行至第W/K行同时存满，此时启动皮肤区域检测；检测过程以MEM1缓存的行为单位进行，先从MEM1缓存的第一行即M
1,1
中顺次读取已存储的RGB888格式的像素数据，采用公式(2)将每个图像像素从RGB色彩空间转换到YCrCb色彩空间；步骤4.2：通过可编程逻辑系统，将公式(2)中浮点数乘法操作变换为整数乘法+移位操作，如公式(3)所示；步骤4.3：每个像素转换后，使用可编程逻辑系统的片上触发器资源，构建两个8bit寄存器，将转换得到的Cr和Cb分量存储起来；Y＝(306*Pix
R8
+601*Pix
G8
+117*Pix
B8
)＞＞10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；步骤4.4：利用公式(4)对转换后的颜色进行阈值比较，处在阈值范围内的像素即为皮肤像素；通过可编程逻辑系统，构建四个数值比较电路，对Cr和Cb的数值进行判断；同时，通过可编程逻辑系统内的计数器，对满足阈值范围的像素点个数即皮肤像素进行累加，当检测完行中所有K2个像素时，如果计数器数累加值与像素总数K2的比值超过阈值α，则将MEM2缓存中对应的单元置为1，否则将置为0；依此类推，完成MEM1缓存中其余所有数据的处理，并将MEM2缓存中对应的单元赋值为1；处理后的MEM2缓存，将原图像划分为L个K
×
K的区域，其中数值为1的单元，标记了原图像中可能存在皮肤的区域块，作为人脸区域检测的基础；6.根据权...

【专利技术属性】
技术研发人员：陈宇，单彩峰，王志煜，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：