一种面向视频心率检测的多感兴趣区域跟踪和选取方法技术

本发明专利技术公开了一种面向视频心率检测的多感兴趣区域跟踪和选取方法，包括以下步骤：读取人脸视频的首帧图像，提取人脸特征点，将面部皮肤区域划分为对称的18个子区域，并将对称的两两子区域作为1个感兴趣区域；计算鼻尖到双眼的距离，以此判断头部是否大幅度旋转，若大幅度旋转则丢弃感兴趣区域中被遮挡的子区域；将每个感兴趣区域绿色通道的像素进行平均，得到9个信号值；重复上述步骤处理后续视频帧，获取9条信号流；计算每个信号流的频谱，选择出现次数最多的峰，将该峰的频率作为参考频率；分别计算9个信号流的心率值，选出与参考频率最近的心率值作为最终的心率值。本发明专利技术能够降低运动干扰，自适应选择出最佳信号，提高心率估计的准确性。率估计的准确性。率估计的准确性。

【技术实现步骤摘要】
一种面向视频心率检测的多感兴趣区域跟踪和选取方法


[0001]本专利技术涉及数字图像处理技术与数字信号处理
，特别涉及一种面向视频心率检测的多感兴趣区域跟踪和选取方法。

技术介绍

[0002]心率是指心脏在每分钟内跳动的次数。作为衡量健康状况的重要生理指标之一，定期的心率监测能预防和辅助治疗心血管相关的疾病。
[0003]传统的心率测量方法一般需要传感器与皮肤直接接触，长期监测使用不便，对于皮肤敏感或表面有创伤的患者也不适用。随着消费级摄像头的普及，成像式光电容积脉搏波描记法(Image Photoplethysmography,IPPG)作为一种非接触式方法成为未来生理参数监测设备热门发展方向。其原理与光电容积脉搏波描记法相似，随着心脏不断地收缩和舒张，人体血管中的血液充盈程度也会随之发生变化。当环境光照射到人体皮肤表面时，人体皮肤对光的吸收随着血液容积的变化呈现出与心脏收缩和舒张一致的脉动性变化，因此皮肤表面反射光的强度也会发生相应的周期性变化。IPPG技术通过捕捉皮肤反射光的微弱变化来提取生理信号以得到人体的生理特征。与传统的接触式方法相比，IPPG技术具有操作简单、成本低、无创等诸多优势，对于日常监测和远程医疗具有实用价值和重要前景。
[0004]然而，在IPPG测量过程中易受到运动等各种干扰因素的影响，如何提取优质的原始心率信号并准确地计算心率仍然是该方法面临的主要问题。目前相关应用中常常直接在面部选择一个或多个固定区域作为感兴趣区域，但是由于头部不规律的运动，面部一些区域有时根本无法被摄像机捕捉到，导致提取的信号质量很差，甚至没有信号。不少研究使用信号处理方法对提取出的心率信号进行滤波以去除运动等干扰，但是相关信号处理方法的效果受限于源信号质量。此外，运动情况千变万化，固定的信号处理方法无法兼顾所有的运动场景。
[0005]为了解决此问题，本专利技术一种面向视频心率检测的多感兴趣区域跟踪和选取方法，从提高源信号质量的角度入手，通过选择多个感兴趣区域，并实时判断每个感兴趣区域是否产生由运动造成的遮挡，若遮挡则自适应调整感兴趣区域大小去除非皮肤区域的影响，同时基于这些感兴趣区域提取的信号中自动选择质量最好的信号计算心率。本专利技术能够动态选出了整个面部质量最好的心率信号，有助于提高心率估计的准确性。

技术实现思路

[0006]为了解决
技术介绍
存在的问题，本专利技术的目的在于提供一种面向视频心率检测的多感兴趣区域跟踪和选取方法，该方法能够有效地提高原始心率信号质量，降低运动干扰影响，提高心率估计的准确性。本专利技术从提高源信号质量的角度入手，通过选择多个感兴趣区域，并实时判断每个感兴趣区域是否产生由运动造成的遮挡，若遮挡则自适应调整感兴趣区域大小去除非皮肤区域的影响，同时基于这些感兴趣区域提取的信号中自动选择质量最好的信号计算心率。本专利技术能够动态选出了整个面部质量最好的心率信号，有助于提高
心率估计的准确性。
[0007]实现本专利技术目的的具体技术方案是：
[0008]一种面向视频心率检测的多感兴趣区域跟踪和选取方法，所述方法包括以下步骤：
[0009](1)读取人脸视频的首帧图像，使用Mediapipe Face Detection方法检测人脸位置并提取人脸特征点，将面部皮肤区域划分为对称的18个圆形子区域，并将对称的两两所述圆形子区域作为1个感兴趣区域，共得到9个感兴趣区域；
[0010](2)选取所述人脸特征点中鼻尖和双眼的特征点，分别计算鼻尖到双眼的距离，并设置阈值，通过阈值大小判断头部是否发生大幅度旋转，若大幅度旋转，则丢弃感兴趣区域中被遮挡的子区域，更新感兴趣区域大小；
[0011](3)将所述首帧图像中所述9个感兴趣区域的绿色通道的像素值分别进行平均，得到9个信号值；
[0012](4)重复步骤(1)
‑
步骤(3)处理后续视频帧，将每一帧图像获取的9个信号值按时间排序，得到9条信号流；
[0013](5)对所述9条信号流分别进行傅里叶变换得到9个频谱，选择所述9个频谱中出现次数最多的峰，将峰的频率作为参考频率；
[0014](6)用峰值检测方法分别计算所述9个信号流的9个候选心率值，从所述9个候选心率值中选出频率最接近所述参考频率的候选心率值，并作为最终的心率值。
[0015]所述读取人脸视频的首帧图像，使用Mediapipe Face Detection方法检测人脸位置并提取人脸特征点，将面部皮肤区域划分为对称的18个圆形子区域，并将对称的两两所述圆形子区域作为1个感兴趣区域，共得到9个感兴趣区域的步骤具体为：
[0016]读取人脸视频的首帧图像；
[0017]使用Mediapipe Face Detection方法检测人脸位置，精确提取人脸的468个特征点，标记为F1,F2,F3,
…
,F
468
；
[0018]对于左侧脸，取所述特征点中F
104
(额头左侧)、F
108
(额头左侧)、F
111
(左脸颊)、F
206
(左脸颊)、F
147
(左脸颊左侧点)、F
101
(左脸颊右侧点)、F
214
(左嘴角)、F
204
(左下巴)、F
201
(左下巴)作为9个圆心，取所述特征点中F
103
、F
109
、F
226
、F
207
、F
123
、F
142
、F
135
、F
194
、F
200
分别与所述9个圆心的距离作为半径，将左脸皮肤区域划分为9个圆形子区域l1～l9；
[0019]对于右侧脸，取所述特征点中F
337
(额头右侧)、F
333
(额头右侧)、F
340
(右脸颊)、F
426
(右脸颊)、F
330
(右脸颊左侧点)、F
376
(右脸颊右侧点)、F
434
(右嘴角)、F
424
(右下巴)、F
421
(右下巴)作为9个圆心，取所述特征点中F
338
、F
332
、F
446
、F
427
、F
371
、F
352
、F
367
、F
422
、F
418
分别与所述9个圆心的距离作为半径，将右脸皮肤区域划分为与左脸所述圆形子区域l1～l9对称的9个圆形子区域r1～r9；
[0020]将互为对称的两两子区域l1和r1,l2和r2，
……
，l9和r9分别组成1个完整的感兴趣区域，即得到9个感兴趣区域RO本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向视频心率检测的多感兴趣区域跟踪和选取方法，其特征在于，该方法包括以下具体步骤：步骤1：读取人脸视频的首帧图像，使用Mediapipe Face Detection方法检测人脸位置并提取人脸特征点，将面部皮肤区域划分为对称的18个圆形子区域，并将对称的两两所述圆形子区域作为1个感兴趣区域，共得到9个感兴趣区域；步骤2：选取所述人脸特征点中鼻尖和双眼的特征点，分别计算鼻尖到双眼的距离，并设置阈值，通过阈值大小判断头部是否发生大幅度旋转，若大幅度旋转，则丢弃感兴趣区域中被遮挡的子区域，更新感兴趣区域的大小；步骤3：将所述首帧图像中所述9个感兴趣区域的绿色通道的像素值分别进行平均，得到9个信号值；步骤4：重复步骤1
‑
步骤3处理后续视频帧，将每一帧图像获取的9个信号值按时间排序，得到9条信号流；步骤5：对所述9条信号流分别进行傅里叶变换得到9个频谱，选择所述9个频谱中出现次数最多的峰，将峰的频率作为参考频率；步骤6：用峰值检测方法分别计算所述9个信号流的9个候选心率值，从所述9个候选心率值中选出频率最接近所述参考频率的候选心率值，并作为最终的心率值。2.根据权利要求1所述的一种面向视频心率检测的多感兴趣区域跟踪和选取方法，其特征在于，所述步骤1的具体过程为：读取人脸视频的首帧图像；使用Mediapipe Face Detection方法检测人脸位置，精确提取人脸的468个特征点，标记为F1,F2,F3,
…
,F
468
；对于左侧脸，取所述特征点中F
104
即额头左侧、F
108
即额头左侧、F
111
即左脸颊、F
206
即左脸颊、F
147
即左脸颊左侧点、F
101
即左脸颊右侧点、F
214
即左嘴角、F
204
即左下巴、F
201
即左下巴作为9个圆心，取所述特征点中F
103
、F
109
、F
226
、F
207
、F
123
、F
142
、F
135
、F
194
、F
200
分别与所述9个圆心的距离作为半径，将左脸皮肤区域划分为9个圆形子区域l1～l9；对于右侧脸，取所述特征点中F
337
即额头右侧、F
333
即额头右侧、F
340
即右脸颊、F
426
即右脸颊、F
330
即右脸颊左侧点、F
376
即右脸颊右侧点、F
434
即右嘴角、F
424
即右下巴、F
421
即右下巴作为9个圆心，取所述特征点中F
338
、F
332

【专利技术属性】
技术研发人员：周梅，段娅然，何超，李庆利，尹学志，王东力，
申请(专利权)人：上海长征医院上海贝瑞电子科技有限公司，
类型：发明
国别省市：