基于视频与设备结合的服刑人员体征监测方法及设备技术

本发明专利技术公开了一种基于视频与设备结合的服刑人员体征监测方法及设备，方法括以下过程：通过获取服刑人员的当前监控视频，从视频帧中识别服刑人员的人脸表情特征及所属类别；通过视频监控实时跟踪人脸面部特征区域，同时生命体征监测设备检测监狱服刑人员的心率。结合服刑人员在休息时的心率以及从视频中识别出的服刑人员的人脸表情特征和心率，判断监狱服刑人员是否具有潜在性疾病风险或者异常行为。本发明专利技术相对于传统的智能监测设备，具有更高的稳定性和准确度，能够提高对监狱服刑人员中存在的潜在性风险预判、突发性疾病的预判准确度，并及时发出预警。

Method and equipment for monitoring physical signs of prisoners based on the combination of video and equipment

The invention discloses a method and equipment for monitoring the physical signs of prisoners based on the combination of video and equipment. The method includes the following processes: obtaining the current monitoring video of prisoners, identifying the facial expression features and the category of prisoners from the video frame; tracking the facial feature area in real time through video monitoring, and detecting the prisoners by the vital signs monitoring equipment The heart rate of the member. Combined with the heart rate of prisoners at rest and the facial expression features and heart rate of prisoners identified from the video, we can judge whether the prisoners have potential disease risk or abnormal behavior. Compared with traditional intelligent monitoring equipment, the invention has higher stability and accuracy, can improve the prediction accuracy of potential risks and sudden diseases existing in prison inmates, and can send out early warning in time.

【技术实现步骤摘要】
基于视频与设备结合的服刑人员体征监测方法及设备
本专利技术涉及图像分析
，具体涉及一种基于视频与设备结合的服刑人员体征监测方法及设备。
技术介绍
随着信息化进程的加快，监狱的管理也迎来了新的变革，在监狱的视频监控以及智能设备配置方面也产生了较大积极的影响。在对监狱服刑人员进行看护的过程中，有一项非常重要的任务就是要监测服刑人员的综合生理特征，以及潜在性的风险分析(如易怒，血压飙升，突发疾病等)。目前监狱管理中此项工作主要是根据监狱管理人员的观察来进行的，在实际操作过程中现行方法存在较大的不足，且预判准确性和及时发现率较低。现行方法的不足主要有：现有的监狱服刑人员综合生理体征监测过程中主要依靠人力来进行，不能做到全天候全地域的观察分析，例如在服刑人员休息时无法对生理体征做出评判，导致行动处置的不够及时。现有的监狱智能警戒系统多针对于单目标个体的实时监测、识别和跟踪，不能实现自动识别异常行为、心率较低等特殊情况的实时监测报警功能。因此，迫切的需要一种方法和系统能够对监狱牢房中多个服刑人员的生理特征进行实时的监测和智能报警，能够有效的提高行动处置的速度，提高工作人员的工作效率，为智慧监狱提供了基本医疗信息的保障，促进智慧监狱项目的发展。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提出了一种基于视频与设备结合的服刑人员体征监测方法及设备，结合服刑人员在休息时的心率以及从视频中识别出的服刑人员的人脸表情特征和心率，判断监狱服刑人员是否具有潜在性疾病风险或者异常行为。为解决上述技术问题，本专利技术提供了一种基于视频与设备结合的服刑人员体征监测方法，其特征是，包括以下过程：获取所有监狱服刑人员的监控视频，此视频图像中包含服刑人员面部以及表情，从视频图像中获取各监狱服刑人员的人脸表情特征，将各监狱服刑人员的人脸表情特征与对应所属的表情类型形成监狱服刑人员人脸表情特征数据库；获取待监测的服刑人员的监控视频，从视频图像中获取服刑人员的人脸面部特征区域，所述人脸面部特征区域包含人脸表情；从人脸面部特征区域中识别出服刑人员的人脸表情特征和心率；基于体征检测设备采集服刑人员在休息时的心率；结合服刑人员在休息时的心率以及从视频中识别出的服刑人员的人脸表情特征和心率，与监狱服刑人员人脸表情特征数据库进行对比，判断监狱服刑人员是否具有潜在性疾病风险或者异常行为。进一步的，还包括从视频图像中识别出各监狱服刑人员的身份。进一步的，表情类型包括4种：恐惧、愤怒、惊讶和痛苦。进一步的，从视频图像中获取服刑人员的人脸面部特征区域包括：在视频图像中，采用多层级联卷积神经网络DCNN对人脸面部关键点进行标定，框选包括人脸面部表情以及鼻尖、眉心、下颌三个人脸面部关键点为中心的矩形区域为人脸面部特征区域。进一步的，从人脸面部特征区域中识别出服刑人员的心率包括：(1)从人脸面部特征区域获得鼻尖、额头、下颌三个关键点附近的矩形区域图像，对三个区域的视频帧进行欧拉视频放大处理；(2)对视频图像中的每一帧图像分解成不同的空间分辨率进行欧拉视频放大处理，然后在RGB颜色空间内将已被欧拉放大处理过的图像的每一帧的RGB通道分开，形成三幅单通道图像，分别计算三通道图像的鼻头、额头、下颌区域内的像素的空间平均值，形成了对应每一帧的红黄蓝三个信号值，对应视频片段内的每一个区域的每一帧就形成三个原始信号序列；(3)对原始信号序列进行FFT变换，选取G通道信号序列中最大功率对应的频率作为心率的估计值。进一步的，结合服刑人员在休息时的心率以及从视频中识别出的服刑人员的人脸表情特征和心率，与监狱服刑人员人脸表情特征数据库进行对比，判断监狱服刑人员是否具有潜在性疾病风险或者异常行为包括：(1)服刑人员在休息时的心率与从视频中识别出的服刑人员的心率，若两者心率数据差值在设定值以内，取两者心率监测结果的平均数作为服刑人员的心率；若两者心率数据差值在设定值以上，则发出潜在性异常读数风险警告；(2)将从视频中识别出的服刑人员的人脸表情特征与监狱服刑人员人脸表情特征数据库进行对比，获得人脸表情类型，表情类型包括4种：恐惧、愤怒、惊讶和痛苦；(3)若出现惊讶表情且心率高于正常值，则判定牢房内存在异常行为，发出潜在性牢房内异常行为风险，若出现恐惧、痛苦表情且心率偏离正常范围，则判定可能出现突发类疾病，则发出潜在性生理健康风险；若出现愤怒表情且心率高于正常值，则判定可能会存在打架斗殴的风险，发出潜在性危险行为预警。相应的，本专利技术还提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法。相应的，本专利技术还提供了一种计算设备，包括，一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法的指令。与现有技术相比，本专利技术所达到的有益效果是：(1)采用基于深度学习的人脸识别算法进行身份验证，能够很好的保护用户的隐私，使用户的健康数据不易被盗取、泄露；(2)基于监狱光照的环境，进行了视频图像处理的优化，能够更有效、实时的跟踪监狱服刑人员面部特征区域；(3)采用了视频心率检测与实时表情识别相结合的方法，避免单一方法时带来的心率监测不准或者表情误识别带来的误判，有效提高智能监狱管理的工作效率；(4)相对于单一方式的智能检测设备，提供了多方式融合进行判别的方法，能够有效的提高系统稳定性，能够有效的检测到监狱内服刑人员的潜在性生理疾病风险以及恶劣行为的潜在性风险，对智能监狱的管理起到了提高效率和稳定性的作用。附图说明图1为本专利技术方法的流程图；图2为人脸识别匹配流程图；图3为自动识别跟踪人脸特征区域心率监测方法流程图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。本专利技术的一种基于视频与设备结合的服刑人员体征监测方法，包括以下步骤，并参见图1所示：步骤1，通过监控摄像头获取监狱服刑人员的人脸图像，通过人脸图像进行身份识别获取对应的监狱服刑人员的身份编号以及对应牢房编号，判断监狱服刑人员是否对号入住，便于监狱管理人员在得到潜在性风险预警后前往对应编号的牢房做出处理。其具体过程，参见图2所示，包括：(1)收集所有监狱服刑人员人脸图像，从各个人脸图像中识别出对应的人脸特征向量，将各监狱服刑人员的人脸特征向量和对应的个人身份信息(例如身份编号、姓名、性别等)、对应牢房编号保存生成监狱服刑人员人脸特征向量数据库。(2)通过监控摄像头获取监狱服刑人员的人脸图像，利用VGG-Net网络模型从人脸图像中提取人脸特征向量。VGG-Net(深度卷积神经网络)的输入是固定尺寸大小的本文档来自技高网...

【技术保护点】
1.一种基于视频与设备结合的服刑人员体征监测方法，其特征是，包括以下过程：/n获取所有监狱服刑人员的监控视频，此视频图像中包含服刑人员面部以及表情，从视频图像中获取各监狱服刑人员的人脸表情特征，将各监狱服刑人员的人脸表情特征与对应所属的表情类型形成监狱服刑人员人脸表情特征数据库；/n获取待监测的服刑人员的监控视频，从视频图像中获取服刑人员的人脸面部特征区域，所述人脸面部特征区域包含人脸表情；/n从人脸面部特征区域中识别出服刑人员的人脸表情特征和心率；/n基于体征检测设备采集服刑人员在休息时的心率；/n结合服刑人员在休息时的心率以及从视频中识别出的服刑人员的人脸表情特征和心率，与监狱服刑人员人脸表情特征数据库进行对比，判断监狱服刑人员是否具有潜在性疾病风险或者异常行为。/n

【技术特征摘要】
1.一种基于视频与设备结合的服刑人员体征监测方法，其特征是，包括以下过程：
获取所有监狱服刑人员的监控视频，此视频图像中包含服刑人员面部以及表情，从视频图像中获取各监狱服刑人员的人脸表情特征，将各监狱服刑人员的人脸表情特征与对应所属的表情类型形成监狱服刑人员人脸表情特征数据库；
获取待监测的服刑人员的监控视频，从视频图像中获取服刑人员的人脸面部特征区域，所述人脸面部特征区域包含人脸表情；
从人脸面部特征区域中识别出服刑人员的人脸表情特征和心率；
基于体征检测设备采集服刑人员在休息时的心率；
结合服刑人员在休息时的心率以及从视频中识别出的服刑人员的人脸表情特征和心率，与监狱服刑人员人脸表情特征数据库进行对比，判断监狱服刑人员是否具有潜在性疾病风险或者异常行为。


2.根据权利要求1所述的一种基于视频与设备结合的服刑人员体征监测方法，其特征是，还包括从视频图像中识别出各监狱服刑人员的身份。


3.根据权利要求1所述的一种基于视频与设备结合的服刑人员体征监测方法，其特征是，表情类型包括4种：恐惧、愤怒、惊讶和痛苦。


4.根据权利要求1所述的一种基于视频与设备结合的服刑人员体征监测方法，其特征是，从视频图像中获取服刑人员的人脸面部特征区域包括：
在视频图像中，采用多层级联卷积神经网络DCNN对人脸面部关键点进行标定，框选包括人脸面部表情以及鼻尖、眉心、下颌三个人脸面部关键点为中心的矩形区域为人脸面部特征区域。


5.根据权利要求1所述的一种基于视频与设备结合的服刑人员体征监测方法，其特征是，从人脸面部特征区域中识别出服刑人员的心率包括：
（1）从人脸面部特征区域获得鼻尖、额头、下颌三个关键点附近的矩形区域图像，对三个区域的视频帧进行欧拉视频放大处理；
（2）对视频图像中的每一帧图像分解成不同的空间分辨率进行欧拉视频放大处理，然后在RGB颜色空间内将已被欧拉放大处理过的图像的每一帧的RGB通道分开，...

【专利技术属性】
技术研发人员：李晓飞，王恺凡，王岩，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32