一种基于红外和热成像的弱光实时人体跌倒检测方法技术

本发明专利技术的目的是提供一种基于红外和热成像的弱光实时人体跌倒检测方法，采用红外补偿和热成像技术相结合的方法，用于弱光环境下的跌倒检测，较以往的跌倒检测可以取得更好的效果；弥补了红外夜视在较为黑暗的场景中，捕捉到的人体数据边缘轮廓模糊，与环境融合的情况；热成像技术利用自然界的一切物体都能辐射热量的原理，采用热成像技术用于夜间的人体检测，所捕捉的人体边缘数据轮廓清晰，能够与环境很好的进行区分；采用热成像技术进行夜间跌倒检测，与普通的跌倒检测方法相比，减少了漏检、误检的情况，对人身安全的保护大大增加。对人身安全的保护大大增加。对人身安全的保护大大增加。

【技术实现步骤摘要】
一种基于红外和热成像的弱光实时人体跌倒检测方法


[0001]本专利技术属于人体体态识别的
，具体涉及一种基于红外和热成像的弱光实时人体跌倒检测方法。

技术介绍

[0002]智能监控是计算机视觉应用发展较快的领域，应用场景主要包括道路、车站、机场、学校等各种场所，其主要任务通常为行人识别、异常行为检测等。传统的安防监控中，任务的完成主要依靠人工进行，由于工作人员工作繁重，且容易受到人工的注意力、疲劳等因素的影响，监控的效果并不能得到保障。智能监控通过相关算法对视频进行自动识别检索，简化了工作流程，大大提高了工作效率。
[0003]同时，人体姿态识别是计算机视觉领域的一个重要的研究方向，它的应用方向非常广泛，例如：运动纠错和人体跌倒检测等。其中人体跌倒检测是计算机根据监控设备获取到的图片序列自动判定人体是否处于跌倒状态的一种人体安全技术。其应用非常广泛，如家中老人和小孩的家庭人体安全防护等。
[0004]常规的人体跌倒检测方案通过监控摄像头获取彩色图片进行识别，在弱光时则使用红外补光的方法获取图片信息。但采用红外补光的监控设备，在弱光的情况下，所拍摄到的视频呈现黑白色，监控目标与周围环境出现融为一体的情况，并且在较远距离情况下，视频图片变得非常模糊。将这些图片信息输入计算机进行人体姿态检测时，检测精度受到了极大的限制，无法很好的检测到人体关键点的信息，更加无法判断人体当前所处于的姿态。若此方法应用到家庭人体安全防护中，则会出现夜晚老人跌倒后，无法被识别的情况，会有极大的可能发生难以想象的后果。/>
技术实现思路

[0005]本专利技术的目的是提供一种基于红外补光和热成像的弱光情况下的实时人体跌倒检测方法，用于解决现有的人体跌倒检测方案在弱光情况下的不精确性、且容易产生漏检的技术性问题。
[0006]其技术方案如下面步骤所示：
[0007]S1：获取数据集；
[0008]S1.1：在光线充足的条件下使用普通彩色摄像头获取人体彩色图片a1；使用热成像摄像头获取同一时刻的人体红外热成像图片b1；
[0009]S1.2：将图片a1进行灰度和亮度的变换，生成黑白图片c1，用于模拟红外补光摄像头在夜间拍摄到的图片信息；
[0010]S1.3：将步骤S1.1和步骤S1.2得到的图片a1、b1、c1记为一个样本x1，重复步骤S1.1和S1.2，得到原始数据集x1，x2，x3……
x
n
，n为样本个数，原始数据集记为X；X中的每一个数据样本x
i
，由a
i
，b
i
，c
i
组成，其中i为样本编号；同时把数据集X中每一个数据样本x
i
中的所有a
i
、b
i
、c
i
分别记为A、B、C；即数据集A由a1，a2，a3……
a
n
组成，B由b1，b2，b3……
b
n
组成，C由c1，
c2，c3……
c
n
组成，其中n为样本编号；
[0011]S2：训练模型；
[0012]S2.1：把图片A输入进Openpose，其中图片A为原始数据集X中对应的所有a
i
数据样本，即人体彩色图片数据；输出A
′
，A
′
表示为a
′1，a
′2，a
′3……
a
′
n
,a
′
i
为带有多个人体关键点坐标的数据；
[0013]S2.2：使用步骤S2.1得到的人体关键点坐标，在对应的图片B、图片C中进行人体关键点标记，生成训练样本B
′
和C
′
，B
′
由b
′1，b
′2，b
′3……
b
′
n
，C
′
由c
′1，c
′2，c
′3……
c
′
n
组成；
[0014]S2.3：处理步骤S2.2得到的带有关键点坐标的图片B
′
和图片C
′
，把每个关键点位置的图片分割下来形成各个关键点的图片集合BK和图片CK，其中BK表示为bk1，bk1，bk3……
bk
18
，CK表示为ck1，ck1，ck3……
ck
18
。获得到18个关键点的训练数据集；
[0015]S2.4：把训练样本BK和CK中每个关键点的图片集合分别输入进预设的卷积神经网络CNN中，经卷积神经网络训练得到模型M
B
和M
c
；
[0016]S3：对人体关建点坐标分类，检查跌倒行为；
[0017]S3.1：使用红外补光摄像头和热成像摄像头做成的双目摄像头实时获取弱光图片信息，即热成像图片和红外补光头图片信息，分别记为b和c；
[0018]S3.2：将b和c分别输入进S2.3得到的模型M
B
和m
c
中，分别输出人体骨骼关键点坐标，y
b
和y
c
；
[0019]S3.3：将y
b
和y
c
进行相互补偿，生成一个人体骨骼关键点坐标y；
[0020]S3.4：将人体骨骼关键点坐标y输入进预设的Conv
‑
LSTM网络中进行姿态分类，并基于姿态分类结果检测跌倒行为；
[0021]S3.5：若检测到人物跌倒，则装置发出报警，否则继续进行图片采集。
[0022]优选的，所述步骤S1中最终得到的原始数据集X，X中的每一个数据样本x
i
，由a
i
，b
i
，c
i
组成，其中i为样本编号；同时把数据集X中每一个数据样本x
i
中的所有a
i
、b
i
、c
i
分别记为A、B、C；即数据集A由a1，a2，a3……
a
n
组成，B由b1，b2，b3……
b
n
组成，C由c1，c2，c3……
c
n
组成，其中n为样本编号。
[0023]优选的，所述S2中S2.1
‑
S2.3中的采集到的数据集X处理为训练数据集BK和CK的过程。
[0024]优选的，所述S2.4中的卷积神经网络训练后得到的模型M
B
和M
c
。
[0025]优选的，所述S3.1～S3.3中得到的图片y
b
和y
c
进行相互补偿，生成一个人体骨骼关键点坐标y。
[0026]本专利技术的有益效果为：采用红外补偿和热本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于红外和热成像的弱光实时人体跌倒检测方法，其特征在于,包括以下步骤:S1：获取数据集；S1.1：在光线充足的条件下使用普通彩色摄像头获取人体彩色图片a1；使用热成像摄像头获取同一时刻的人体红外热成像图片b1；S1.2：将图片a1进行灰度和亮度的变换，生成黑白图片c1，用于模拟红外补光摄像头在夜间拍摄到的图片信息；S1.3：将步骤S1.1和步骤S1.2得到的图片a1、b1、c1记为一个样本x1，重复步骤S1.1和S1.2，得到原始数据集x1，x2，x3……
x
n
，n为样本个数，原始数据集记为X；X中的每一个数据样本x
i
，由a
i
，b
i
，c
i
组成，其中i为样本编号；同时把数据集X中每一个数据样本x
i
中的所有a
i
、b
i
、c
i
分别记为A、B、C；即数据集A由a1，a2，a3……
a
n
组成，B由b1，b2，b3……
b
n
组成，C由c1，c2，c3……
c
n
组成，其中n为样本编号；S2：训练模型；S2.1：把图片A输入进Openpose，其中图片A为原始数据集X中对应的所有a
i
数据样本，即人体彩色图片数据；输出A
′
，A
′
表示为a
′1，a
′2，a
′3……
a
′
n
,a
′
i
为带有多个人体关键点坐标的数据；S2.2：使用步骤S2.1得到的人体关键点坐标，在对应的图片B、图片C中进行人体关键点标记，生成训练样本B
′
和C
′
，B
′
由b
′1，b
′2，b
′3……
b
′
n
，C
′
由c
′1，c
′2，c
′3……
c
′
n
组成；S2.3：处理步骤S2.2得到的带有关键点坐标的图片B
′
和图片C
′
，把每个关键点位置的图片分割下来形成各个关键点的图片集合BK和图片CK，其中BK表示为bk1，bk1，bk3……
bk
18
...

【专利技术属性】
技术研发人员：王亚鲁，韩志杰，薛炜强，李捷，杜晓玉，
申请(专利权)人：河南大学，
类型：发明
国别省市：