一种基于机器视觉的摔倒检测方法和系统技术方案

本发明专利技术公开了一种基于机器视觉的摔倒检测方法和系统，涉及摔倒检测技术领域，所述方法包括步骤：获取实时的监控视频数据，对所述监控视频数据进行数据增强处理，提取人体关键骨骼点，通过多帧图像之间骨骼点位置关系，确定用户姿态，若识别出异常情况，则将报警信息发送到预设报警对象；本发明专利技术对摄像头采集的图像中人的姿态自动化进行识别，无繁琐操作使用方便，并且识别过程不涉及将监控录像上传到服务器或监控人员处，整个摔倒检测过程可以直接部署在本地，没有隐私泄露风险，在判断为摔倒情况后还需确认出现异常行为，防止对未发生紧急情况进行误报，避免人力物力资源的浪费。避免人力物力资源的浪费。避免人力物力资源的浪费。

【技术实现步骤摘要】
一种基于机器视觉的摔倒检测方法和系统


[0001]本专利技术涉及摔倒检测
，更具体地，涉及一种基于机器视觉的摔倒检测方法和系统。

技术介绍

[0002]摔倒是生活中难以避免的意外情况，且摔倒产生的后果难以预料，若摔倒后身旁有人救助，则通常不至于造成严重后果，但对于独居人士，尤其是独居老人或身体状态不佳、有潜伏疾病的人，一方面由于体格较弱，更容易摔倒，另一方面在摔倒后会面临比健康人摔倒更大的伤害，在身旁无人的情况下，容易出现不可挽回的严重后果。现代社会也使独居情况更加普遍，因此，避免独居人士摔倒后无人救助是亟待解决的问题。
[0003]公开号为CN112819855A，公开日：2021
‑
05
‑
18，提出的基于养老院的人员摔倒检测方法、设备及介质，通过使用矩形框对当前时刻图像中的待检测老人进行标定，实现摔倒检测，但该检测方法只能检测摔倒情况，对摔倒后是否受伤无法检测，误报会对人力物力造成浪费。

技术实现思路

[0004]本专利技术为克服上述现有技术存在的缺陷，提供一种自动摔倒检测，并能够判断摔倒后异常情况的摔倒检测方法。
[0005]为解决上述技术问题，本专利技术的技术方案如下：
[0006]一种基于机器视觉的摔倒检测方法，包括步骤；
[0007]S1：获取实时的监控视频数据；
[0008]S2：对实时监控视频数据进行数据增强处理，得到视频中每一帧图像对应的图像张量信息；
[0009]S3：对图像张量信息中的人体关键骨骼点进行提取，并将提取到的骨骼点转化为一组骨骼点坐标；
[0010]S4：获取n张连续图像帧的骨骼点坐标，根据连续图像帧的相邻帧之间骨骼点坐标的位置关系，识别图像中人体的姿态，进而判断图像中的人是否出现异常情况，所述异常情况是指摔倒且有异常行为；
[0011]S5：若判断为异常情况，则将报警信息发送到预设报警对象。
[0012]本技术方案中，对摄像头采集的图像中人的姿态自动化进行识别，无繁琐操作使用方便，并且识别过程不涉及将监控录像上传到服务器或监控人员处，整个摔倒检测过程可以直接部署在本地，没有隐私泄露风险，在判断为摔倒情况后还需确认出现异常行为，防止对未发生紧急情况进行误报，使每一次救援都是针对真正需要帮助的情况，节约了人力物力，提高救援人员的成就感和积极性。
[0013]进一步地，步骤S2所述数据增强处理具体包括步骤：
[0014]S21：直方图均衡化处理，以增强图像对比度；
[0015]S22：灰度值归一化处理，使得图像灰度值区间从[0,255]映射为[
‑
1,1]；
[0016]S23：对图像进行图像尺寸填充调整，使用零填充策略将图像填充为正方形的长宽比例，并从原尺寸放缩为统一的预设尺寸；
[0017]上述技术方案中，所述直方图均衡化处理用于将图像直方图进行均衡化，使得图像的灰度级能够覆盖更宽的灰度范围以增强图像的对比度，进而提高后续模型检测的精度，减少随机因素带来的干扰；所述灰度值归一化用于构建映射使得灰度值区间从[0,255]映射为[
‑
1,1]，以减少后续人体姿态估计单元的处理难度，降低模型的学习难度，为避免在灰度值归一化中启发式超参数对不同环境的影响，所述映射使用了一种不具启发性的超参数，其中均值μ＝128，σ＝255；所述预设尺寸为192x192。
[0018]进一步地，步骤S3提取所述骨骼点包括步骤：
[0019]S31：将数据增强后的图像输入基于热图的生成式模型；
[0020]S32：通过模型的特征提取模块循环执行四次的3x3卷积、批量归一化、最大池化处理，从3通道RGB图像张量信息中提取出关于人体高级特征信息张量；
[0021]S33：通过模型的解码器循环执行两次的反卷积、3x3卷积、批量归一化处理，将所述高级特征信息张量转换为m通道关键骨骼点热图，其中每一个热图对应了一个人体关键骨骼点。
[0022]进一步地，步骤S3还包括骨骼点数据库数据处理步骤，具体为：骨骼点数据库保存有最新的n帧图像的骨骼点坐标队列，对骨骼点坐标队列进行整合，得到一个形如nxmx2的骨骼点序列张量，然后对骨骼点序列张量进行Flatten处理后得到骨骼点一维向量，在又有新的一帧视频图像的骨骼点坐标提取完毕后，删除位于所述骨骼点坐标队列头的m个人体关键骨骼点坐标，并将新一帧的m个人体关键骨骼点坐标数据塞入骨骼点坐标队列尾中。
[0023]上述技术方案中，骨骼点数据库采用了先进先出队列作为存储结构，可以简化数据库程序。
[0024]进一步地，步骤S4所述识别人体的肢体动作包括步骤：
[0025]S41：将所述骨骼点数据库数据处理步骤中Flatten处理后得到的所述骨骼点一维向量输入随机森林模型；
[0026]S42：随机森林模型中的100个学习器各自判断画面中的人是否摔倒，并且每个学习器对识别结果进行投票，若判断为摔倒且出现异常行为时投赞成票，否则投反对票；
[0027]S43：记录投票结果，然后返回执行步骤S1，若连续三次投票结果的赞成票超过50票，则认为发生异常情况，并将发生异常情况的判断结果传输给步骤S5。
[0028]一种基于机器视觉的摔倒检测系统，包括：摄像头、图像预处理单元、骨骼点提取单元、骨骼点数据库、姿态识别单元；并且所述摄像头、图像预处理单元、骨骼点提取单元、骨骼点数据库、姿态识别单元依次连接；
[0029]摄像头采集实时监控画面，并将监控画面传输给图像预处理单元，图像预处理单元对监控画面图像进行数据增强，将数据增强后的图像传输给骨骼点提取单元，骨骼点提取单元提取图像中的骨骼点坐标，将骨骼点坐标数据传输给骨骼点数据库，骨骼点数据库保存有最新的n帧图像的骨骼点坐标队列，对骨骼点坐标队列进行整合，得到一个形如nxmx2的骨骼点序列张量，然后对骨骼点序列张量进行Flatten处理后得到骨骼点一维向
量，骨骼点数据库将所述骨骼点一维向量发送给姿态识别单元，姿态识别单元识别姿态是否出现异常情况，若识别结果是摔倒且出现异常行为则为异常情况。
[0030]进一步地，所述图像预处理单元包括：直方图均衡化模块、灰度值归一化模块、尺寸调整模块，所述直方图均衡化模块、灰度值归一化模块、尺寸调整模块依次连接，直方图均衡化模块首先对输入图像进行直方图均衡化处理，然后直方图均衡化模块将处理后的图像传输到灰度值归一化模块，灰度值归一化模块对图像进行灰度值归一化处理，然后灰度值归一化模块将处理后的图像传输到尺寸调整模块，尺寸调整模块对图像进行图像尺寸填充调整，使用零填充策略将图像填充为正方形的长宽比例，并从原尺寸放缩为统一的预设尺寸。
[0031]上述技术方案中，所述直方图均衡化处理用于将图像直方图进行均衡化，使得图像的灰度级能够覆盖更宽的灰度范围以增强图像的对比度，进而提高后续模型检测的精度，减少随机因素带来的干扰；所述灰度值归一化用于构建映射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的摔倒检测方法，其特征在于，包括步骤：S1：获取实时的监控视频数据；S2：对实时监控视频数据进行数据增强处理，得到视频中每一帧图像对应的图像张量信息；S3：对图像张量信息中的人体关键骨骼点进行提取，并将提取到的骨骼点转化为一组骨骼点坐标；S4：获取n张连续图像帧的骨骼点坐标，根据连续图像帧的相邻帧之间骨骼点坐标的位置关系，识别图像中人体的姿态，进而判断图像中的人是否出现异常情况，所述异常情况是指摔倒且有异常行为；S5：若判断为异常情况，则将报警信息发送到预设报警对象。2.根据权利要求1所述的一种基于机器视觉的摔倒检测方法，其特征在于，步骤S2所述数据增强处理具体包括步骤：S21：直方图均衡化处理，以增强图像对比度；S22：灰度值归一化处理，使得图像灰度值区间从[0,255]映射为[
‑
1,1]；S23：对图像进行图像尺寸填充调整，使用零填充策略将图像填充为正方形的长宽比例，并从原尺寸放缩为统一的预设尺寸。3.根据权利要求1所述的一种基于机器视觉的摔倒检测方法，其特征在于，步骤S3提取所述骨骼点包括步骤：S31：将数据增强后的图像输入基于热图的生成式模型；S32：通过模型的特征提取模块循环执行四次的3x3卷积、批量归一化、最大池化处理，从3通道RGB图像张量信息中提取出关于人体高级特征信息张量；S33：通过模型的解码器循环执行两次的反卷积、3x3卷积、批量归一化处理，将所述高级特征信息张量转换为m通道关键骨骼点热图，其中每一个热图对应了一个人体关键骨骼点。4.根据权利要求3所述的一种基于机器视觉的摔倒检测方法，其特征在于，步骤S3还包括骨骼点数据库数据处理步骤，具体为：骨骼点数据库保存有最新的n帧图像的骨骼点坐标队列，对骨骼点坐标队列进行整合，得到一个形如nxmx2的骨骼点序列张量，然后对骨骼点序列张量进行Flatten处理后得到骨骼点一维向量，在又有新的一帧视频图像的骨骼点坐标提取完毕后，删除位于所述骨骼点坐标队列头的m个人体关键骨骼点坐标，并将新一帧的m个人体关键骨骼点坐标数据塞入骨骼点坐标队列尾中。5.根据权利要求4所述的一种基于机器视觉的摔倒检测方法，其特征在于，步骤S4所述识别人体的肢体动作包括步骤：S41：将所述骨骼点数据库数据处理步骤中Flatten处理后得到的所述骨骼点一维向量输入随机森林模型；S42：随机森林模型中的100个学习器各自判断画面中的人是否摔倒，并且每个学习器对识别结果进行投票，若判断为摔倒且出现异常行为时投赞成票，否则投反对票；S43：记录投票结果，然后返回执行步骤S1，若连续三次投票结果的赞成票超过50票，则认为发生异常情况，并将发生异常情况的判断结果传输给步骤S5。6.一种基于机器视觉的摔倒检测系统，其特征在于，包括：摄像头、图像预处理单元、骨
骼点提取单元、...

【专利技术属性】
技术研发人员：梁梓熙，尹明，杨文俊，何少聪，周明悦，谭家权，何铭乐，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：