基于轻量级人体姿态估计模型的防溺水预警方法和系统技术方案

本发明专利技术提供了基于轻量级人体姿态估计模型的防溺水预警方法和系统，其中，防溺水预警方法包括：获取水下摄像头实时拍摄的游泳者的游泳视频数据；截取游泳视频数据得到多帧游泳图像，将多帧游泳图像依次输入至轻量级人体姿态估计模型进行人体关键点标记，得到多个人体关键点的坐标；根据多个人体关键点的坐标之间关系，计算得到关键点特征向量；判断多帧游泳图像中关键点特征向量与任一溺水状态判定集合的关键点特征向量的溺水相似度是否大于或等于各自的预设相似度阈值；若是，则确定游泳者溺水，发送溺水预警信号。本发明专利技术的技术方案能解决现有技术中大部分深度学习模型体量过大，参数过多，难以部署到嵌入式设备进行推理的问题。的问题。的问题。

【技术实现步骤摘要】
基于轻量级人体姿态估计模型的防溺水预警方法和系统


[0001]本专利技术涉及通信
，尤其涉及一种轻量级人体姿态估计模型的防溺水预警方法和系统。

技术介绍

[0002]游泳是一项非常受大众欢迎的体育运动，然而泳池溺水事故频繁发生。为减少泳池溺水事故，相关人员研究出各种泳池防溺水技术，例如可穿戴式防溺水设备以及基于计算机视觉的泳池防溺水技术等。
[0003]其中，可穿戴式防溺水设备是指，利用游泳者佩戴的手环或泳帽等设备，实时检测人体的心率和血氧等指标，若出现异常则及时发出警报。上述方法虽然能够及时对泳池溺水预警，但是可穿戴式防溺水设备影响了游泳体验，并且容易受环境干扰，需要经常维护。
[0004]为解决可穿戴式防溺水设备的缺陷，现有技术还提供了基于计算机视觉的泳池防溺水技术，基于计算机视觉的泳池防溺水技术是当前的研究热点。该基于计算机视觉的泳池防溺水技术利用计算机视觉检测游泳者图像，并利用深度学习模型对游泳者图像进行目标检测，以识别溺水行为。
[0005]然而，目前大部分的深度学习模型体量太大，参数过多，难以部署到嵌入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级人体姿态估计模型的防溺水预警方法，其特征在于，包括：获取水下摄像头实时拍摄的游泳者的游泳视频数据；截取所述游泳视频数据得到多帧游泳图像，将所述多帧游泳图像依次输入至轻量级人体姿态估计模型进行人体关键点标记，得到多个人体关键点的坐标；根据所述多个人体关键点的坐标之间关系，计算得到所述人体关键点的关键点特征向量，其中，所述关键点特征向量包括关键点距离向量、关键点夹角向量和关键点距离变化速度向量；判断所述多帧游泳图像中所述关键点距离向量、关键点夹角向量和关键点距离变化速度向量、分别与多种溺水状态判定集合中任一溺水状态判定集合的关键点距离向量、关键点夹角向量和关键点距离变化速度向量的溺水相似度是否大于或等于各自的预设相似度阈值；若判定所述关键点距离向量、关键点夹角向量和关键点距离变化速度向量的溺水相似度均大于或等于各自的预设相似度阈值，则确定所述游泳者溺水，发送溺水预警信号。2.根据权利要求1所述的防溺水预警方法，其特征在于，所述将所述多帧游泳图像依次输入至轻量级人体姿态估计模型进行人体关键点标记，得到多个人体关键点的坐标的步骤，包括：按照预定数量比例划分所述轻量级人体姿态估计模型的训练集、验证集和测试集；按照所述预定数量比例，将所述训练集、验证集和测试集分别输入至所述轻量级人体姿态估计模型进行训练、验证和测试，得到测试通过的所述轻量级人体姿态估计模型；将所述游泳图像输入至所述轻量级人体姿态估计模型的MobileNet模型中进行卷积，得到包含所述多个人体关键点的游泳特征图；将所述游泳特征图输入至所述轻量级人体姿态估计模型的单分支卷积神经网络进行卷积；使用所述单分支卷积神经网络预测所述多个人体关键点中每个人体关键点的位置置信度图和亲和力域；对所述每个人体关键点的位置置信度图和亲和力域进行匹配，得到所述多个人体关键点的坐标。3.根据权利要求1所述的防溺水预警方法，其特征在于，所述根据所述多个人体关键点的坐标之间关系，计算得到所述人体关键点的关键点特征向量的步骤，包括：从所述多个人体关键点中选取第一参考关键点；根据所述多个人体关键点中、其他人体关键点的坐标与所述第一参考关键点的坐标，分别计算所有其他人体关键点与所述第一参考关键点之间的距离，得到所述关键点距离向量；从所述多个人体关键点中选取多个第二参考关键点；根据所述多个第二参考关键点的坐标，计算所述多个第二参考关键点的夹角，得到所述关键点夹角向量；以及，根据所述多个人体关键点的坐标，从所述多帧游泳图像中提取前后两帧游泳图像的关键点距离差；根据所述前后两帧游泳图像的关键点距离差以及所述前后两帧游泳图像的间隔时间，
计算得到所述关键点距离变化速度向量；使用所述关键点距离向量、关键点夹角向量、所述关键点距离变化速度向量，构造所述关键点特征向量。4.根据权利要求1或3所述的防溺水预警方法，其特征在于，所述判断所述多帧游泳图像中所述关键点距离向量、关键点夹角向量和关键点距离变化速度向量、分别与多种溺水状态判定集合中任一溺水状态判定集合的关键点距离向量、关键点夹角向量和关键点距离变化速度向量的溺水相似度是否大于或等于各自的预设相似度阈值的步骤，包括：根据余弦相似度计算公式：分别计算所述游泳图像中所述关键点距离向量、关键点夹角向量和关键点距离变化速度向量与任一溺水状态判定集合的关键点距离向量、关键点夹角向量和关键点距离变化速度向量的溺水相似度；其中，A为游泳图像中的关键点特征向量，B为溺水状态判定集合的关键点特征向量；判断所述关键点距离向量、关键点夹角向量和关键点距离变化速度向量的溺水相似度是否均大于或等于各自的预设相似度阈值；若判定所述关键点距离向量、关键点夹角向量和关键点距离变化速度向量的溺水相似度均大于或等于各自的预设相似度阈值，则确定所述游泳者溺水。5.根据权利要求4所述的防溺水预警方法，其特征在于，所述判断所述多帧游泳图像中所述关键点距离向量、关键点夹角向量和关键点距离变化速度向量、分别与多种溺水状态判定集合中任一溺水状态判定集合的关键点距离向量、关键点夹角向量和关键点距离变化速度向量的溺水相似度是否大于或等于各自的预设相似度阈值的步骤之前，所述方法还包括：选取多种溺水状态数据集，其中，所述多种溺水状态数据集中的每种溺水状态数据集包含有连续多帧溺水图像；将每种溺水状态数据集包含的连续多帧溺水图像输入至所述轻量级人体姿态估计模型中，得到每种溺水状态对应的人体关键点坐标；根据所述每种溺水状态对应的人体关键点坐标，分别计算得到所述每种溺水状态对应的人体关键点的关键点特征向量，其中，所述关键点特征向量包括关键点距离向量、关键点夹角向量和关键点距离变化速度向量；使用所述每种溺水状态对应的人体关键点的关键点特征向量，构造得到所述多种...

【专利技术属性】
技术研发人员：于中阳，杨文辉，张萌飞，
申请(专利权)人：上海旺链信息科技有限公司，
类型：发明
国别省市：