基于改进YOLOv5的多模态融合游泳池溺水检测系统及方法技术方案

本发明专利技术涉及智能安防与计算机视觉技术领域，且公开了基于改进YOLOv5的多模态融合游泳池溺水检测系统及方法，包括多模态数据采集模块，用于采集多种模态的数据，包含视觉传感器、深度传感器以及姿态捕捉单元；所述视觉传感器同时部署广角摄像头与红外热成像仪，分别获取泳池区域的RGB图像及热力图；深度传感器采用ToF相机，通过测量光飞行时间t。本发明专利技术通过多模态数据采集模块融合视觉、深度及姿态信息，有效克服了传统检测手段依赖单一数据的弊端；广角摄像头与红外热成像仪协同，使系统在各类光照条件下都能精准捕捉目标；ToF相机提供的深度数据，辅助判断溺水风险；MediaPipe模型实时追踪人体骨骼关键点，为识别异常姿态奠定基础。

【技术实现步骤摘要】

本专利技术涉及智能安防与计算机视觉，更具体地涉及基于改进yolov5的多模态融合游泳池溺水检测系统及方法。

技术介绍

1、在现代社会，游泳池作为人们日常休闲娱乐和健身的重要场所，其安全保障至关重要。然而，传统的泳池监控方式存在诸多亟待解决的问题。

2、人工监控的局限性：传统泳池监控严重依赖人工观察，人的注意力难以长时间高度集中，导致漏检情况频发。大量的溺水风险无法及时被发现，从发现溺水迹象到采取有效措施，人工响应存在明显延迟，而这在溺水救援中十分关键。

3、单一视觉模型的缺陷：以广泛应用的yolo系列为代表的单一视觉模型，在复杂的水面场景下表现不佳。水面的波动、光照的反射与折射，常常干扰模型对目标的识别。强光直射或逆光环境，对检测准确率影响很大。并且，对于小目标，如溺水者部分露出水面的肢体，检测精度低，极大地影响了对溺水事件的及时判断。

4、单一模态数据的不足：现有的多数溺水检测系统仅依赖单一模态数据，例如rgb图像。这种方式忽略了人体姿态、红外热成像等多维度信息的重要性。由于缺乏对多维度信息的综合分析，系统无法准确区分本文档来自技高网...

【技术保护点】

1.基于改进YOLOv5的多模态融合游泳池溺水检测系统，其特征在于：包括：

2.根据权利要求1所述的基于改进YOLOv5的多模态融合游泳池溺水检测系统，其特征在于：所述改进的YOLOv5检测模型中，BRA模块与CBAM注意力机制协同工作，提升多模态特征融合效率，增强对小目标特征的提取以及不同模态数据融合后的特征表达；在BRA模块融合多模态数据时，以RGB图像特征FRGB、热力图特征Fthermal、深度信息特征Fdepth为例，通过特定融合公式Ffused＝αFRGB+βFthermal+γFdepth生成增强后的特征图Ffused，提升对小目标特征的提取以及不同模态数据融合...

【技术特征摘要】

1.基于改进yolov5的多模态融合游泳池溺水检测系统，其特征在于：包括：

2.根据权利要求1所述的基于改进yolov5的多模态融合游泳池溺水检测系统，其特征在于：所述改进的yolov5检测模型中，bra模块与cbam注意力机制协同工作，提升多模态特征融合效率，增强对小目标特征的提取以及不同模态数据融合后的特征表达；在bra模块融合多模态数据时，以rgb图像特征frgb、热力图特征fthermal、深度信息特征fdepth为例，通过特定融合公式ffused＝αfrgb+βfthermal+γfdepth生成增强后的特征图ffused，提升对小目标特征的提取以及不同模态数据融合后的特征表达，α、β、γ为融合权重，通过训练学习得到。

3.根据权利要求1所述的基于改进yolov5的多模态融合游泳池溺水检测系统，其特征在于：所述物联网联动救援模块中的红光定位装置能精准标记溺水位置，为救援人员提供直观视觉指引；自主导航救生机器人依据接收到的坐标，快速、准确地驶向溺水点并释放救生设备。

4.根据权利要求1所述的基于改进yolov5的多模态融合游泳池溺水检测系统，其特征在于：所述多模态数据采集模块中...

【专利技术属性】
技术研发人员：李炜深，钟啸，赵文旭，袁梓晶，劳宇晴，王建雅，何俊杰，庄漫如，杨博棋，
申请(专利权)人：赵文旭，
类型：发明
国别省市：