一种溺水行为识别方法、监控相机及监控系统技术方案

本申请实施例提供了一种溺水行为识别方法、监控相机及监控系统，其中，方法包括：采集监控水域内的多帧图像；将多帧图像中的单帧图像输入预设深度神经网络模型，得到单帧图像中各人体目标的溺水置信度，预设深度神经网络模型为预先根据人体目标溺水时从水域上方采集到的包含人体目标的关键点位置信息的样本图像训练得到的深度神经网络模型；针对各人体目标，根据该人体目标的溺水置信度，识别该人体目标是否存在溺水行为。通过本方案，可以提高溺水行为的识别精度。

A drowning behavior recognition method, monitoring camera and monitoring system

【技术实现步骤摘要】
一种溺水行为识别方法、监控相机及监控系统
本申请涉及智能监控
，特别是涉及一种溺水行为识别方法、监控相机及监控系统。
技术介绍
游泳作为一项放松神经、锻炼心肺功能的绝佳运动，一直是人们健身锻炼的首选。然而，人们在游泳时存在一定溺水的危险，溺水的进程很快，一般4至7分钟就可因呼吸心跳停止而导致死亡。为了应对溺水情况的发生，多在水域周围安排多个救生员，救生员时刻观察水域中游泳者的情况，一旦发现有人溺水，立即实施营救。然而，由于水域中的游泳者众多，人工监控难免会有所疏漏，导致监控效率较低。为了解决人工监控效率低的问题，相应的在水域底部布置有水下监控系统，通过水下监控系统对游泳者游泳动作的动作频率进行检测，利用动作频率来判断游泳者是否溺水。通常情况下，如果发生溺水，游泳者会由于挣扎而加快动作频率。但是，由于个人游泳习惯的不同，有些游泳者在正常游泳时动作频率较快，这些游泳者的正常游泳行为易被识别为溺水行为，导致识别精度不高。
技术实现思路
本申请实施例的目的在于提供一种溺水行为识别方法、监控相机及监控系统，以提高溺水行为的识别精度。具体技术方案如下：第一方面，本申请实施例提供了一种溺水行为识别方法，所述方法包括：采集监控水域内的多帧图像；将所述多帧图像中的单帧图像输入预设深度神经网络模型，得到所述单帧图像中各人体目标的溺水置信度，其中，所述预设深度神经网络模型为预先根据人体目标溺水时从水域上方采集到的包含人体目标的关键点位置信息的样本图像训练得到的深度神经网络模型；针对各人体目标，根据该人体目标的溺水置信度，识别该人体目标是否存在溺水行为。可选的，所述预设深度神经网络模型包括，预设多任务神经网络框架；所述将所述多帧图像中的单帧图像输入预设深度神经网络模型，得到所述单帧图像中各人体目标的溺水置信度，包括：将所述多帧图像中的单帧图像输入所述预设多任务神经网络框架，得到所述单帧图像中各人体目标的关键点位置信息及溺水类别置信度；所述针对各人体目标，根据该人体目标的溺水置信度，识别该人体目标是否存在溺水行为，包括：针对各人体目标，根据该人体目标的溺水类别置信度，识别该人体目标是否存在溺水行为。可选的，所述预设深度神经网络模型还包括，预设行为识别网络模型；在所述将所述多帧图像中的单帧图像输入预设多任务神经网络框架，得到所述单帧图像中各人体目标的关键点位置信息及溺水类别置信度之后，所述方法还包括：针对同一人体目标，基于各单帧图像中该人体目标的关键点位置信息，构建该人体目标的张量信息，所述张量信息表征在时间域上人体目标的关键点位置；将各人体目标的张量信息分别输入所述预设行为识别网络模型，得到各人体目标的溺水行为置信度；所述针对各人体目标，根据该人体目标的溺水置信度，识别该人体目标是否存在溺水行为，包括：针对各人体目标，根据该人体目标的溺水类别置信度和/或溺水行为置信度，识别该人体目标是否存在溺水行为。可选的，所述预设多任务神经网络框架，包括：人体目标检测网络模型、特征金字塔网络模型、区域特征聚集模型、人体姿态估计网络模型以及溺水类别识别网络模型；所述将所述多帧图像中的单帧图像输入所述预设多任务神经网络框架，得到所述单帧图像中各人体目标的关键点位置信息及溺水类别置信度，包括：将所述多帧图像中的单帧图像输入所述人体目标检测网络模型，得到所述单帧图像中各人体目标框的位置信息、以及在所述人体目标检测网络模型的运算过程中对所述单帧图像进行不同倍数的下采样得到的多张特征图；将各特征图分别输入所述特征金字塔网络模型，得到各特征图对应的输出特征图；将各人体目标框的位置信息及各输出特征图输入所述区域特征聚集模型，得到多个相同分辨率的特征图，并对所述多个相同分辨率的特征图进行融合处理，得到融合特征图；将所述融合特征图输入所述人体姿态估计网络模型，得到所述单帧图像中各人体目标的关键点位置信息；将所述融合特征图输入所述溺水类别识别网络模型，得到所述单帧图像中各人体目标的溺水类别置信度。可选的，所述人体目标检测网络模型为YOLO检测网络模型，所述特征金字塔网络模型为FPN模型，所述区域特征聚集模型为ROIAlign模型。可选的，所述人体姿态估计网络模型包括：第一卷积层、反卷积层及双线性插值层；所述溺水类别识别网络模型为第一卷积神经网络模型，所述第一卷积神经网络模型包括第一卷积层、最大池化层、1×1卷积层及分类层；所述将所述融合特征图输入所述人体姿态估计网络模型，得到所述单帧图像中各人体目标的关键点位置信息，包括：将所述融合特征图输入所述第一卷积层，得到第一卷积层输出特征图；将所述第一卷积层输出特征图输入所述反卷积层，通过反卷积操作，对所述第一卷积层输出特征图进行第一预设倍数的上采样，得到上采样特征图；将所述上采样特征图输入所述双线性插值层，通过双线性插值运算，对所述上采样特征图进行第二预设倍数的上采样，得到关键点热图；根据所述关键点热图的通道数及所述关键点热图中的特征值，确定所述单帧图像中各人体目标的关键点数量及关键点位置信息，其中，所述关键点数量与所述通道数相同，各通道的关键点热图中的最大特征值的位置信息为关键点位置信息。可选的，所述预设行为识别网络模型为第二卷积神经网络模型，所述第二卷积神经网络模型包括第二卷积层、最大池化层、1×1卷积层及分类层。可选的，所述针对各人体目标，根据该人体目标的溺水类别置信度和/或溺水行为置信度，识别该人体目标是否存在溺水行为，包括：针对各人体目标，若该人体目标的溺水类别置信度大于第一预设阈值，则确定该人体目标存在溺水行为；或者，针对各人体目标，若该人体目标的溺水行为置信度大于第二预设阈值，则确定该人体目标存在溺水行为；或者，针对各人体目标，若该人体目标的溺水类别置信度与溺水行为置信度的均值大于第三预设阈值，则确定该人体目标存在溺水行为。第二方面，本申请实施例提供了一种监控相机，所述监控相机包括摄像头、处理器及机器可读存储介质；所述摄像头，用于采集监控水域内的多帧图像，并将所述多帧图像发送至所述处理器；所述机器可读存储介质，用于存储能够被所述处理器执行的机器可执行指令；所述处理器，用于被所述机器可执行指令促使实现本申请实施例第一方面所述的方法步骤。可选的，所述监控相机还包括：警报器；所述处理器，还用于实现在识别到任一人体目标存在溺水行为时，向所述报警器发送报警信息；所述报警器，用于根据所述报警信息，发射报警信号。第三方面，本申请实施例提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，在被处理器调用和执行时，实现本申请实施例第一方面所述的方法步骤。第四方面，本申请实施例提供了一种监控系统，所述监控系统包括多个本申请实施例第二方面所述的监控相机；所本文档来自技高网...

【技术保护点】
1.一种溺水行为识别方法，其特征在于，所述方法包括：/n采集监控水域内的多帧图像；/n将所述多帧图像中的单帧图像输入预设深度神经网络模型，得到所述单帧图像中各人体目标的溺水置信度，其中，所述预设深度神经网络模型为预先根据人体目标溺水时从水域上方采集到的包含人体目标的关键点位置信息的样本图像训练得到的深度神经网络模型；/n针对各人体目标，根据该人体目标的溺水置信度，识别该人体目标是否存在溺水行为。/n

【技术特征摘要】
1.一种溺水行为识别方法，其特征在于，所述方法包括：
采集监控水域内的多帧图像；
将所述多帧图像中的单帧图像输入预设深度神经网络模型，得到所述单帧图像中各人体目标的溺水置信度，其中，所述预设深度神经网络模型为预先根据人体目标溺水时从水域上方采集到的包含人体目标的关键点位置信息的样本图像训练得到的深度神经网络模型；
针对各人体目标，根据该人体目标的溺水置信度，识别该人体目标是否存在溺水行为。


2.根据权利要求1所述的方法，其特征在于，所述预设深度神经网络模型包括，预设多任务神经网络框架；
所述将所述多帧图像中的单帧图像输入预设深度神经网络模型，得到所述单帧图像中各人体目标的溺水置信度，包括：
将所述多帧图像中的单帧图像输入所述预设多任务神经网络框架，得到所述单帧图像中各人体目标的关键点位置信息及溺水类别置信度；
所述针对各人体目标，根据该人体目标的溺水置信度，识别该人体目标是否存在溺水行为，包括：
针对各人体目标，根据该人体目标的溺水类别置信度，识别该人体目标是否存在溺水行为。


3.根据权利要求2所述的方法，其特征在于，所述预设深度神经网络模型还包括，预设行为识别网络模型；
在所述将所述多帧图像中的单帧图像输入预设多任务神经网络框架，得到所述单帧图像中各人体目标的关键点位置信息及溺水类别置信度之后，所述方法还包括：
针对同一人体目标，基于各单帧图像中该人体目标的关键点位置信息，构建该人体目标的张量信息，所述张量信息表征在时间域上人体目标的关键点位置；
将各人体目标的张量信息分别输入所述预设行为识别网络模型，得到各人体目标的溺水行为置信度；
所述针对各人体目标，根据该人体目标的溺水置信度，识别该人体目标是否存在溺水行为，包括：
针对各人体目标，根据该人体目标的溺水类别置信度和/或溺水行为置信度，识别该人体目标是否存在溺水行为。


4.根据权利要求2或3所述的方法，其特征在于，所述预设多任务神经网络框架，包括：人体目标检测网络模型、特征金字塔网络模型、区域特征聚集模型、人体姿态估计网络模型以及溺水类别识别网络模型；
所述将所述多帧图像中的单帧图像输入所述预设多任务神经网络框架，得到所述单帧图像中各人体目标的关键点位置信息及溺水类别置信度，包括：
将所述多帧图像中的单帧图像输入所述人体目标检测网络模型，得到所述单帧图像中各人体目标框的位置信息、以及在所述人体目标检测网络模型的运算过程中对所述单帧图像进行不同倍数的下采样得到的多张特征图；
将各特征图分别输入所述特征金字塔网络模型，得到各特征图对应的输出特征图；
将各人体目标框的位置信息及各输出特征图输入所述区域特征聚集模型，得到多个相同分辨率的特征图，并对所述多个相同分辨率的特征图进行融合处理，得到融合特征图；
将所述融合特征图输入所述人体姿态估计网络模型，得到所述单帧图像中各人体目标的关键点位置信息；
将所述融合特征图输入所述溺水类别识别网络模型，得到所述单帧图像中各人体目标的溺水类别置信度。


5.根据权利要求4所述的方法，其特征在于，所述人体目标检测网络模型为YOLO检测网络模型，所述特征金字塔网络模型为FPN模型，所述区域特征聚集模型为ROIAlign模型。


6.根据权利要求4所述的方法，其特征在于，所述人体姿态估计网络模型包括：第一卷积层、反卷积层及双线性插值层；所述溺水类别识别网络模型为第一卷积神经网络模型，所述第一卷积神经网络模型包括第一卷积层、最大池化层、1×1卷积层及分类层；
所述将所述融合特征图输入所述人体姿态估计网络模型，得到所述单帧图像中各人体目标的关键点位置信息，包括：
将所述融合特征图输入所述第一卷积层，得到第一卷积层输出特征图；
将所述第一卷积层输出特征图输入所述反卷积层，通过反卷积操作，对所述第一卷积层输出特征图进行第一预设倍数的上采样，得到上采样特征图；
将所述上采样特征图输入所述双线性插值层，通过双线性插值运算，对所述上采样特征图进行第二预设倍数的上采样，得到关键点热图；
根据所述关键点热图的通道数及所述关键点热图中的特征值，确定所述单帧图像中各人体目标的关键点数量及关键点位置信息，其中，所述关键点数量与所述通道数相同，各通道的关键点热图中的最大特征值的位置信息为关键点位置信息。


7.根据权利要求3所述的方法，其特征在于，所述预设行为识别网络模型为第二卷积神经网络模型，所述第二卷积神经网络模型包括第二卷积层、最大池化层、1×1卷积层及分类层。


8.根据权利要求3所述的方法，其特征在于，所述针对各人体目标，根据该人体目标的溺水类别置信度和/或溺水行为置信度，识别该人体目标是否存在溺水行为，包括：
针对各人体目标，若该人体目标的溺水类别置信度大于第一预设阈值，则确定该人体目标存在溺水行为；
或者，
针对各人体目标，若该人体目标的溺水行为置信度大于第二预设阈值，则确定该人体目标存在溺水行为；
或者，
针对各人体目标，若该人体目标的溺水类别置信度与溺水行为置信度的均值大于第三预设阈值，则确定该人体目标存在溺水行为。


9.一种监控相机，其特征在于，所述监控相机包括摄像头、处理器及机器可读存储介质；
所述摄像头，用于采集监控水域内的多帧图像，并将所述多帧图像发送至所述处理器；
所述机器可读存储介质，用于存储能够被所述处理器执行的机器可执行指令；
所述处理器，用于被所述机器可执行指令促使实现如下步骤：
将所述多帧图像中的单帧图像输入预设深度神经网络模型，得到所述单帧图像中各人体目标的溺水置信度，其中，所述预设深度神经网络模型为预先根据人体目标溺水时从水域上方采集到的包含人体目标的关键点位置信息的样本图像训练得到的深度神...

【专利技术属性】
技术研发人员：罗祥，谭文明，王轩瀚，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33