一种水上水下计算机视觉综合溺水判断系统技术方案

本发明专利技术公开了一种水上水下计算机视觉综合溺水判断系统，所述判断系统包括分布在泳池周围用于拍摄泳池水上图像的多个水上摄像机、分布在泳池内用于拍摄泳池水下图像的多个水下摄像机，以及采用视觉算法对泳池水下图像和泳池水下图像进行综合处理以识别溺水目标的溺水判别装置；所述溺水判别装置包括预处理单元、位置计算单元、图像分割单元、序列化单元、异常筛选单元、图像再处理单元和溺水识别单元。本发明专利技术能够结合游泳者的动作序列和移动轨迹筛选出所有的游泳异常状态，再综合水波纹特征和动作特征，实现更高精度的溺水判断，有效减轻工作人员的监察负担。减轻工作人员的监察负担。减轻工作人员的监察负担。

【技术实现步骤摘要】
一种水上水下计算机视觉综合溺水判断系统


[0001]本专利技术涉及计算机视觉
，具体而言涉及一种水上水下计算机视觉综合溺水判断系统。

技术介绍

[0002]随着信息化、网络化的快速发展，视频监控系统逐渐应用在泳池领域，辅助工作人员对泳池内的游泳者的安全进行实时监控。专利号为CN112489371A的专利技术中公开了一种基于计算机视觉的泳池防溺水预警系统，采用在游泳池周围放置摄像头，通过计算机视觉分析人的位置和关节点判断是否溺水。但是游泳池在水面静止状态下水下清晰度较好，摄像头可以拍摄到水下和水上的画面，但当有人开始游泳，水面存在较多波浪时，只依靠水上的摄像头将无法提供完整清晰的人体图像提供溺水检测。
[0003]因此，有部分技术人员提出了同时在水上和水下安装摄像头。例如，专利号为CN102693606A的专利技术中公开了一种基于摄像网络的泳池防溺水预警方法及系统，在泳池水面上方安装固定水上摄像头，在泳池水面下安装可旋转的水下摄像头，多角度对泳池进行预警覆盖。专利号为CN110210323A的专利技术中公开了一种基于机器视觉的溺水行为在线识别方法，基于轻量级加速OpenPose，离线训练适用于提取水中人体关键点的模型；离线训练分类器：提取的人体关键点后，再训练基于神经网络的二分类器，用于判断人员是否溺水。专利号为CN113158962A的专利技术中公开了一种基于YOLOv4的泳池溺水检测方法，通过对YOLOv4检测模型加入泳池判定线进一步约束检测目标类别，提高检测精度。也有部分专利考虑到游泳动作的连续性，提出了对视频图像序列进行处理的策略，例如专利号为CN111547209A的专利技术中公开了一种防溺水安全保障方法、装置和系统，所述方法包括：实时采集人体生命参数数据、现场视频图像序列；实时处理生命参数数据和现场视频图像序列；判断人体是否处于溺水紧急情况。
[0004]然而，目前的技术方案都是集中在对人体关节点或者关节点序列进行处理，通过判断人体是否超出某警戒线或者人体动作序列是否明显对应溺水动作，比如持续一段时间的异常动作等等，识别得到溺水信息。对于前者，在人体没有超出警戒线时很难识别到溺水动作，甚至会出现漏判；对于后者，异常动作未必是由溺水带来，只是针对人体动作进行判断，很容易造成误判。这都导致目前的溺水判断方法只能起到简单的辅助作用，难以普及。因此，目前需要提出一种新的溺水判断系统，能够实现更高精度的溺水判断。

技术实现思路

[0005]本专利技术针对现有技术中的不足，提供一种水上水下计算机视觉综合溺水判断系统，首先结合游泳者的动作序列和移动轨迹筛选出所有的游泳异常状态，再综合水波纹特征和动作特征，实现更高精度的溺水判断，有效减轻工作人员的监察负担。
[0006]为实现上述目的，本专利技术采用以下技术方案：
[0007]一种水上水下计算机视觉综合溺水判断系统，所述判断系统包括分布在泳池周围
用于拍摄泳池水上图像的多个水上摄像机、分布在泳池内用于拍摄泳池水下图像的多个水下摄像机，以及采用视觉算法对泳池水下图像和泳池水下图像进行综合处理以识别溺水目标的溺水判别装置；
[0008]所述溺水判别装置包括预处理单元、位置计算单元、图像分割单元、序列化单元、异常筛选单元、图像再处理单元和溺水识别单元；
[0009]所述预处理单元用于对一段时间内拍摄的泳池水上图像U(T)和泳池水下图像D(T)进行增强处理，并通过目标检测算法输出每个游泳者的目标人员边界框；所述位置计算单元用于结合各个水上摄像机和水下摄像机的位置信息，计算得到泳池水上图像和泳池水下图像中每个目标人员边界框的中心位置坐标(x
i
(t)，y
i
(t)，z
i
(t))，x
i
(t)，y
i
(t)，z
i
(t)分别是直角坐标系下第i个游泳者在x轴、y轴和z轴上的坐标值；所述图像分割单元用于按照人员对泳池水上图像U(T)和泳池水下图像D(T)进行分割，得到每个游泳者的人员水上图像U
i
(T)和人员水下图像D
i
(T)；其中，游泳者集合Θ＝{1，2，...，i，...，I}，I是游泳者数量，i是游泳者编号；
[0010]所述序列化单元接收分割后的图像，将每个游泳者对应的人员水上图像和人员水下图像按照拍摄时间顺序排列，并构成对应关系，生成待处理图像序列{(U
i
(t1)，D
i
(t1))，(U
i
(t2)，D
i
(t2))，...，(U
i
(t
k
)，D
i
(t
k
))，...，(U
i
(t
K
)，D
i
(t
K
))}，k＝1，2，...，K，K是图像序列数量；
[0011]所述异常筛选单元包括关节点检测模块、动作序列生成模块、轨迹生成模块和异常识别模块；所述关节点检测模块用于对导入的每个游泳者的水上序列图像和水下序列图像进行处理，获取得到每个游泳者的人头和身体各关节点的序列信息{X
i
(t
k
)}；所述动作序列生成模块用于根据获取到的每个游泳者的人头和身体各关节点的序列信息{X
i
(t
k
)}生成相应的动作序列{A
i
(t
k
)}；所述轨迹生成模块用于根据每个游泳者的位置坐标序列，生成相应的运动轨迹{G
i
(t
k
)}；所述异常识别模块用于结合每个游泳者的动作序列和运动轨迹，筛选出异常人员集合Y，Y∈I；
[0012]所述图像再处理单元用于对异常人员j所在区域的泳池水上图像集合{U
j
(t
k
)}进行处理，提取以异常人员j为中心的水波纹图像序列集合{W
j
(t
k
)}；
[0013]所述溺水识别单元同时对异常人员j的人头和身体各关节点的序列信息{X
i
(t
k
)}以及波纹图像序列集合{W
j
(t
k
)}进行特征提取，得到异常人员j的动作特征值序列φ
j
(T)和由异常人员j的动作造成的异常水波纹特征值序列ξ
j
(T)，融合动作特征值序列φ
j
(T)和异常水波纹特征值序列ξ
j
(T)，根据融合结果对溺水动作进行识别。
[0014]为优化上述技术方案，采取的具体措施还包括：
[0015]进一步地，所述图像分割单元包括水上坐标获取模块、水下坐标获取模块、坐标匹配模块和分割模块；
[0016]所述水上坐标获取模块调用位置计算单元对泳池水上图像进行处理，计算得到泳池水上图像中每个游泳者的水上位置坐标(x
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水上水下计算机视觉综合溺水判断系统，其特征在于，所述判断系统包括分布在泳池周围用于拍摄泳池水上图像的多个水上摄像机、分布在泳池内用于拍摄泳池水下图像的多个水下摄像机，以及采用视觉算法对泳池水下图像和泳池水下图像进行综合处理以识别溺水目标的溺水判别装置；所述溺水判别装置包括预处理单元、位置计算单元、图像分割单元、序列化单元、异常筛选单元、图像再处理单元和溺水识别单元；所述预处理单元用于对一段时间内拍摄的泳池水上图像U(T)和泳池水下图像D(T)进行增强处理，并通过目标检测算法输出每个游泳者的目标人员边界框；所述位置计算单元用于结合各个水上摄像机和水下摄像机的位置信息，计算得到泳池水上图像和泳池水下图像中每个目标人员边界框的中心位置坐标(x
i
(t)，y
i
(t)，z
i
(t))，x
i
(t)，y
i
(t)，z
i
(t)分别是直角坐标系下第i个游泳者在x轴、y轴和z轴上的坐标值；所述图像分割单元用于按照人员对泳池水上图像U(T)和泳池水下图像D(T)进行分割，得到每个游泳者的人员水上图像U
i
(T)和人员水下图像D
i
(T)；其中，游泳者集合Θ＝{1，2，...，i，...，I}，I是游泳者数量，i是游泳者编号；所述序列化单元接收分割后的图像，将每个游泳者对应的人员水上图像和人员水下图像按照拍摄时间顺序排列，并构成对应关系，生成待处理图像序列{(U
i
(t1)，D
i
(t1))，(U
i
(t2)，D
i
(t2))，...，(U
i
(t
k
)，D
i
(t
k
))，...，(U
i
(t
K
)，D
i
(t
K
))}，k＝1，2，...，K，K是图像序列数量；所述异常筛选单元包括关节点检测模块、动作序列生成模块、轨迹生成模块和异常识别模块；所述关节点检测模块用于对导入的每个游泳者的水上序列图像和水下序列图像进行处理，获取得到每个游泳者的人头和身体各关节点的序列信息{X
i
(t
k
)}；所述动作序列生成模块用于根据获取到的每个游泳者的人头和身体各关节点的序列信息{X
i
(t
k
)}生成相应的动作序列{A
i
(t
k
)}；所述轨迹生成模块用于根据每个游泳者的位置坐标序列，生成相应的运动轨迹{G
i
(t
k
)}；所述异常识别模块用于结合每个游泳者的动作序列和运动轨迹，筛选出异常人员集合Y，Y∈I；所述图像再处理单元用于对异常人员j所在区域的泳池水上图像集合{U
j
(t
k
)}进行处理，提取以异常人员j为中心的水波纹图像序列集合{W
j
(t
k
)}；所述溺水识别单元同时对异常人员j的人头和身体各关节点的序列信息{X
i
(t
k
)}以及波纹图像序列集合{W
j
(t
k
)}进行特征提取，得到异常人员j的动作特征值序列φ
j
(T)和由异常人员j的动作造成的异常水波纹特征值序列ξ
j
(T)，融合动作特征值序列φ
j
(T)和异常水波纹特征值序列ξ
j
(T)，根据融合结果对溺水动作进行识别。2.根据权利要求1所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述图像分割单元包括水上坐标获取模块、水下坐标获取模块、坐标匹配模块和分割模块；所述水上坐标获取模块调用位置计算单元对泳池水上图像进行处理，计算得到泳池水上图像中每个游泳者的水上位置坐标(x
αu
(t)，y
αu
(t))；所述水下坐标获取模块调用位置计算单元对泳池水下图像进行处理，计算得到泳池水下图像中每个游泳者的水下位置坐标(x
βu
(t)，y
βu
(t)，z
βu
(t))；所述坐标匹配模块将重合度小于预设重合度阈值的水上位置坐标(x
αu
(t)，y
αu
(t))和水下位置坐标(x
βu
(t)，y
βu
(t))视为同一个坐标位置，得到该位置的游泳者的坐标信息(x
iu
(t)，y
iu
(t)，z
iu
(t))；其中，(x
iu
(t)，y
iu
(t))＝f1[(x
αu
(t)，y
αu
(t))，(x
βu
(t)，y
βu
(t))]，z
iu
(t)＝z
βu
(t)；所述分割模块根据游泳者的坐标信息对泳池水上图像和泳池水下图像进行分割，得到每个人员的人员水上图像U
i
(T)和人员水下图像D
i
(T)。3.根据权利要求2所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述预设重合度阈值为0.5m。4.根据权利要求1所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述溺水判别装置还包括推送单元和警报单元；所述推送单元将识别到的溺水动作对应的人员坐标信息标注在相应的泳池水上图像U(t
K
)和泳池水下图像D(t
K
)上，将标注后的泳池水上图像U

【专利技术属性】
技术研发人员：唐秋艳，孙刚，任宇，唐子人，孙华飞，刘晓然，
申请(专利权)人：首都体育学院，
类型：发明
国别省市：