一种基于视觉的河道目标检测方法及系统技术方案

一种基于视觉的河道目标检测方法，属于计算机视觉领域，所述方法包括：获取河道视频图像数据并进行图像预处理；河道目标检测；人体目标追踪：通过

【技术实现步骤摘要】
一种基于视觉的河道目标检测方法及系统


[0001]本专利技术涉及计算机视觉
，特别是指一种基于视觉的河道目标检测方法及系统
。

技术介绍

[0002]河道目视巡查长期以来依赖大量人力，效率低下
。
现有通过边境线上部署多路长焦摄像头进行监控存在以下问题：工作人员需要全天候观看监控画面，工作强度大
、
容易疲劳，不利于持续高效地监控工作；受到季节
、
树木遮挡等外界环境影响，图像质量较差，移动目标识别困难；对昆虫
、
飞鸟等无关目标易产生误报，提高了监控人员的额外工作量
。
[0003]现有监控系统主要依靠人工识别和判断，系统自动化智能化水平有限
。
[0004]针对上述问题，亟需开发智能的图像处理和目标检测算法，实现对监控视频的自动分析处理，但是算法面临以下挑战：需区分人和船只等不同类型目标，实现分类识别；需实时跟踪人体目标运动轨迹，不仅需要报警，还需要能及时定位人员的位置，便于后续处理；系统需高度自动化
、
智能化，不增加监控工作量
。

技术实现思路

[0005]本专利技术实施例提供了一种基于视觉的河道目标检测方法及系统
。
所述技术方案如下：一方面，提供了一种基于视觉的河道目标检测方法，该方法由电子设备实现，该方法包括：获取河道视频图像数据并进行图像预处理；河道目标检测：所述河道目标包括人体和船只；利用预处理后的视频图像，通过
SDD
>（
Single Shot MultiBox Detector
）河道目标检测模型进行河道目标检测，获取视频帧中的河道目标检测框；人体目标追踪：通过
OpenPose
（开放姿势估计）人体关键点模型提取检测框内的人体关键点；将关键点信息与检测框匹配，构建特征序列，再通过
DeepSORT
（深度相关性跟踪）人体目标模型实现跟踪框的优化，输出人体的跟踪框序列；基于跟踪框序列，利用
Person Re
‑
ID
（人员再识别）人体再识别模型实现对人体身份的持续跟踪和再识别；根据跟踪框序列，输出人体在视频中运动的完整轨迹；人体目标分级报警；船只目标报警：利用
SDD
提取出的船只语义信息直接报警
。
[0006]优选的是，所述人体目标分级报警包括：报警1检测到长时间停留在水面上漂浮的人体目标；报警2人体目标突然 消失但不在岸边区域；报警3人员移动轨迹呈现重度窒息的
WZ
形状
。
[0007]所述通过
SDD
河道目标检测模型中进行人体目标检测，通过选用
ResNet101
作为特征提取网络，并进行端到端训练的
SDD
目标检测模型，输出视频图像帧中的目标检测框
。
[0008]优选的是，所述通过
OpenPose
人体关键点模型提取检测框内的人体关键点，选用残差关系学习的
OpenPose
人体关键点模型，提取检测框内人体的关键点，包括头部和四肢
。
[0009]优选的是，所述通过
DeepSORT
人体目标模型实现跟踪框的优化中，将关键点信息与检测框进行匹配，构建人体运动的特征序列，再通过选用小型
CNN
网络的
DeepSORT
单人体目标模型，优化特征序列的跟踪框，输出精准的人体跟踪框序列
。
[0010]优选的是，所述利用
Person Re
‑
ID
人体再识别模型中，选用
IG
‑
ResNet50
网络（对
ResNet
‑
50
进行了改进，主要针对实例级别的任务，如目标检测
、
实例分割等）与
Triple loss
（三元损失）的
Person Re
‑
ID
人体再识别模型，实现对同一人体在不同时间段的重新识别和身份标识
。
[0011]另一方面，提供了一种基于视觉的河道目标检测系统，该系统应用于一种基于视觉的河道目标检测方法，该装置包括：检测模块
、
关键点提取模块
、
人体目标跟踪模块
、
人体再识别模块和报警模块
。
[0012]优选的是，还包括数据融合模块，所述数据融合模块用于将水下摄像头获取的视频图像数据与河岸摄像头获取的视频图像数据进行融合，以提高系统的检测准确率
。
[0013]优选的是，所述关键点提取模块采用注意力机制，可以对人体图像中的关节点位置进行自适应调整，以提高模型对不同姿态人体的适应性
。
[0014]优选的是，所述人体目标跟踪模块设有线索管理器，可以评估各跟踪线索的可靠性，更准确地选择人体运动的主跟踪目标
。
[0015]优选的是，所述人体再识别模块采用基于关节缩放的三维姿态规范化方法，提高模型对不同视角人体图像的再识别能力
。
[0016]优选的是，所述报警模块分为人体报警子模块和船只报警子模块
。
[0017]优选的是，所述人体报警子模块可根据下述情景进行分级报警：优选的是，所述船只报警子模块在检测到河道船只即进行报警
。
[0018]另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于视觉的河道目标检测方法
。
[0019]本专利技术实施例提供的技术方案带来的有益效果至少包括：本专利技术利用
SDD
河道目标检测模型和人体关键点模型，准确地检测和识别河道中的人体和船只目标，通过
DeepSORT
人体目标模型和
Person Re
‑
ID
人体再识别模型，实时跟踪人体目标的运动轨迹，并持续跟踪和再识别人体身份，跨镜提供人体运动轨迹，便于准确定位人员的位置，为后续处理提供便利
。
[0020]2、
结合上述运动轨迹对人体目标在河道内情况进行分级报警，包括长时间停留在水面上漂浮的人体目标
、
人体目标突然消失但不在岸边区域，以及人员移动轨迹呈现重度窒息的
WZ
形状等情况，根据这种分级预警可以帮助监测人体目标的异常行为或紧急情况，便于分级处理，与目视监控人员形成高效协同，有效降低监控工作强度，提高监控质量和效率
。
附图说明
[0021]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人体来讲，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于视觉的河道目标检测方法，其特征在于，所述方法包括：获取河道视频图像数据并进行图像预处理；河道目标检测：所述河道目标包括人体和船只；利用预处理后的视频图像，通过
SDD
河道目标检测模型进行河道目标检测，获取视频帧中的河道目标检测框；人体目标追踪：通过
OpenPose
人体关键点模型提取检测框内的人体关键点；将关键点信息与检测框匹配，构建特征序列，再通过
DeepSORT
人体目标模型实现跟踪框的优化，输出人体的跟踪框序列；基于跟踪框序列，利用
Person Re
‑
ID
人体再识别模型实现对人体身份的持续跟踪和再识别；根据跟踪框序列，输出人体在视频中运动的完整轨迹；人体目标分级报警；船只目标报警：利用
SDD
提取出的船只语义信息直接报警
。2.
根据权利要求1所述的方法，其特征在于，所述人体目标分级报警包括：报警1检测到长时间停留在水面上漂浮的人体目标；报警2人体目标突然 消失但不在岸边区域；报警3人员移动轨迹呈现重度窒息的
WZ
形状
。3.
根据权利要求1所述的方法，其特征在于，在所述通过
SDD
河道目标检测模型中进行人体目标检测中，通过选用
ResNet101
作为特征提取网络，并进行端到端训练的
SDD
目标检测模型，输出视频图像帧中的目标检测框
。4.
根据权利要求1所述的方法，其特征在于，所述通过
OpenPose
人体关键点模型提取检测框内的人体关键点，选用残差关系学的
OpenPose
人体关...

【专利技术属性】
技术研发人员：王云峰，刘冰，曲志刚，
申请(专利权)人：易启科技吉林省有限公司，
类型：发明
国别省市：