一种水域人船目标检测方法、系统、终端及介质技术方案

本发明专利技术公开了一种水域人船目标检测方法、系统、终端及介质，包括：对待检测视频图像中的水域进行语义分割，将无关背景区域滤除；采用背景建模的方法对上述滤除无关背景区后的视频图像进行动目标检测，检测出其中的动目标；利用目标运动轨迹的时间规则和目标尺寸的空间规则对检测出的所述动目标进行建模约束，从而判识；采用目标检测器对所述动目标进行目标检测，其中，所述目标检测器采用深度学习方法训练得到；将所述判识的结果和所述目标检测器检测的结果进行融合，得到最终检测结果。本发明专利技术针对现有水域人船检测中区域大、目标小、照度低等难点，增强人船目标检测的鲁棒性，有效降低误检和漏检的概率，获得识别精度上的提升。升。升。

【技术实现步骤摘要】
一种水域人船目标检测方法、系统、终端及介质


[0001]本专利技术涉及图像中目标检测领域，具体地说，涉及的是一种水域人船目标检测方法与系统，以及对应的终端、介质。

技术介绍

[0002]大数据时代的到来，推动着计算机技术的不断更新和发展，目标检测技术作为计算机视觉领域的研究热点在智能视频监控、智能交通等领域表现出了重要的应用价值。这项技术同时也为基于视频安防监控系统的非法捕捞、夜间偷鱼等事件的识别提供了解决思路。
[0003]水面人船目标检测识别任务作为目标检测任务的一个实际应用分支，有一个难点和一个特点：难点是区域大、目标小、照度低，导致人员和船的轮廓模糊、视觉特征不明显，容易发生误检或漏检。同时，这类目标数据样本也较少，导致深度模型训练不足、精度不够；该任务的一个特点是事件发生在水域上，具有背景相对干净的优点，但同时存在倒影，也会影响目标检测性能。Faster RCNN目标检测网络(Advances in neural information processing systems，2015)采用先生成候选框，再进行分类的两级网络机制，两次边框坐标回归使得该模型精度表现优秀，同时创新性地提出了基于先验框的深度网络方法实现候选框的生成，在速度层面上有很大的提升。YOLO检测算法(Proceedings of the IEEE conference on computer vision and pattern recognition，2016)将目标检测任务转换成了回归问题，将整张图作为输入，直接在每个划分出来的网格上预测目标类别和边框，显著提升了检测速度，达到了真正的实时检测水准。缺点就是网格划分提取目标窗口的方式取代候选区域机制，大幅减少了窗口的数量，检测的精度并不高。
[0004]这两种传统的目标检测模型虽然有着很强的通用性，可以被用于很多场景的检测任务，但是针对小尺度目标的检测任务上表现都不如意，难以有效检测出小尺度、模糊的目标。这一方面源于这类特殊目标本身，过小的尺度意味着小信息量，在特征的提取中容易丢失，同时小目标还容易和背景混淆，背景的干扰非常容易造成目标的误检；另一方面也源于模型本身的不足，这两种传统模型算法对低层的特征信息关注度都不高，而小目标对低层的细粒特征需求更大，从而需要提升低层细节特征在目标检测当中扮演的角色地位从而改善模型对小尺度模糊目标的检测能力。
[0005]经检索，申请号为201911118442.5的中国专利技术专利，其公开了一种基于图像识别的舰船检测方法，包括以下步骤：A、提取图像的高频、低频Gabor特征和H、S、V颜色特征，建立多类特征的多分辨率金字塔表示；B、将各类特征金字塔形式存在的多尺度分量图像经过一个模拟人眼感受野特性的“中央－周边”算子运算后，形成多尺度特征图；C、将各类特征的多尺度特征图经过跨尺度组合和归一化形成相应的颜色、亮度和方向的分量显著图；D、将3张不同特征的显著图线性融合为1张用来表征图像中各区域显著度的总显著图；E、采用直方图阈值分割方法，最后获得任务水域图像中舰船目标所在区域。该申请技术运用数字图像处理技术在任务水域图像中实时检测舰船位置，但是仍旧无法解决上述的技术问题。

技术实现思路

[0006]针对现有技术存在的上述不足，本专利技术的目的是提出一种水域人船目标检测方法与系统。
[0007]本专利技术的一方面，提供一种水域人船目标检测方法，包括：
[0008]对待检测视频图像中的水域进行语义分割，将无关背景区域滤除；
[0009]采用背景建模的方法对上述滤除无关背景区后的视频图像进行动目标检测，检测出其中的动目标，所述动目标包括人和/或船；
[0010]利用目标运动轨迹的时间规则和目标尺寸的空间规则对检测出的所述动目标进行建模约束，从而判识；
[0011]采用目标检测器对所述动目标进行目标检测，其中，所述目标检测器采用深度学习方法训练得到，所述深度学习融合深度网络多层级特征，最大化保留小目标的语义特征；
[0012]将所述判识的结果和所述目标检测器检测的结果进行融合，对检出的不符合要求的动目标进行滤除，得到最终检测结果。
[0013]可选地，所述对待检测视频图像中的水域进行语义分割，将无关背景区域滤除，包括：
[0014]基于深度学习模型网络架构，对平坦水域图像进行语义分割，将无关背景区域分割出来；
[0015]在对所述图像中的水域完成分割的基础上将所述无关背景区域滤除。
[0016]可选地，所述采用背景建模的方法对上述滤除无关背景区后的视频图像进行动目标检测，包括：
[0017]用基于像素样本统计信息的背景表示方法，根据所述视频图像中每个像素在时域上的概率统计信息构建各个像素的颜色分布模型，实现背景建模；
[0018]基于所述背景建模判断所述视频图像中的前景和背景，检测出所述动目标。
[0019]可选地，所述利用目标运动轨迹的时间规则和目标尺寸的空间规则对检测出的所述动目标进行建模约束，从而判识，包括：
[0020]根据所述动目标在相邻采样帧中的坐标，计算出所述动目标在相邻采样帧的偏移距离；根据同一检索目标在相邻采样帧偏移的距离是最短的法则，筛除误匹配情况；根据运动目标相邻帧最小运动转角原则，所述动目标在相邻采样帧表示的转角只发生微小的变化，转角差应保持在一设定范围内，满足约束的动目标作为时间规则判识的结果；
[0021]根据目标在空间上呈现的长宽比分布，以及随深度变化能估计的尺寸分布，针对所述动目标这一单一的检测目标进行长宽比及深度-尺寸关系建模，从空间层面上对所述动目标进行约束，得到空间规则判识后的结果。
[0022]可选地，所述采用目标检测器对所述动目标进行目标检测，包括：
[0023]使用特征金字塔网络，融合深度网络多层级特征，最大化保留小目标的语义特征；
[0024]通过设置更小更稠密的候选框模板，使用深度信息设置合理的候选框尺寸，提高候选框与待检测目标的匹配概率；
[0025]利用人船目标空间上下文信息，设计基于空间上下文的人船目标检测网络，利用周界场景提升小目标检测性能。
[0026]可选地，所述将所述判识的结果和所述目标检测器检测的结果进行融合，对检出
的不符合要求的动目标进行滤除，包括：
[0027]先得到所述目标运动轨迹的时间规则、目标尺寸的空间规则、人船目标检测三种方法的结果得分，再进行加权融合，总分低于经验阈值或者所述三种方法中任一种的得分低于该方法对应阈值的目标都将被滤除，最后留下来的目标作为最终检测结果。
[0028]可选地，在对待检测视频图像中的水域进行语义分割之前，还包括：对待检测视频图像进行预处理，以降低照度不均匀和/或使得输入图像尺寸合适、图像质量更高。
[0029]本专利技术的第二个方面，提供一种水域人船目标检测系统，包括：
[0030]语义分割模块，该模块对待检测视频图像中的水域进行语义分割，将无关背景区域滤除；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水域人船目标检测方法，其特征在于，包括：对待检测视频图像中的水域进行语义分割，将无关背景区域滤除；采用背景建模的方法对上述滤除无关背景区后的视频图像进行动目标检测，检测出其中的动目标，所述动目标包括人和/或船；利用目标运动轨迹的时间规则和目标尺寸的空间规则对检测出的所述动目标进行建模约束，从而判识；采用目标检测器对所述动目标进行目标检测，其中，所述目标检测器采用深度学习方法训练得到，所述深度学习融合深度网络多层级特征，最大化保留小目标的语义特征；将所述判识的结果和所述目标检测器检测的结果进行融合，对检出的不符合要求的动目标进行滤除，得到最终检测结果。2.根据权利要求1所述的水域人船目标检测方法，其特征在于，所述对待检测视频图像中的水域进行语义分割，将无关背景区域滤除，包括：基于深度学习模型网络架构，对平坦水域图像进行语义分割，将无关背景区域分割出来；在对所述图像中的水域完成分割的基础上将所述无关背景区域滤除。3.根据权利要求1所述的水域人船目标检测方法，其特征在于，所述采用背景建模的方法对上述滤除无关背景区后的视频图像进行动目标检测，包括：用基于像素样本统计信息的背景表示方法，根据所述视频图像中每个像素在时域上的概率统计信息构建各个像素的颜色分布模型，实现背景建模；基于所述背景建模判断所述视频图像中的前景和背景，检测出所述动目标。4.根据权利要求1所述的水域人船目标检测方法，其特征在于，所述利用目标运动轨迹的时间规则和目标尺寸的空间规则对检测出的所述动目标进行建模约束，从而判识，包括：根据所述动目标在相邻采样帧中的坐标，计算出所述动目标在相邻采样帧的偏移距离；根据同一检索目标在相邻采样帧偏移的距离是最短的法则，筛除误匹配情况；根据运动目标相邻帧最小运动转角原则，所述动目标在相邻采样帧表示的转角只发生微小的变化，转角差应保持在一设定范围内，满足约束的动目标作为时间规则判识的结果；根据目标在空间上呈现的长宽比分布，以及随深度变化能估计的尺寸分布，针对所述动目标这一单一的检测目标进行长宽比及深度-尺寸关系建模，从空间层面上对所述动目标进行约束，得到空间规则判识后的结果。5.根据权利要求1所述的水域人船目标检测方法，其特征在于，所述采用目标检测器对所述动目标进行目标检测，包括：...

【专利技术属性】
技术研发人员：张重阳，
申请(专利权)人：宁波海棠信息技术有限公司，
类型：发明
国别省市：