一种基于无人机的河湖监管方法及系统技术方案

本发明专利技术涉及一种基于无人机的河湖监管方法及系统，包括：将无人机拍摄到的多帧目标图像分别输入至训练好的水利目标识别模型中，得到检测框标记过的水利目标以及水利目标在目标图像中的位置信息；采用训练好的水利目标追踪网络模型得到检测框图像中的水利目标的状态；采用撞线计数法根据上述状态计算参考水利目标数量；采用空间定位模型得到参考水利目标的真实地理位置；在预设河道管理范围线内的参考水利目标判定为违法行为。本发明专利技术在水利目标识别模型识别到水利目标后，采用水利目标追踪网络模型进行追踪计数，可通过空间定位模型计算出水利目标的真实地理坐标信息，降低无人机在河湖监管上的局限性。在河湖监管上的局限性。在河湖监管上的局限性。

【技术实现步骤摘要】
一种基于无人机的河湖监管方法及系统


[0001]本专利技术涉及河湖监管
，特别是涉及一种基于无人机的河湖智能监管方法及系统。

技术介绍

[0002]河湖监管的一大痛点问题是河湖问题的快速发现，现有的方式大多依赖于人工巡检，人工巡检成本高、时效性和覆盖面差，一些严峻隐蔽的区域人员难以抵达，还会危及巡检人员安全。现有方法中采用固定摄像头视频监管，只能针对少量的、固定的重点区域，不能很好满足对河湖问题全局精确管理。无人机的实时性好、灵活机动、高分辨率、高性价比等优点是实现高效巡查管护的有力手段，能够为库区监管提供有力支撑。但当前无人机在河湖监管中库区管理中的应用深度和智能化不足，仅作为一种信息获取手段而存在，具有局限性。

技术实现思路

[0003]本专利技术的目的是提供一种基于无人机的河湖监管方法及系统，降低了无人机在河湖监管上的局限性。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种基于无人机的河湖监管方法，包括：
[0006]获取目标监管区域的多帧目标图像；所述目标图像由无人机上的相机拍摄得到；
[0007]将多帧所述目标图像分别输入至训练好的水利目标识别模型中，采用检测框对所述目标图像中的水利目标进行标记，并确定所述水利目标在所述目标图像中的位置信息；所述训练好的水利目标识别模型为以样本图像为输入，以采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息为输出，训练得到的模型；
[0008]对每一所述检测框内的图像进行截取，得到多张检测框图像；
[0009]将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态；所述状态包括静止、追踪中和停止追踪；所述训练好的水利目标追踪网络模型为以样本检测框图像为输入，以所述样本检测框图像中样本水利目标的状态为输出，训练得到的模型；
[0010]根据所有所述检测框图像中的所述水利目标的状态，采用撞线计数法计算参考水利目标的数量，并获取计数时所述参考水利目标在参考图像中的位置信息；所述参考水利目标即状态为追踪中的水利目标；所述参考图像即所述参考水利目标经过预设计数线时的目标图像；
[0011]将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的POS数据输入至空间定位模型中，得到所述参考水利目标的真实地理位置；所述POS数据包括当前时刻、无人机空间位置信息、无人机姿态信息、相机姿态信息；所述空间定位模型为以样本参考水利目标在样本参考图像中的位置信息以及所述样本参考图像对应的样本POS数据为输
入，以所述样本参考水利目标的真实地理位置为输出，训练得到的模型；
[0012]根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内，若是，则将所述参考水利目标判定为违法行为；若否，则将所述参考水利目标判定为不违法行为。
[0013]可选的，还包括：
[0014]将判定为违法行为的所述参考水利目标的真实地理位置进行显示。
[0015]可选的，在所述将多帧所述目标图像分别输入至训练好的水利目标识别模型中之前，还包括：对水利目标识别模型进行训练，训练过程如下：
[0016]获取数据集；所述数据集包括多帧包含样本水利目标的样本图像以及所述样本图像对应的标签；所述标签为采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息；
[0017]采用所述数据集对水利目标识别模型进行训练，得到所述训练好的水利目标识别模型。
[0018]可选的，所述将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态，具体包括：
[0019]将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中水利目标的预测位置信息；
[0020]根据所述预测位置信息与所述水利目标在下一帧目标图像中的真实位置信息计算交互比；
[0021]根据所述交互比与预设交互比确定所述检测框图像中的所述水利目标的状态。
[0022]可选的，所述根据所述交互比与预设交互比确定所述检测框图像中的所述水利目标的状态，具体包括：
[0023]若所述交互比大于所述预设交互比，则所述水利目标的状态为追踪中，否则，则所述水利目标的状态为停止追踪。
[0024]可选的，在所述将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的POS数据输入至空间定位模型中之前，还包括：
[0025]采用插值算法对POS数据插值，得到每一所述参考图像对应的POS数据。
[0026]可选的，所述根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内，具体包括：
[0027]采用射线法，根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内。
[0028]可选的，所述训练好的水利目标追踪网络模型为deepsort模型。
[0029]本专利技术还提供了一种基于无人机的河湖监管系统，包括：
[0030]目标图像获取模块，用于获取目标监管区域的多帧目标图像；所述目标图像由无人机上的相机拍摄得到；
[0031]水利目标识别模块，用于将多帧所述目标图像分别输入至训练好的水利目标识别模型中，采用检测框对所述目标图像中的水利目标进行标记，并确定所述水利目标在所述目标图像中的位置信息；所述训练好的水利目标识别模型为以样本图像为输入，以采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息为输
出，训练得到的模型；
[0032]检测框图像获取模块，用于对每一所述检测框内的图像进行截取，得到多张检测框图像；
[0033]水利目标追踪模块，用于将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态；所述状态包括静止、追踪中和停止追踪；所述训练好的水利目标追踪网络模型为以样本检测框图像为输入，以所述样本检测框图像中样本水利目标的状态为输出，训练得到的模型；
[0034]计数模块，用于根据所有所述检测框图像中的所述水利目标的状态，采用撞线计数法计算参考水利目标的数量，并获取计数时所述参考水利目标在参考图像中的位置信息；所述参考水利目标即状态为追踪中的水利目标；所述参考图像即所述参考水利目标经过预设计数线时的目标图像；
[0035]真实地理位置获取模块，用于将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的POS数据输入至空间定位模型中，得到所述参考水利目标的真实地理位置；所述POS数据包括当前时刻、无人机空间位置信息、无人机姿态信息、相机姿态信息；所述空间定位模型为以样本参考水利目标在样本参考图像中的位置信息以及所述样本参考图像对应的样本POS数据为输入，以所述样本参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机的河湖监管方法，其特征在于，包括：获取目标监管区域的多帧目标图像；所述目标图像由无人机上的相机拍摄得到；将多帧所述目标图像分别输入至训练好的水利目标识别模型中，采用检测框对所述目标图像中的水利目标进行标记，并确定所述水利目标在所述目标图像中的位置信息；所述训练好的水利目标识别模型为以样本图像为输入，以采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息为输出，训练得到的模型；对每一所述检测框内的图像进行截取，得到多张检测框图像；将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态；所述状态包括静止、追踪中和停止追踪；所述训练好的水利目标追踪网络模型为以样本检测框图像为输入，以所述样本检测框图像中样本水利目标的状态为输出，训练得到的模型；根据所有所述检测框图像中的所述水利目标的状态，采用撞线计数法计算参考水利目标的数量，并获取计数时所述参考水利目标在参考图像中的位置信息；所述参考水利目标即状态为追踪中的水利目标；所述参考图像即所述参考水利目标经过预设计数线时的目标图像；将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的POS数据输入至空间定位模型中，得到所述参考水利目标的真实地理位置；所述POS数据包括当前时刻、无人机空间位置信息、无人机姿态信息、相机姿态信息；所述空间定位模型为以样本参考水利目标在样本参考图像中的位置信息以及所述样本参考图像对应的样本POS数据为输入，以所述样本参考水利目标的真实地理位置为输出，训练得到的模型；根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内，若是，则将所述参考水利目标判定为违法行为；若否，则将所述参考水利目标判定为不违法行为。2.根据权利要求1所述的基于无人机的河湖监管方法，其特征在于，还包括：将判定为违法行为的所述参考水利目标的真实地理位置进行显示。3.根据权利要求1所述的基于无人机的河湖监管方法，其特征在于，在所述将多帧所述目标图像分别输入至训练好的水利目标识别模型中之前，还包括：对水利目标识别模型进行训练，训练过程如下：获取数据集；所述数据集包括多帧包含样本水利目标的样本图像以及所述样本图像对应的标签；所述标签为采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息；采用所述数据集对水利目标识别模型进行训练，得到所述训练好的水利目标识别模型。4.根据权利要求1所述的基于无人机的河湖监管方法，其特征在于，所述将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态，具体包括：将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中水利目标的预测位置信息；根据所述预测位置信息与所述水利目标在下一帧目标图像中的真实位置信息计算交
互比；根据所述交互比与预设交互比确定所述检测框图像中的所述水利目标的状态。5.根据权利要求4所述的基于无人机的河湖监管方法，其特征在于，所述根据所述交互比与预设交互比确定所述检测框图像中的所述水利目...

【专利技术属性】
技术研发人员：安新代，何刘鹏，姜成桢，胡洁，韦蔚，杨仁杰，荆芳，刘金明，
申请(专利权)人：黄河勘测规划设计研究院有限公司，
类型：发明
国别省市：