一种智能无人机载视频监控方法技术

本发明专利技术提供了一种智能无人机载视频监控方法。区别于传统视频监控只能把摄像机固定在特定位置，本发明专利技术基于视频智能分析技术，将无人机的机动性与摄像机结合起来，设计一种机动灵活的视频监控方案。在正常情况下，无人机搭载摄像机停留在固定位置进行视频监控，一旦摄像机覆盖区域发生异常而摄像机无法处于最佳拍摄视角，或者其他非覆盖区域发生异常，利用本发明专利技术方法可以智能地规划无人机路径，根据视频分析结果将监控摄像头自动带到感兴趣的区域，持续监控，灵活快捷便利。

An Intelligent Video Monitoring Method for UAV

The invention provides an intelligent video surveillance method for UAV. Unlike traditional video surveillance, which can only fix the camera at a specific location, the present invention is based on video intelligent analysis technology, combines the maneuverability of UAV with the camera, and designs a flexible video surveillance scheme. Under normal circumstances, the UAV camera stays at a fixed position for video surveillance. Once the coverage area of the camera is abnormal and the camera can not be in the best shooting perspective or other non-coverage area is abnormal, the UAV path can be intelligently planned by the method of the present invention, and the surveillance camera can be automatically brought to the interested area according to the video analysis results. Continuous monitoring, flexible, fast and convenient.

【技术实现步骤摘要】
一种智能无人机载视频监控方法
本专利技术属计算机视觉、机器人
，具体涉及一种智能无人机载视频监控方法。
技术介绍
随着数字信息时代的到来，数字化高新技术产品日益增加和完善。各行业为了提高和完善生产、管理水平和增加竞争性，都争先采用完善的高新技术产品，视频监控系统就是信息时代的产物之一。视频监控系统是管理人员高质量管理的理想工具，也是公共安全、防盗防范必不可少的强有力的得力助手，利用它可以大大减少不必要的人力，实时监视可视区域，做到控制现场实际工作现状，实时快速的反映所发生的一切事物，便于管理者及时应付处理突发事件等。目前现有的视频监控，虽然能够智能处理摄像头信息，但是摄像头固定，场景固定，很不灵活。一旦遇到新情况、场景的变化、感兴趣的区域移动，就不得不对监控系统进行位置的调整。而且设备限制，功能比较单一。同时，随着监控数量的爆发式增长，视频的数据量也越来越大，使得人工处理这些数据变得非常不便。随着科学技术的飞速发展，无人机飞行技术有了巨大的提升。无人机以其优良的性能在各种领域中获得了广泛的应用，尤其是在民用领域，无人机承担了许多特殊环境下的作业工作，国家社会也投入了巨大的财力致力于无人机的相关研究。但是，目前的无人机监控，准确说是无人机摄像系统，基本原理是飞手操作无人机，装在无人机上的图传系统将图片返回，飞手根据摄像头返回的区域来手动控制，飞向热点区域。目前的研究局限于图传系统以及算法处理摄像头抖动，并没有自动的控制过程。即无人机和摄像头只是局限在航拍、追踪，大部分要靠人力分析图像，这样很难处理大批量数据，而且时间缓慢，人为操作会错过热点区域。专利技术内容为了克服现有技术的不足，本专利技术提供一种智能无人机载视频监控方法。不同于传统视频监控只能把摄像机固定在特定位置的做法，本专利技术基于视频智能分析技术，将无人机的机动性与摄像机结合起来，设计一种机动灵活的视频监控方案。在正常情况下，无人机搭载摄像机停留在固定位置进行视频监控，一旦摄像机覆盖区域发生异常而摄像机无法处于最佳拍摄视角，或者其他非覆盖区域发生异常，无人机可以自主飞行到目标区域进行最佳视角视频采集，实现动态监控分析。本专利技术方法分为异常行为分析和自主寻路两部分。一种智能无人机载视频监控方法，其特征在于步骤如下：步骤1：对整个场景图像进行网格化划分，根据Lucas-Kanade光流算法计算得到每一帧图像相对于前一帧的光流。步骤2：利用蔡瑞初等人2015年的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报,2015,26(11):2884-2896”中的方法计算每个网格的多尺度光流直方图。步骤3：将所有网格的多尺度光流直方图沿着通道方向合并，然后输入到多尺度时间递归神经网络，利用多尺度时间递归神经网络输出层定位异常发生的位置；所述的多尺度时间递归神经网络及网络参数均记载在蔡瑞初等人2015年的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报,2015,26(11):2884-2896”中；步骤4：利用无人机上图像分析模块得到的人群热点区域，利用双目相机测得人群热点区域到无人机当前位置的距离，利用三角函数计算得出热点区域位置相对于当前位置坐标。步骤5：利用ORB特征对齐方法对图像进行特征对齐，并使用梯度下降法优化目标函数得到最终的位置转移矩阵T，其中，下标k代表图像帧数序列，u′i表示位置坐标，σI表示图像的像素值变化量。步骤6：采用三角化方法对步骤1中的所有帧图像相对于参考帧进行深度估计，得到每一帧的深度值；所述的参考帧为每隔五帧选取一帧，即为参考帧；步骤7：将所有深度值进行贝叶斯滤波，得到滤波之后的深度，然后利用步骤6得到的位置转移矩阵T和滤波之后的深度，将每帧点云图在3D空间中进行拼接，得到点云地图；步骤8：对步骤7得到的点云地图进行栅格处理，得到立方体栅格地图，再对立方体栅格地图在垂直空间上进行切割，得到分层的地图，对每一幅分层的地图计算已经被占据的格子和没有被占据的格子比例，并选取比例最大的层，将该层作为传统平面栅格地图，得到平面化的栅格地图；所述的栅格处理具体为：栅格处理当点云落在某个栅格内，该栅格被认为已经被占据，设为1；当栅格内没有点云时，被认为是空，设为0。步骤9：以无人机当前位置为起点，以步骤4计算的坐标为终点，利用邹亮等人2007年的工作“A*算法改进及其在动态最短路径问题中的应用[J].深圳大学学报理工版2007,24(1):32-35”中的A*算法对步骤9得到的平面化的栅格地图进行路径规划，得到无人机行进路径，无人机前往观察最佳地点。本专利技术的有益效果是：可以智能地规划无人机路径，根据视频分析结果将监控摄像头自动带到感兴趣的区域，持续监控，灵活快捷便利。具体实施方式下面结合实施例对本专利技术进一步说明，本专利技术包括但不仅限于下述实施例。本专利技术提供了一种智能无人机载视频监控方法，具体过程如下：1、对整个场景图像进行网格化划分，根据Lucas-Kanade光流算法计算得到每一帧图像相对于前一帧的光流。2、由蔡瑞初，谢伟浩，郝志峰，王丽娟，温雯.等人的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报2015,26(11):2884-2896”方法计算每个网格的多尺度光流直方图(MHOF)。3、将所有网格的多尺度光流直方图(MHOF)沿着通道方向合并，作为多尺度时间递归神经网络的输入，其中网络的参数由蔡瑞初，谢伟浩，郝志峰，王丽娟，温雯.等人的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报2015,26(11):2884-2896”确定。最后利用多尺度时间递归神经网络输出层定位异常发生的位置。4、利用无人机上图像分析模块得到的人群热点区域，利用双目相机测得人群热点区域到目前无人机的距离，利用三角函数计算得出目标(热点区域)位置相对于当前位置坐标。5、利用ORB特征对齐方法对图像进行特征对齐(即对应两幅图像的ORB特征点)，得到特征对齐后的图像，并使用传统的梯度下降法优化得到最终的位置转移矩阵T，其中下标k代表步骤1中帧数序列，u′i表示位置坐标，σI表示图片像素值变化量。6、采用三角化方法对步骤1中的所有帧图像相对于参考帧(每隔五阵选取一帧参考帧)进行深度估计，得到每一帧的深度值(每一帧点云)；7、将所有深度值进行贝叶斯滤波，得到滤波之后的深度。利用得步骤6得到的位置转移矩阵Tk,k-1以及滤波之后的深度，将每帧点云图3D空间上拼接，得到点云地图；8、对步骤7得到的点云地图进行栅格处理，得到立方体栅格地图。即：当点云落在某个栅格内，该栅格被认为已经被占据，设为1。当栅格内没有点云时，被认为是空，设为0。对立方体栅格地图在垂直空间上进行切割，得到分层的地图，对每一幅分层的地图计算已经被占据的格子和没有被占据的格子比例，并选取比例最大的层，将该层作为传统平面栅格地图，得到平面化的栅格地图；9、利用邹亮等人2007年的工作“A*算法改进及其在动态最短路径问题中的应用[J].深圳大学学报理工版2007,24(1):32-35”中的A*算法对步骤9得到的平面化的栅格地图，以目前位置为起点，步骤4计算的坐标为终点进行路径规划，得到无人机行进路径，前往观察最佳地点。以人群行为分析为例，在需本文档来自技高网...

【技术保护点】
1.一种智能无人机载视频监控方法，其特征在于步骤如下：步骤1：对整个场景图像进行网格化划分，根据Lucas‑Kanade光流算法计算得到每一帧图像相对于前一帧的光流；步骤2：利用蔡瑞初等人2015年的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报,2015,26(11):2884‑2896”中的方法计算每个网格的多尺度光流直方图；步骤3：将所有网格的多尺度光流直方图沿着通道方向合并，然后输入到多尺度时间递归神经网络，利用多尺度时间递归神经网络输出层定位异常发生的位置；所述的多尺度时间递归神经网络及网络参数均记载在蔡瑞初等人2015年的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报,2015,26(11):2884‑2896”中；步骤4：利用无人机上图像分析模块得到的人群热点区域，利用双目相机测得人群热点区域到无人机当前位置的距离，利用三角函数计算得出热点区域位置相对于当前位置坐标；步骤5：利用ORB特征对齐方法对图像进行特征对齐，并使用梯度下降法优化目标函数

【技术特征摘要】
1.一种智能无人机载视频监控方法，其特征在于步骤如下：步骤1：对整个场景图像进行网格化划分，根据Lucas-Kanade光流算法计算得到每一帧图像相对于前一帧的光流；步骤2：利用蔡瑞初等人2015年的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报,2015,26(11):2884-2896”中的方法计算每个网格的多尺度光流直方图；步骤3：将所有网格的多尺度光流直方图沿着通道方向合并，然后输入到多尺度时间递归神经网络，利用多尺度时间递归神经网络输出层定位异常发生的位置；所述的多尺度时间递归神经网络及网络参数均记载在蔡瑞初等人2015年的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报,2015,26(11):2884-2896”中；步骤4：利用无人机上图像分析模块得到的人群热点区域，利用双目相机测得人群热点区域到无人机当前位置的距离，利用三角函数计算得出热点区域位置相对于当前位置坐标；步骤5：利用ORB特征对齐方法对图像进行特征对齐，并使用梯度下降法优化目标函数得到最终的位置转移矩阵T，其中，下标k代表图像帧数序列，u′i表示位置坐标，σ...

【专利技术属性】
技术研发人员：王琦，李学龙，郭元戎，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61