一种结合定位信息的大场景内运动目标检测方法技术

本发明专利技术涉及一种结合定位信息的大场景内运动目标检测方法，事先建立大场景图像中的坐标点和准确的GPS的经纬度间的对应关系，检测时根据目标的类型及其带有误差的经纬度数据，对运动目标所在区域进行预测，将该区域映射到大场景视频的画面内，得到画面内包含运动目标的图像块，将图像块缩放成事先设定的大小，送入目标检测处理模块进行目标检测，得到目标在该图像块中的坐标位置。将该坐标位置还原为大场景图像上的坐标位置，完成该目标的检测。本发明专利技术针对每一个带有GPS信息的运动目标进行，能够得到大场景图像中所有运动目标的精确位置，不仅大大提高了处理速度，而且提高了检测准确率。本发明专利技术解决了单纯GPS数据‑图像映射固有的无法获得目标大小范围、以及因GPS数据误差导致的映射位置偏离等问题。

A method of moving object detection in large scene based on location information

【技术实现步骤摘要】
一种结合定位信息的大场景内运动目标检测方法
本专利技术涉及一种结合定位信息的大场景内运动目标检测方法。
技术介绍
近年来，在诸如大型广场安防、机场场面活动引导与控制、港口生产作业区运行状态监控、工业园区管控等大型场景管控中,增强现实(AugmentedReality,AR)技术得到了越来越多的应用。比如，在机场飞行区的航空器、车辆、人员管控中，为了便于管理人员理解和指挥，往往需要对这些运动目标进行增强显示，即在视频画面中运动目标的对应位置显示目标的相关信息，如飞机航班号、车辆类型、作业人员个人信息等。为了保证信息增强显示的准确性，需要对运动目标进行高精度的定位。目前，实现位置信息增强显示的通常的方法是利用通过GPS、北斗等系统获得运动目标的空间坐标，把空间坐标映射到视频画面上的像素点坐标。但是由于GPS、北斗等系统获取的数据一般都有较大误差，再加上数据获取频率低(如每秒发送一次)，并且与视频之间不同步，导致通过坐标映射得到的像素点坐标和运动目标的实际坐标之间有较大的差异，不但影响使用体验，而且会出现较多的错误显示。针对上述问题，人们开始探讨解决方案。例如，采用先在视频画面中检测出运动目标、之后再与GPS等定位数据融合的方法。在大场景视频中，为了保证目标检测达到可实用的准确度，要求运动目标具有一定的像素分辨率，也就是要求整个大场景画面具有超高的分辨率，比如为了在机场飞行区画面中检测到远处的车辆，整个飞行区画面的像素数会达到一个或多个4K超高清(分辨率为3840×2160)。目前目标检测性能最好的是基于深度学习的检测方法。基于区域的卷积神经网络(RegionBasedConvolutionalNeuralNetwork，RCNN)[1]成功连接目标检测与深度卷积网络，将目标检测的准确率提升到一个新的层次。RCNN由3个独立的步骤组成:产生候选窗口、特征提取、SVM分类及窗口回归。由于RCNN分为3个独立的过程，所以检测效率很低，因此无法用在大场景视频中。为了提高目标检测的实时性，有学者提出了单阶段的目标检测算法。这种方法的特点是端到端(end-to-end)，从输入图像到检测结果一步到位，中间的过程全部由神经网络学习得到。典型的方法是YOLO(YouOnlyLookOnce)[2]与SSD(SingleShotMultiboxDetector)[3]。这种方法用轻量级的网络实现输入端到输出端的直接相连，极大提高了图像检测的速度。当输入图像的尺寸是512×512时，处理速度可达30FPS(FramePerSecond)左右,实现了实时检测。但对于大场景视频,分辨率通常可达一个或多个4K，其像素点数是上述图像尺寸的数十倍甚至上百倍，远远达不到实时。大场景中运动目标检测的另一个困难是，根据运动目标距离摄像机的位置不同，运动目标在画面上的尺度大小差异极大。如在近处时可能占有半个画面，而在远处是可能只有几个像素。这会导致深度学习算法中模型训练难度增加和最终检测精度的下降。如上所述，现有技术下，单纯基于GPS等定位信息进行增强信息显示，误差较大，而各种基于运动检测与定位信息融合的方法，在大场景高分辨率画面中难以达到实时处理，并且由于尺度变化导致检测性能下降。因此，有必要做进一步的研发，提出更为有效、实用的解决方案。
技术实现思路
为克服现有技术的上述缺陷，本专利技术提供了一种结合定位信息的大场景内运动目标检测方法，以保障检测性能，提高实时性。本专利技术的技术方案是：一种结合定位信息的大场景内运动目标检测方法，包括：1)获取大场景图像；大场景图像可以由一体化全景摄像机拍摄生成，或由一组摄像头拍摄生成的具有重叠区域的局部场景图像拼接而成。2)对大场景图像进行经纬度标定，在场景内选择若干标志点，建立标志点的图像坐标与经纬度坐标之间的对应关系；对大场景图像进行经纬度标定的具体方式可以为：在大场景图像中选取若干易于分辨的标志点，例如，道路角点、道路标记角点、地面装饰物角点等，选取的标志点分布区域要尽可能覆盖整个场景且尽可能均匀分布，从大场景图像中获得各标志点的图像坐标，从显示经纬度数据的地图上的相应区域找到这些标志点，获取标志点的经纬度坐标，由此实现各标志点的图像坐标与经纬度坐标的对应；例如，选取n个标志点，对于图像坐标为(xi,yi)的第i个标志点(i＝1,2,3,...,n)，在显示经纬度数据的地图上找到该标志点，查出该标志点的经纬度坐标为(li,ti),则图像坐标(xi,yi)与经纬度坐标(li,ti)对应，为同一个标志点在相应坐标系下的坐标，可记为数组(xiyiliti)，对选定的所有标志点逐一进行上述操作，即建立起这些标志点图像坐标与经纬度坐标之间的对应关系，用作对任意点图像坐标与经纬度坐标转换的依据。3)对运动目标的经纬度定位信息，依据定位信息的误差范围和运动目标特征，确定进行相应目标检测的经度范围和纬度范围，将误差范围内的区域均包含在目标检测区域内且能够涵盖整个运动目标，由此形成经纬度坐标下的目标检测区域，该目标检测区域在经纬度坐标下是矩形区域；4)依据图像坐标与经纬度坐标之间的关联或对应关系，将经纬度坐标下的目标检测区域转换为大场景图像下的图像检测区域；具体方式为：将经纬度坐标下的矩形目标检测区域的四个顶点的经纬度坐标转换为图像坐标，在大场景图像中选定包含这四个图像坐标的像素点的最小矩形，以该最小矩形限定的图像区域为图像检测区域；将经纬度坐标转换为图像坐标的方式为：对于任意点的经纬度坐标(l,t),选取8个与该点距离最小的最邻近标志点，依据下列公式计算其图像坐标(x,y)：其中，其中，(xj,yj)和(li,ti)分别为第j个最邻近标志点图像坐标和经纬度坐标，j＝1,2,3,4,5,6,7,8。因此，对于任何确定的经纬度坐标，通过上述公式可计算出对应的图像坐标，实现相应点的经纬度坐标到图像坐标的转换。对经纬度坐标下的矩形目标检测区域的四个顶点的经纬度坐标进行上述转换，获得这四个顶点的图像坐标，即获得这四个顶点在大场景图像中的像素点位置。对需要转换坐标的任意一点，基于该点和各标志点的经纬度坐标，计算该点与各标志点之间的经纬度距离或经纬度距离平方(实践中常用距离平方，以简化计算)，依此确定与该点距离最小的8个标志点。5)依据设定的尺寸要求矩形对图像检测区域进行缩放，形成具有固定尺寸的检测用图像块；6)在检测用图像块进行运动目标检测，获得运动目标在检测用图像块内的位置；7)依据图像检测区域在大场景图像中的位置，将检测获得的运动目标在检测用图像块内的位置转换为在大场景图像中的位置，由此实现运动目标的检测和定位。根据需要，通常应针对每一个带有经纬度定位信息的运动目标进行检测。本专利技术事先建立大场景图像中的坐标点和准确的GPS的经纬度间的对应关系，检测时根据目标的类型及其带有误差的经纬度数据(运动目标的经纬度定位信息)，对运动目标所在区域进行预测，将该区域映射本文档来自技高网...

【技术保护点】
1.一种结合定位信息的大场景内运动目标检测方法，包括：/n1)获取大场景图像；/n2)对大场景图像进行经纬度标定，在场景内选择若干标志点，建立标志点的图像坐标与准确的经纬度坐标之间的对应关系；/n3)对运动目标的经纬度定位信息，依据定位信息的误差范围和运动目标特征，确定进行相应目标检测的经度范围和纬度范围，形成经纬度坐标下的目标检测区域；/n4)依据图像坐标与经纬度坐标之间的对应关系，将经纬度坐标下的目标检测区域映射到大场景图像中，形成大场景图像中的图像检测区域；/n5)依据设定的尺寸要求对图像检测区域进行缩放，形成具有固定尺寸的检测用图像块；/n6)在检测用图像块进行运动目标检测，获得运动目标在检测用图像块内的位置；/n7)依据图像检测区域在大场景图像中的位置，将检测获得的运动目标在检测用图像块内的位置转换为在大场景图像中的位置，由此实现运动目标的检测和定位。/n

【技术特征摘要】
1.一种结合定位信息的大场景内运动目标检测方法，包括：
1)获取大场景图像；
2)对大场景图像进行经纬度标定，在场景内选择若干标志点，建立标志点的图像坐标与准确的经纬度坐标之间的对应关系；
3)对运动目标的经纬度定位信息，依据定位信息的误差范围和运动目标特征，确定进行相应目标检测的经度范围和纬度范围，形成经纬度坐标下的目标检测区域；
4)依据图像坐标与经纬度坐标之间的对应关系，将经纬度坐标下的目标检测区域映射到大场景图像中，形成大场景图像中的图像检测区域；
5)依据设定的尺寸要求对图像检测区域进行缩放，形成具有固定尺寸的检测用图像块；
6)在检测用图像块进行运动目标检测，获得运动目标在检测用图像块内的位置；
7)依据图像检测区域在大场景图像中的位置，将检测获得的运动目标在检测用图像块内的位置转换为在大场景图像中的位置，由此实现运动目标的检测和定位。


2.如权利要求1所述的方法，其特征在于采用大场景视频采集设备采集所述的大场景图像，所述大场景视频采集设备为一体化全景摄像机或一组能够进行图像拼接的摄像头，所述大场景图像由一体化全景摄像机拍摄生成，或者由所述各摄像头拍摄生成的具有重叠区域的局部场景图像拼接而成。


3.如权利要求1或2所述的方法，其...

【专利技术属性】
技术研发人员：李申达，林姝含，郑文涛，
申请(专利权)人：北京天睿空间科技股份有限公司，
类型：发明
国别省市：北京;11