一种利用先验知识的大场景内运动目标检测方法技术

本发明专利技术涉及一种利用先验知识的大场景内运动目标检测方法，依据运动目标的定位信息和先验的目标外形信息，确定运动目标在真实场景下的立体检测区域，将大场景图像中的检测区域缩放到规定的图像尺寸，形成符合检测尺寸要求的检测图像块，在检测图像块中进行相应的目标检测，获得检测目标框，将检测图像块中的目标检测框还原或映射到大场景图像中，以此作为大场景图像中相应运动目标的检测目标框。本发明专利技术能够提高检测速度，提高准确性，并适应于不能忽略运动目标高度的场合。

A method of moving object detection in large scene based on prior knowledge

【技术实现步骤摘要】
一种利用先验知识的大场景内运动目标检测方法
本专利技术涉及一种结合定位信息的大场景内运动目标检测识别方法，属计算机视觉

技术介绍
近年来，在诸如大型广场安防、机场场面活动引导与控制、港口生产作业区运行状态监控、工业园区管控等大型场景管控中,增强现实(AugmentedReality,AR)技术得到了越来越多的应用。比如，在机场飞行区的航空器、车辆、人员管控中，为了便于管理人员理解和指挥，往往需要对这些运动目标进行增强显示，即在视频画面中运动目标的对应位置显示目标的相关信息，如飞机航班号、车辆类型、作业人员个人信息等。为了保证信息增强显示的准确性，需要对运动目标进行高精度的定位。目前，实现信息增强显示的通常的方法是利用通过GPS、北斗等卫星定位系统获得运动目标的空间坐标，把空间坐标映射到视频画面上的像素点坐标。但是由于GPS、北斗等系统获取的数据一般都有较大误差，再加上数据获取频率低(如每秒发送一次)，并且与视频之间不同步，导致通过坐标映射得到的像素点坐标和运动目标的实际坐标之间有较大的差异，不但影响使用体验，而且会出现较多的错误显示。针对上述问题，一种可能的技术架构是采用先在视频画面中检测出运动目标,之后再与GPS等定位数据融合的方法。在大场景视频中，为了保证目标检测达到可实用的准确度，要求运动目标具有一定的像素分辨率，也就是要求整个大场景画面具有超高的分辨率，比如为了在机场飞行区画面中检测到远处的车辆，整个飞行区画面的像素数会达到一个或多个4K超高清(分辨率为3840×2160)。目前目标检测性能最好的是基于深度学习的检测方法。基于区域的卷积神经网络(RegionBasedConvolutionalNeuralNetwork，RCNN)成功连接目标检测与深度卷积网络，将目标检测的准确率提升到一个新的层次。RCNN由3个独立的步骤组成:产生候选窗口、特征提取、SVM分类及窗口回归。由于RCNN分为3个独立的过程，所以检测效率很低，无法用在大场景视频中。为了提高目标检测的实时性，一种可能的技术架构是单阶段的目标检测算法，这种方法的特点是端到端(endtoend)，从输入图像到检测结果一步到位，中间的过程全部由神经网络学习得到。典型的方法是YOLO(YouOnlyLookOnce)与SSD(SingleShotMultiboxDetector)。这类方法用轻量级的网络实现输入端到输出端的直接相连，极大提高了图像检测的速度。当输入图像的尺寸是416×416时，处理速度可达50FPS(FramePerSecond),能够实现实时检测，但对于大场景视频,分辨率通常可达一个或多个4K，其像素点数是上述图像尺寸的数十倍甚至数百倍，采用上述方法远远达不到实时。大场景中运动目标检测的另一个困难是，根据运动目标距离摄像机的位置不同，运动目标在画面上的尺度大小差异极大。如在近处时可能占有半个画面，而在远处是可能只有几个像素。这会导致深度学习算法中模型训练难度增加和最终检测精度的下降。基于上述原因，申请人又提出了一种新的技术架构，结合经纬度定位信息进行大场景内的运动目标检测，事先建立大场景图像中的坐标点和对应的经纬度坐标之间的对应关系，检测时根据目标的类型及其带有误差的经纬度数据(可从GPS、北斗系统等获得)，对运动目标所在区域进行预测，将该区域映射到大场景视频的画面内，得到画面内包含运动目标的图像块，将图像块缩放成事先设定的大小，送入目标检测处理模块进行目标检测，得到目标在该图像块中的坐标位置，将目标的坐标位置还原为大场景图像上的坐标位置，完成该目标的检测。采用这种技术路线能够针对每一个带有经纬度定位信息的运动目标进行，能够得到大场景图像中所有运动目标的精确位置，不仅大大提高了处理速度，而且提高了检测准确率，由此解决了单纯卫星定位数据-图像映射固有的无法获得目标大小范围、以及因卫星定位数据误差导致的映射位置偏离等问题。然而，要实现上述方法，还需要考虑实践中可能遇到的障碍，对相关技术进行改进。现有依据经纬度信息的图像标定，默认待检测的运动目标存在于一个平面(如地平面)内，基于这种假设，运动目标的高度被忽略，这种假设在一定的情形下是适宜的，例如，如果摄像机设置在高处(如机场的空管塔台)，即使是具有一定高度的运动目标，摄像机对待检测目标依然能够形成较大的俯视角，忽略目标的高度对检测结果没有实质性影响，但在另外一些情形下，例如，如果摄像机的安装位置不够高，接近平视，特别是待检测目标距离摄像机距离较近时，忽略目标高度将会造成较大的误差，对检测结果产生实质性影响。
技术实现思路
本专利技术的目的是弥补现有技术的上述不足，提供一种利用先验知识的大场景内运动目标检测方法，以提高检测速度，提高准确性，并适应于不能忽略运动目标高度的场合。本专利技术的技术方案是：一种利用先验知识的大场景内运动目标检测方法，依据运动目标的定位信息和先验的目标外形信息，确定运动目标在真实场景(真实世界)下的立体检测区域，所述真实场景下的立体检测区域采用长方体形，将真实场景下的立体检测区域的8个顶点的世界坐标系坐标映射到大场景图像的图像坐标系中，即转换为大场景图像的图像坐标系坐标，由此形成这8个顶点在大场景图像上的8个映射点，在大场景图像中取包含这8个映射点、且长和宽分别平行于图像长和宽的矩形图像区域作为在大场景图像中的检测区域，将大场景图像中的检测区域缩放到规定的图像尺寸，形成符合检测尺寸要求的检测图像块，在检测图像块中进行相应的目标检测，获得检测目标，在检测图像块中设定包含目标所在区域的矩形外接框作为目标检测框，将检测图像块中的目标检测框还原或映射到大场景图像中，以此作为大场景图像中相应运动目标的目标跟踪框。通常应在收到运动目标的定位信息时启动对相应运动目标的检测。所述大场景图像通常为包含整个检测范围的场景图像，可以由单一的场景摄像机拍摄获得，或者由多个摄像机拍摄的图像拼接而成。所述立体检测区域优选包含依据目标定位信息误差和目标外形推算的运动目标可能存在的全部区域。所述大场景图像中的检测区域的各边分别平行于图像坐标系的各坐标轴，以方便运算和显示。通常可以在启动目标检测前确定世界坐标系坐标与图像坐标系坐标的映射关系，依据世界坐标系坐标与图像坐标系坐标的映射关系将真实场景下的立体检测区域的8个顶点的世界坐标系坐标映射到大场景图像的图像坐标系中。所述定位信息源自定位系统(而不是摄像机拍摄的视频图像)，例如GPS,北斗卫星系统等，所包含的运动目标位置信息通常为运动目标的经纬度坐标(卫星定位系统)，将运动目标的经纬度坐标折算为世界坐标系下的地面坐标，以此作为所述真实场景下的立体检测区域的底面中心在世界坐标系下的坐标。可以对各种类型的运动目标预设外形尺寸。所述真实场景下的立体检测区域在世界坐标系下的任意坐标轴方向上的跨度应不小于运动目标在该方向上的预设外形尺寸加上定位信息在该坐标轴方向上的正负距离误差。本专利技术的有益效果是：由于依据运动目标的定位信息以及运动目标外形等因素，仅在运本文档来自技高网...

【技术保护点】
1.一种利用先验知识的大场景内运动目标检测方法，依据运动目标的定位信息和先验的目标外形信息，确定运动目标在真实场景下的立体检测区域，所述真实场景下的立体检测区域采用长方体形，将真实场景下的立体检测区域的8个顶点的世界坐标系坐标映射到大场景图像的图像坐标系中，即转换为大场景图像的图像坐标系坐标，由此形成这8个顶点在大场景图像上的8个映射点，在大场景图像中取包含这8个映射点、且长和宽分别平行于图像长和宽的矩形图像区域作为在大场景图像中的检测区域，将大场景图像中的检测区域缩放到规定的图像尺寸，形成符合检测尺寸要求的检测图像块，在检测图像块中进行相应的目标检测，获得检测目标框，将检测图像块中的目标检测框还原或映射到大场景图像中，以此作为大场景图像中相应运动目标的检测目标框。/n

【技术特征摘要】
1.一种利用先验知识的大场景内运动目标检测方法，依据运动目标的定位信息和先验的目标外形信息，确定运动目标在真实场景下的立体检测区域，所述真实场景下的立体检测区域采用长方体形，将真实场景下的立体检测区域的8个顶点的世界坐标系坐标映射到大场景图像的图像坐标系中，即转换为大场景图像的图像坐标系坐标，由此形成这8个顶点在大场景图像上的8个映射点，在大场景图像中取包含这8个映射点、且长和宽分别平行于图像长和宽的矩形图像区域作为在大场景图像中的检测区域，将大场景图像中的检测区域缩放到规定的图像尺寸，形成符合检测尺寸要求的检测图像块，在检测图像块中进行相应的目标检测，获得检测目标框，将检测图像块中的目标检测框还原或映射到大场景图像中，以此作为大场景图像中相应运动目标的检测目标框。


2.如权利要求1所述的方法，其特征在于所述大场景图像为包含整个检测范围的场景图像，由单一的场景摄像机拍摄获得，或者由多个摄像机拍摄的图像拼接而成。


3.如权利要求1所述的方法，其特征在于所述立体检测区域包含依据目标定位信息误差和目标外形推算的运动目标可能存在的全部区域。


4.如权...

【专利技术属性】
技术研发人员：郑文涛，林姝含，梁振山，
申请(专利权)人：北京天睿空间科技股份有限公司，
类型：发明
国别省市：北京;11