一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法技术

本发明专利技术公开了一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法，通过在单目相机条件下，实现目标对象检测及地理空间坐标解算。包括如下步骤：S1基于三维虚拟地理场景构建实景融合画面，实现视频与三维场景融合展示。S2然后基于深度学习模型进行含视频的实景融合图像的目标检测，获取检测目标的像素值。S3最后基于三维虚拟地理场景的地理空间坐标解算方法实现像素坐标到地理空间坐标的转换。本发明专利技术使用单目相机进行目标监测与空间定位，对监控设备的要求较低，且使用单一传感器在数据处理和设备成本上有其独有的优势，可应用于塔基视频自然资源疑似违法迹象监测监管，并与规划红线三维叠加空间分析，从而快速发现疑似违法用地迹象，有效提高疑似违法迹象监测监管自动化效率。监管自动化效率。监管自动化效率。

【技术实现步骤摘要】
一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法


[0001]本专利技术涉及三维目标检测与空间定位
，具体涉及一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法。

技术介绍

[0002]智慧城市、感知国土、时空信息云平台等智能化地理空间应用快速建设，促进人工智能技术与地理应用深度结合，其中，三维目标检测与空间定位成为重要的方向。而传统三维目标检测的各种方法主要依赖于深度相机或多目视觉，对硬件条件要求高，难以推广到智慧城市、感知国土、时空信息云平台应用中。如何在单目相机条件下检测目标对象并计算出其地理空间坐标，其很大程度上约束了目标检测算法走向智能地理空间分析和应用。现有三维目标检测与空间定位均需依赖多目相机或雷达点云，已获得目标对象的深度信息，从而实现定位计算，该方式对硬件条件具有较高要求，难以适用于集成单目相机实现三维目标检测和空间定位应用，如：智慧城市系统中依托交管摄像头定位过境车辆位置。随着三维地理信息技术的发展，物理世界已逐步可以采用三维地理场景孪生表达，即得到了三维虚拟地理场景。在三维虚拟地理场景中，可以模拟真实物理世界的地形、地貌、建筑特征，并具有多LOD特征。三维虚拟地理场景是一种新的信息源，其为突破单目相机无法实现目标对象的空间定位难点问题，提供了新理念，其可近似克服视深信息无法计算的难题。通过三维虚拟地理场景中目标检测与空间定位方法，实现人工智能目标检测技术、三维地理信息技术、视频监控技术三者结合应用，突破单目相机无法实现目标对象的空间定位难点问题，可有效解决现有智慧城市、感知国土、时空信息云平台等智能化地理空间应用目标对象“定位难”问题，具有巨大的实用价值。

技术实现思路

[0003]1、解决的技术问题
[0004]本专利技术的为了解决三维虚拟地理场景中的目标检测与空间定位问题，本专利技术提供一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法，该方法首先通过三维虚拟地理场景和实时监控视频画面构建实景融合场景展示，获取实景融合的场景图像，然后基于深度学习模型进行实景融合图像的目标检测，获取检测目标的像素值，最后根据目标像素值利用三维虚拟地理场景的地理空间坐标解算方法实现像素坐标到地理空间坐标的转换。
[0005]2、技术方案
[0006]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0007]一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法，包括如下步骤：
[0008]1、基于三维虚拟地理场景构建实景融合，实现视频与三维场景融合展示。
[0009](1)室外场景建模，根据所需的DEM数据、影像数据和建筑物模型数据构建大范围的虚拟三维场景，室内模型构建，利用室内不动产测绘数据，建立起3dmax模型，同时基于激光扫描技术，构建室内激光点云模型，根据激光点云对室内模型的精度进行调整，构建高精度的室内三维虚拟场景。
[0010](2)在三维场景中的三维场景虚拟相机具有内方位元素和外方位元素，其中内方位元素通常是已知的，而外方位元素需要进行标定。通过视频画面与三维场景画面在视场角一致的情况下进行特征匹配，获得三维场景虚拟相机的外方位元素，同时根据三维虚拟相机在三维场景中的位置实现相机的标定。通过标定的虚拟相机外方位元素，初始化虚拟相机。
[0011](3)通过监控设备厂商提供的实时RTSP视频流，进行视频流解帧，获取不同时间段的视频帧图像。将图像按照三维虚拟场景当前的相机姿态进行投射，实现视频与三维场景融合，包括基于地形影像和基于三维模型场景的实景融合画面，最后通过场景出图，获取含目标物的视频与三维场景融合的图像作为目标检测模型的输入数据。
[0012]2、基于深度学习模型进行含视频的实景融合图像的目标检测，获取检测目标的像素值。
[0013](1)定义目标检测的样本，需要对研究对象及其分类进行明确阐述，对其识别规则进行分析和整理，形成对研究对象的统一认识。首先需要确定检测目标的类型，规定其为正样本数据，同时采集大量与检测目标相近或相反的图像，通过进行种类的划定，确定负样本数据。
[0014](2)训练样本数据预处理，解决数据格式不一致或不满足需求、数据噪声大、数据可信度差、数据质量低、数据命名混乱等问题。
[0015]①
数据标准化：输入到深度卷积神经网络中进行训练的样本数据常常是海量数据，可能存在由于采集时间不同、方式不同或者路径不同等带来的各种各样的问题，无疑就会对后续训练产生影响，因此在剔除错误数据的基础上，需要统一组织和管理数据，对批量的样本图像进行统一标准化处理，明确数据的属性信息。
[0016]②
数据降噪：数据最终是以标签的形式输入到网络中的，这些标签一般由大量的人工进行采集，除了错打的现象外，不可能进行逐个检查并进行校正，然而这些标签的质量对模型学习的效果至关重要，但也是必须要面对的噪音之一。
[0017]③
数据增强：为了防止由于数据规模有限导致的模型训练过程中样本不收敛或者训练生成的模型识别能力差等问题，可以采用深度学习领域常用的数据增强方法，在已有数据的基础上进行样本扩增，常用方法是对原图进行翻转变换、随机修剪、色彩抖动、平移变换、尺度变换等操作。
[0018]④
数据归一化：数据归一化就是将训练数据集中某一列数值特征的值缩放到0和1之间，其目的是让不同维度之间的特征在数值上有一定比较性，同时加快梯度下降求最优解的速度，大大提高分类的准确性。
[0019]⑤
标签采集：不同的深度学习模型在训练时输入网络的数据格式有所不同。YOLO模型训练时需要输入的数据是image(原始图像)和 annotation(图像标签)，分别对应图像格式和xml文件格式，且一一对应，通过人工采集标签的方式获得。
[0020](3)目标检测模型训练，使用Tensorflow深度学习开发框架，构建darkflow地理目
标识别与空间定位系统，其中地理目标识别阶段主要基于主流目标识别模型YOLO训练获得。
[0021]模型训练的过程中需要不断调整模型网络的参数，而参数的调整依据主要是模型训练过程输出的一些参数。在一个批次的训练结束之后，YOLO模型根据该批次的所有训练情况进行综合分析，获得这一批次后的综合训练结果。模型训练的过程需要大量的时间，为了尽快实现模型的收敛，同时防止训练过度，根据上述模型训练过程的输出参数，需要及时对网络中重要参数进行调整，重要参数及其调整策略归纳如下：
[0022]①
学习率(learning rate)：学习率结合梯度下降算法主要用于实现模型的快速收敛，训练发散的情况下可以适当降低学习率。
[0023]②
批量(batch)：每一次迭代送到网络的图片数量，叫做批量。该参数使网络以较少的迭代次数完成一轮预测。在固定最大迭代次数的前提下，batch值增大会延长训练时间，但能够更好地寻找到模型梯度下降的方向。增大batch虽然有利于提高内存利用率，但也因此会出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法，其特征在于，包括如下步骤：S1基于三维虚拟地理场景构建实景融合，实现视频与三维场景融合展示。(1)通过4D产品或三维建模方法构建三维虚拟地理场景，场景数据主要包括影像数据、DEM数据、模型数据以及其他景观数据等。其中建筑物模型数据一般为3DMAX模型数据或倾斜摄影测量数据，室内3DMAX模型可以根据激光点云数据进行精度校正。(2)通过监控设备的地理空间坐标和虚拟相机视角参数，主要包括水平视角、数值视角、水平视场角和竖直视场角等，设置虚拟相机在三维虚拟地理场景中的姿态，初始化虚拟相机。(3)通过监控设备获取实时RTSP视频流数据，对视频流数据进行解帧，获取单帧视频画面，将单面摄像头拍摄到单帧图像在三维虚拟地理场景进行投射，构建实景融合画面。S2基于深度学习模型进行含视频的实景融合图像的目标检测，获取检测目标的像素值。(1)定义目标检测的样本，确定用于目标检测训练的正负样本，并进行训练样本数据预处理，包括数据标准化、数据降噪、数据增强和数据归一化，最后进行样本的标签采集。(2)模型训练的过程需要大量的时间，为了尽快实现模型的收敛，同时防止训练过度，根据上述模型训练过程的输出参数，需要及时对网络中重要参数进行调整，重要参数及其调整策略主要包括学习率、批量、细分、学习策略和随机参数等。(3)输入实景融合场景的图像，使用训练好的模型进行目标检测，使用不同颜色的矩形框对检测到的...

【专利技术属性】
技术研发人员：沈健，殷海军，吕孝晨，
申请(专利权)人：南京国图信息产业有限公司，
类型：发明
国别省市：