一种基于三维GIS的实时监控视频与三维场景融合方法技术

本发明专利技术公开了一种基于三维GIS的实时监控视频与三维场景融合方法，属于三维GIS技术领域，包括如下步骤：S1输入模型数据，使用超图iDesktop软件对人工建模模型检查纹理和三角面片数，并移除重复点，转换格式生成模型数据集，倾斜模型对原始OSGB格式的数据进行合并根节点和纹理压缩；S2将模型数据集和倾斜OSGB切片转换为S3M格式的三维切片缓存。本发明专利技术的实景融合方法在面向公共安防和智慧城市领域，避免了传统二维地图与监控视频的应用局限，解决了监控视频画面割裂的弊端，增强了视频监控的空间感知，在一定程度上提升了多路实时视频集成在三维场景中的展示性能，可以广泛应用于强视频、强GIS业务的公安和智慧城市领域。

【技术实现步骤摘要】
一种基于三维GIS的实时监控视频与三维场景融合方法
本专利技术涉及三维GIS
，具体涉及一种基于三维GIS的实时监控视频与三维场景融合方法。
技术介绍
随着监控视频的广泛应用与GIS技术的蓬勃发展，催生了基于视频的GIS技术，不同场景下的监控视频与地理空间数据融合是视频GIS的研究热点。现有研究成果根据关联方式的不同大致可分为两类:①时间关联模式,其特点是以时间戳为基准,通过时间索引实现视频数据与GPS定位信息的同步关联；②位置关联模式,其特点是以相机定位信息为基础进行视频关联。从目前的项目应用来看，视频数据与空间数据的融合大多停留在系统集成应用上，并没有建立视频和场景的自动化匹配投射的算法，仅在一定程度上实现了视频图像与三维场景的融合，而且多路实时视频在三维场景加载的性能上并没有进行深入研究，实际项目应用具有一定的局限性。为了管理大量的摄像机和视频数据，传统的方法根据摄像机的监控区域建立树结构，每个视频序列根据所有权被附加到相机，但摄像机的位置并不直观，摄像机之间的可达性也不清楚，不同摄像机采集的视频数据被隔离和分离，导致摄像机采集的信息碎片化。例如实际应用中，监控视频与三维场景融合大多通过提取关键视频帧并且以标注的形式在三维场景中展示，监控区域与监看目标的查看操作繁杂，无法发挥出三维场景的空间优势。因此需要进行基于三维GIS的实景融合展示的研究，将真实场景中实时的监控视频在三维场景中的相同位置以相同的视角进行投射，实现实时监控视频与三维场景的融合展示。以监控视频的实时性优势弥补三维场景的静态展示的不足，以三维场景的空间化优势改变孤立视频画面的弊端，从而达到对全局态势的实时掌握。而且继承了三维空间信息的三维视频监控系统将清晰表达摄像机之间的相对位置，使视频画面不会被割裂，在增强用户空间意识、辅助用户应急决策等方面发挥更大作用。
技术实现思路
本专利技术的为了解决实时监控视频与三维模型数据融合展示的问题，本专利技术提供一种基于三维GIS的实时监控视频与三维场景融合方法，采用服务化配置的方法进行场景和视频流的前端加载，以满足三维场景流畅化浏览和实时视频流低延迟传输。同时利用基于视觉特征的自动化匹配进行视频在三维场景中融合投射的视角参数，且针对智能球摄像机使用基于网络摄像机云台设备的PTZ(Pan/Tilt/Zoom)获取与解算方法实现了实时监控视频随摄像机旋转在三维场景中联动投射，从而达到实时监控视频与三维模型数据融合展示的目的。为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于三维GIS的实时监控视频与三维场景融合方法，包括如下步骤：S1输入模型数据，使用超图iDesktop软件对人工建模模型检查纹理和三角面片数，并移除重复点，转换格式生成模型数据集，倾斜模型对原始OSGB格式的数据进行合并根节点和纹理压缩；S2将模型数据集和倾斜OSGB切片转换为S3M格式的三维切片缓存，保存场景和工作空间，使用iServer发布三维服务，并将三维切片服务加载到三维场景；S3通过网线将网络摄像机设备接入局域网，配置IP和端口号，使用H5S服务进行实时视频流的传输；S4通过测绘的方法确定网络摄像机的空间位置，同时获取实时视频流，并对视频画面进行解帧，筛选最能够表达场景原貌，且人流较少的视频图像作为特征匹配的真实场景的图像；S5将网络摄像机的空间位置在三维场景中进行定位，使用三维场景虚拟相机获得此位置全视角的场景图像作为特征匹配的虚拟三维场景图像，同时记录每一视角图像所对应视角参数的值，包括水平方位角、倾斜角，建立视角参数与场景图像的一一对应关系；S6使用真实场景视频图像与虚拟三维场景图像进行特征匹配，通过单应性矩阵计算两幅匹配图像重叠部分的特征点对，使用特征点对之间的距离阈值进行重复点的筛选，获得有效特征点对数量作为特征匹配评价结果，从而确定最佳匹配视角并输出参数；S7使用服务化配置的场景和实时视频流，利用投射的视角参数，按照真实摄像头的点的空间位置，将视频投射在三维场景中，实现实时监控视频与三维模型的融合展示；S8利用可旋转的智能球摄像机的PTZ参数获取方法，分别获取球机在初始位置和旋转后位置的P值和T值，计算两次获取的P、T值变化量，使用此变化量与初始位置的投射视角参数进行计算获得新的视角参数，利用新的视角参数进行投射可获得旋转后的投射效果；S9根据获取到的Z值可获得摄像机当前的焦距，根据摄像机靶面的宽和高以及摄像机当前的焦距，计算当前视场角，以视场角的变化实时更新视频投射时的视场角，从而适应网络摄像机的焦距变化；S10通过配置监听，对摄像机旋转的PTZ的变化进行感知，同时进行新的视角和视场角的实时计算，再进行实时监控视频的投射，最终实现实时监控视频随摄像机旋转联动投射。1、通过服务化配置的方式加载三维模型数据和实时视频流数据，使用超图iServer的云GIS服务器进行三维服务发布和数据传递，使用H5Stream的技术进行低延迟的视频流传输和前端加载。2、输入模型数据(包括人工3dmax建模和OSGB格式倾斜模型)，使用超图iDesktop软件进行处理，对人工建模模型进行格式转换生成模型数据集，并存储在udb数据源中，进行检查纹理且分辨率一般不大于1024*1024，检查三角面片数并移除重复点，对OSGB格式的倾斜模型数据进行合并根节点和压缩纹理实现模型的优化；3、将模型数据集加载至球面三维场景中，生成S3M格式的三维切片缓存，对于倾斜模型在优化后直接转换成S3M格式的切片数据。将模型数据保存到一个球面场景中，同时生成工作空间，使用iServer发布三维服务，并通过三维服务的地址在三维场景中加载模型数据切片，提升三维场景浏览的流畅化程度；4、通过网线将网络摄像机设备接入局域网，再配置IP和端口号，利用H5S服务进行实时视频流的传输,使用配置的地址进行视频的访问，在Html5中使用video标签实现实时视频流在网页中播放。5、实现三维场景和实时视频流的接入后，以真实摄像头位置为三维场景虚拟相机的位置，使用此位置的场景截图和视频画面进行视觉特征匹配，通过匹配到的最佳结果的场景截图对应的虚拟相机的视角参数为实时视频流在三维场景中融合投射的视角参数。(1)首先需要确定所有网络摄像机的位置，通过测绘的方法定其空间坐标。然后对接入的实时视频流进行解帧，筛选最能够表达场景原貌，且人流较少的视频图像作为真实场景的图像用于特征匹配。(2)使用真实摄像机的坐标在三维场景中进行定位，使用三维场景虚拟相机在此位置进行全视角的场景截图，同时记录每一视角所对应视角参数的值，包括水平方位角、倾斜角，并建立截图图像与视角参数的一一对应关系，从而获取特征匹配计算的场景图像。(3)根据所获得的真实视频图像与三维场景的虚拟图像进行特征匹配，获得大量特征点，然后通过单应性矩阵计算两幅匹配图像重叠部分的特征点对，使用特征点对之间的距离阈值进行重复点的筛选，获得的有效特征点对数量作为特征匹配评价结果，从而确定最佳匹配视角本文档来自技高网...

【技术保护点】
1.一种基于三维GIS的实时监控视频与三维场景融合方法，其特征在于：包括如下步骤：/nS1输入模型数据，使用超图iDesktop软件对人工建模模型检查纹理和三角面片数，并移除重复点，转换格式生成模型数据集，倾斜模型对原始OSGB格式的数据进行合并根节点和纹理压缩；/nS2将模型数据集和倾斜OSGB切片转换为S3M格式的三维切片缓存，保存场景和工作空间，使用iServer发布三维服务，并将三维切片服务加载到三维场景；/nS3通过网线将网络摄像机设备接入局域网，配置IP和端口号，使用H5S服务进行实时视频流的传输；/nS4通过测绘的方法确定网络摄像机的空间位置，同时获取实时视频流，并对视频画面进行解帧，筛选最能够表达场景原貌，且人流较少的视频图像作为特征匹配的真实场景的图像；/nS5将网络摄像机的空间位置在三维场景中进行定位，使用三维场景虚拟相机获得此位置全视角的场景图像作为特征匹配的虚拟三维场景图像，同时记录每一视角图像所对应视角参数的值，包括水平方位角、倾斜角，建立视角参数与场景图像的一一对应关系；/nS6使用真实场景视频图像与虚拟三维场景图像进行特征匹配，通过单应性矩阵计算两幅匹配图像重叠部分的特征点对，使用特征点对之间的距离阈值进行重复点的筛选，获得有效特征点对数量作为特征匹配评价结果，从而确定最佳匹配视角并输出参数；/nS7使用服务化配置的场景和实时视频流，利用投射的视角参数，按照真实摄像头的点的空间位置，将视频投射在三维场景中，实现实时监控视频与三维模型的融合展示；/nS8利用可旋转的智能球摄像机的PTZ参数获取方法，分别获取球机在初始位置和旋转后位置的P值和T值，计算两次获取的P、T值变化量，使用此变化量与初始位置的投射视角参数进行计算获得新的视角参数，利用新的视角参数进行投射可获得旋转后的投射效果；/nS9根据获取到的Z值可获得摄像机当前的焦距，根据摄像机靶面的宽和高以及摄像机当前的焦距，计算当前视场角，以视场角的变化实时更新视频投射时的视场角，从而适应网络摄像机的焦距变化；/nS10通过配置监听，对摄像机旋转的PTZ的变化进行感知，同时进行新的视角和视场角的实时计算，再进行实时监控视频的投射，最终实现实时监控视频随摄像机旋转联动投射。/n...

【技术特征摘要】
1.一种基于三维GIS的实时监控视频与三维场景融合方法，其特征在于：包括如下步骤：
S1输入模型数据，使用超图iDesktop软件对人工建模模型检查纹理和三角面片数，并移除重复点，转换格式生成模型数据集，倾斜模型对原始OSGB格式的数据进行合并根节点和纹理压缩；
S2将模型数据集和倾斜OSGB切片转换为S3M格式的三维切片缓存，保存场景和工作空间，使用iServer发布三维服务，并将三维切片服务加载到三维场景；
S3通过网线将网络摄像机设备接入局域网，配置IP和端口号，使用H5S服务进行实时视频流的传输；
S4通过测绘的方法确定网络摄像机的空间位置，同时获取实时视频流，并对视频画面进行解帧，筛选最能够表达场景原貌，且人流较少的视频图像作为特征匹配的真实场景的图像；
S5将网络摄像机的空间位置在三维场景中进行定位，使用三维场景虚拟相机获得此位置全视角的场景图像作为特征匹配的虚拟三维场景图像，同时记录每一视角图像所对应视角参数的值，包括水平方位角、倾斜角，建立视角参数与场景图像的一一对应关系；
S6使用真实场景视频图像与虚拟三维场景图像进行特征匹配，通过单应性矩阵计算两幅匹配图像重叠部分的特征点对，使用特征点对之间的距离阈值进行重复点的筛选，获得有效特征点对数量作为特征匹配评价结果，从而确定最佳匹配视角并输出参数；
S7使用服务化配置的场景和实时视频流，利用投射的视角参数，按照真实摄像头的点的空间位置，将视频投射在三维场景中，实现实时监控视频与三维模型的融合展示；
S8利用可旋转的智能球摄像机的PTZ参数获取方法，分别获取球机在初始位置和旋转后位置的P值和T值，计算两次获取的P、T值变化量，使用...

【专利技术属性】
技术研发人员：沈健，韦曼琼，徐頔飞，殷海军，
申请(专利权)人：南京国图信息产业有限公司，
类型：发明
国别省市：江苏;32