三维地理场景模型中监控视频目标浓缩表达方法及系统技术方案

本发明专利技术实施例公开了一种三维地理场景模型中监控视频目标浓缩表达方法及系统，涉及可视化融合技术领域，本发明专利技术通过读取一段时长的监控视频，获取同名点对的图像坐标和地理坐标，建立视频图像与三维地理空间的映射关系；接着通过对视频目标检测处理，获取图像中视频目标子图与图像空间位置；再对视频目标进行播放时间重排序；最后根据映射关系，将重排序后的视频目标子图动态映射于地理场景模型中，实现视频目标浓缩表达。本发明专利技术建立了视频目标与地理场景的映射关系，压缩视频目标的表达时长，提升三维环境下视频运动目标的表达效率，增强了监控视频在地理场景中融合表达的效果，为视频地理场景信息一体化的快速检索与高效理解提供极大的便利。

Concentrated Representation Method and System of Monitoring Video Targets in 3D Geographic Scene Model

【技术实现步骤摘要】
三维地理场景模型中监控视频目标浓缩表达方法及系统
本专利技术实施例涉及可视化融合
，具体涉及一种三维地理场景模型中监控视频目标浓缩表达方法及系统。
技术介绍
监控视频被广泛应用于安防、交通、环境监测等多个领域。近十年来，我国每年新增的摄像头数量高达数百万个，并且逐年快速增长。在视频数据大幅增长的同时，对其中视频目标进行有效处理分析的压力也越来越大。监控视频中的视频目标具有数据量大、稀疏分布两方面的特性，导致人工检索分析十分困难。为了从海量视频数据中提取出视频目标集中播放以辅助检索分析，需要进行视频浓缩处理。视频浓缩通过对视频目标的检测跟踪，提取运动目标的轨迹与图像信息，再对运动目标的出现时间与空间轨迹进行调整，重新播放于原始视频图像中。现有的视频浓缩方法仅能将视频目标浓缩展现于图像中，并不能将视频目标与视频拍摄的地理场景信息有效融合表达。由于地理信息具有空间性、时序性、多维性等优势，将监控视频与地理信息进行融合分析，一方面可在三维地理空间中挖掘视频隐含的时空信息，降低视频处理难度；另一方面，视频相机所关联的地理信息如视频位置、相机视域、三维地理空间方向等对于视频内容的有效、完整描述起重要作用。因此若能将视频目标浓缩结果映射于三维地理场景模型中，实现视频浓缩与地理信息的有效融合，不仅能使准确获取的视频目标作为传统三维地理空间数据的有益补充，还能辅助监控系统的用户更全面、高效地理解监控视频内容。基于上述分析，亟需一种新的三维地理场景模型中监控视频目标浓缩表达方法及系统的技术方案。
技术实现思路
为此，本专利技术实施例提供一种三维地理场景模型中监控视频目标浓缩表达方法及系统，以解决由于监控视频拍摄时间长、视频目标数量大以及现有视频浓缩方法不能实现视频目标与三维地理空间信息融合表达而导致用户不能全面、高效地理解监控视频内容的问题。为了实现上述目的，本专利技术实施例提供如下技术方案：根据本专利技术实施例的第一方面，一种三维地理场景模型中监控视频目标浓缩表达方法，包括以下步骤：S1、获取一段监控视频的视频序列图像信息，并在视频序列图像和三维地理场景模型采集同名点对，获取同名点对的图像坐标和地理坐标；S2、基于同名点对坐标数据，建立所述监控视频的视频图像与三维地理空间的映射关系；S3、采用MaskRCNN目标检测与分割算法和CSRT跟踪算法，从所述监控视频的视频图像中获取视频目标的图像范围和子图，并获得所述视频目标在图像中的运动轨迹；S4、设置固定的时间显示间隔，对所有视频目标进行播放时间重排序；S5、基于所述监控视频的视频图像与三维地理空间的映射关系，实现视频目标轨迹的三维地理空间定位；S6、根据视频目标播放时间重排序的结果，基于相机位置、视线方向、视频目标轨迹，实现多个视频目标在虚拟地理场景模型中的浓缩表达。进一步地，步骤S1所述的视频序列图像为截取监控视频的第一帧图像；步骤S1所述三维地理场景模型是根据真实地理场景量测信息构建的三维场景模型，所述的视频序列图像和三维地理场景模型采集同名点对的数量不少于3对，且不能全部共线。进一步地，步骤S2所述的建立所述监控视频的视频图像与三维地理空间的映射关系，包括以下步骤：S21、记选取图像平面的某一点q坐标为q(x,y)，点q在三维地理空间所对应的点Q坐标为Q(X，Y，Z)，将q和Q写为齐次坐标形式：q＝[xy1]TQ＝[XYZ1]T；S22、将映射关系表达模型通过单应矩阵M、q与Q的关系的数学形式进行表达：q＝MQ；S23、把经过了放缩、平移、旋转三种变化的视频图像平面到三维地理空间对应的单映矩阵M进行分解，经简化矩阵M后的数学表达式为：其中s是放缩系数，fμ、fν分别是透镜的物理焦距长度与成像传感器每个单元横、纵轴方向尺寸的乘积，u、ν是相机中图像成像中心相对于主光轴的偏移量，[r1r2t]中的r1、r2表示坐标系之间的旋转关系，t表示坐标系之间的平移关系；S24、将已经获得的其它两对同名点图像坐标与三维地理空间坐标写成齐次坐标形式，把三对齐次坐标组带入所述映射关系表达模型中，求得所述单映矩阵M的解。进一步地，步骤S3所述视频目标包括视频图像中出现的行人、非机动车以及机动车三类对象，所述视频目标的子图定义为视频图像中每个实体对象的最小外接矩形边框区域。进一步地，步骤S3具体包括以下步骤：S31、根据所述监控视频的视频序列，逐帧截取视频并保存成图像格式；S32、将当前视频帧送入MaskRCNN算法的模型中，得到具有物体标识、位置信息以及矩形框选的分割目标子图后的图像；S33、保存分割后的目标子图，并记录其外接矩形信息(x,y,w,h,num)，其中x、y分别是矩形左上角的横、纵坐标，w、h分别是矩形的宽和高，num代表截取的子图在原视频中的帧序号；S34、对当前帧中MaskRCNN框选的目标子图进行提取；S35、对每一个目标子图在当前帧中遍历跟踪器，若跟踪器在当前帧框选的区域与MaskRCNN矩形框选的目标子图的重合度大于设定的阈值，则表示找到了跟踪对象，把该目标子图对应的分割后的图像及外接矩形信息加入到该跟踪器中；否则表示没有找到跟踪对象，为该目标子图创建新的跟踪器，并把该目标子图对应的分割后的图像及外接矩形信息加入到新创建的跟踪器；S36、设置时间阈值t，若某个目标子图的跟踪器在时间t内没有跟踪到该目标子图，则将该跟踪器中保存的视频目标的所有目标子图与视频目标在图像中的运动轨迹{(x,y,w,h,num)}写入磁盘，同时将该跟踪器销毁；重复步骤S32至S36，直至所述监控视频的最后一帧，获得的所有视频目标记为O0,O1,O2…On。进一步地，步骤S4所述的设置固定的时间显示间隔，具体包括以下步骤：S41、设定固定的视频帧间隔数t0，作为每个视频目标播放的时间间隔；S42、按照视频目标在原始视频中出现时间的先后次序，对所有视频目标O0,O1,O2…On进行播放时间重排序，分别以0,t0,2t0…,nt0作为每个视频目标在三维地理场景模型中播放的起始时间。进一步地，步骤S5中所述的实现视频目标轨迹的三维地理空间定位，具体包括以下步骤：S51、根据视频目标的目标子图外接矩形信息(x,y,w,h,num)，分别求出矩形的左上、左下和右上三点的坐标qLT(x,y)、qLL(x,y+h)和qRT(x+w,y)，并计算目标子图的矩形质心坐标qCentroid(xCentroid,yCentroid)，其中：xCentroid＝(x+w)/2yCentroid＝(y+h)/2；S52、根据步骤S2建立的视频图像与三维地理空间的映射关系，将所述目标子图外接矩形三个顶点坐标qLT、qLL、qRT和所述矩形质心坐标qCentroid映射到三维地理空间中，得到它们在三维空间中的坐标QLT(XLT,YLT,ZLT)、QLL(XLL,YLL,ZLL)、QRT(XRT,YRT,ZRT)和QCentroid(XCentroid,YCentroid,ZCentroid)；S53、把该视频目标的所有目标子图调整到宽、高分别为的固定大小，由此确定该视频目标所有子图在三维地理空间的坐标位置QCentroid(XCentroid,YCentroid,ZCentroid)、成像大小以及所在帧数num；S54本文档来自技高网...

【技术保护点】
1.一种三维地理场景模型中监控视频目标浓缩表达方法，其特征在于，包括以下步骤：S1、获取一段监控视频的视频序列图像信息，并在视频序列图像和三维地理场景模型采集同名点对，获取同名点对的图像坐标和地理坐标；S2、基于同名点对坐标数据，建立所述监控视频的视频图像与三维地理空间的映射关系；S3、采用Mask RCNN目标检测与分割算法和CSRT跟踪算法，从所述监控视频的视频图像中获取视频目标的图像范围和子图，并获得所述视频目标在图像中的运动轨迹；S4、设置固定的时间显示间隔，对所有视频目标进行播放时间重排序；S5、基于所述监控视频的视频图像与三维地理空间的映射关系，实现视频目标轨迹的三维地理空间定位；S6、根据视频目标播放时间重排序的结果，基于相机位置、视线方向、视频目标轨迹，实现多个视频目标在虚拟地理场景模型中的浓缩表达。

【技术特征摘要】
1.一种三维地理场景模型中监控视频目标浓缩表达方法，其特征在于，包括以下步骤：S1、获取一段监控视频的视频序列图像信息，并在视频序列图像和三维地理场景模型采集同名点对，获取同名点对的图像坐标和地理坐标；S2、基于同名点对坐标数据，建立所述监控视频的视频图像与三维地理空间的映射关系；S3、采用MaskRCNN目标检测与分割算法和CSRT跟踪算法，从所述监控视频的视频图像中获取视频目标的图像范围和子图，并获得所述视频目标在图像中的运动轨迹；S4、设置固定的时间显示间隔，对所有视频目标进行播放时间重排序；S5、基于所述监控视频的视频图像与三维地理空间的映射关系，实现视频目标轨迹的三维地理空间定位；S6、根据视频目标播放时间重排序的结果，基于相机位置、视线方向、视频目标轨迹，实现多个视频目标在虚拟地理场景模型中的浓缩表达。2.根据权利要求1所述的三维地理场景模型中监控视频目标浓缩表达方法，其特征在于，步骤S1所述的视频序列图像为截取监控视频的第一帧图像；步骤S1所述三维地理场景模型是根据真实地理场景量测信息构建的三维场景模型，所述的视频序列图像和三维地理场景模型采集同名点对的数量不少于3对，且不能全部共线。3.根据权利要求2所述的三维地理场景模型中监控视频目标浓缩表达方法，其特征在于，步骤S2所述的建立所述监控视频的视频图像与三维地理空间的映射关系，包括以下步骤：S21、记选取图像平面的某一点q坐标为q(x,y)，点q在三维地理空间所对应的点Q坐标为Q(X，Y，Z)，将q和Q写为齐次坐标形式：q＝[xy1]TQ＝[XYZ1]T；S22、将映射关系表达模型通过单应矩阵M、q与Q的关系的数学形式进行表达：q＝MQ；S23、把经过了放缩、平移、旋转三种变化的视频图像平面到三维地理空间对应的单映矩阵M进行分解，经简化矩阵M后的数学表达式为：其中s是放缩系数，fμ、fν分别是透镜的物理焦距长度与成像传感器每个单元横、纵轴方向尺寸的乘积，u、ν是相机中图像成像中心相对于主光轴的偏移量，[r1r2t]中的r1、r2表示坐标系之间的旋转关系，t表示坐标系之间的平移关系；S24、将已经获得的其它两对同名点图像坐标与三维地理空间坐标写成齐次坐标形式，把三对齐次坐标组带入所述映射关系表达模型中，求得所述单映矩阵M的解。4.根据权利要求3所述的三维地理场景模型中监控视频目标浓缩表达方法，其特征在于，步骤S3所述视频目标包括视频图像中出现的行人、非机动车以及机动车三类对象，所述视频目标的子图定义为视频图像中每个实体对象的最小外接矩形边框区域。5.根据权利要求3或4所述的三维地理场景模型中监控视频目标浓缩表达方法，其特征在于，步骤S3具体包括以下步骤：S31、根据所述监控视频的视频序列，逐帧截取视频并保存成图像格式；S32、将当前视频帧送入MaskRCNN算法的模型中，得到具有物体标识、位置信息以及矩形框选的分割目标子图后的图像；S33、保存分割后的目标子图，并记录其外接矩形信息(x,y,w,h,num)，其中x、y分别是矩形左上角的横、纵坐标，w、h分别是矩形的宽和高，num代表截取的子图在原视频中的帧序号；S34、对当前帧中MaskRCNN框选的目标子图进行提取；S35、对每一个目标子图在当前帧中遍历跟踪器，若跟踪器在当前帧框选的区域与MaskRCNN矩形框选的目标子图的重合度大于设定的阈值，则表示找到了跟踪对象，把该目标子图对应的分割后的图像及外接矩形信息加入到该跟踪器中；否则表示没有找到跟踪对象，为该目标子图创建新的跟踪器，并把该目标子图对应的分割后的图像及外接矩形信息加入到新创建的跟踪器；S36、设置时间阈值t，若某个目标子图的跟踪器在时间t内没有跟踪到该目标子图，则将该跟踪器中保存的视频目标的所有目标子图与视频目标在图像中的运动轨迹{(x,y,w,h,num)}写入磁盘，同时将该跟踪器销毁；重复步骤S32至S36，直至所述监控视频的最后一帧，获得的所有视频目标记为O0,O1,O2…On。6.根据权利要求5所...

【专利技术属性】
技术研发人员：解愉嘉，毛波，王飞跃，
申请(专利权)人：南京财经大学，
类型：发明
国别省市：江苏,32