一种基于三维场景的视频态势感知与信息融合方法及电子设备技术

本发明专利技术涉及视频空间匹配、视频智能识别和态势空间融合技术领域，具体涉及一种基于三维场景的视频态势感知与信息融合方法及电子设备，包含监控场景动态三维建模、场景与目标摄机规划部署、视频时间同步/去抖/畸变矫正处理、场景摄机位姿解算与空间匹配、视频图像监测区域分割、视频态势识别解析、视频态势三维融合、多源态势信息三维融合和全景态势监控等步骤，实现监控视频影像与监控区域三维模型的精确匹配、智能视频态势识别解析成果与动态三维空间模型的融合展示，进而接入管理、监控和设备等系统的态势信息，实现全景融合态势监控和热点巡视、任务联动和报警联动模式的智能数据调度展示、设备联动控制，实现监控系统“全动态三维展示、全要素视频解析、全维度信息融合、全智能态势监控”的技术体系升级和应用模式创新。新。新。

【技术实现步骤摘要】
一种基于三维场景的视频态势感知与信息融合方法及电子设备


[0001]本专利技术涉及综合态势智能感知和视频三维定位
，具体涉及一种基于三维场景的视频态势感知与信息融合方法及电子设备。

技术介绍

[0002]视频监控作为空间态势感知的直接手段，其技术深化和应用提升是智慧监控规划建设的焦点之一。摄机作为视觉传感器，可获取监控三维物理空间局部区域的二维动态实景纹理影像，现有视频监控技术已完成全系列摄机产品、存储传输网络，智能化应用方向已完成基于纹理特征智能分析的视频结构化。因二维视频影像与三维空间尚未有系统、成熟的高精度空间匹配与应用技术，在城市、园区、场站、工厂等区域场景的空间态势感知与管控应用中，难以实现智能视频识别目标的精确空间定位、其他监控系统信息的精确空间融合和监控区域的全维态势监控，制约监控系统的技术体系升级和应用模式创新。

技术实现思路

[0003]针对现有技术的不足，本专利技术公开了一种基于三维场景的视频态势感知与信息融合方法及电子设备，用于实现监控视频影像与监控区域三维模型的精确匹配、智能视频态势识别解析成果与动态三维空间模型的融合展示，进而接入管理、监控和设备等系统的态势信息，实现全景融合态势监控和热点巡视、任务联动和报警联动模式的智能数据调度展示、设备联动控制，实现监控系统“全动态三维展示、全要素视频解析、全维度信息融合、全智能态势监控”的技术体系升级和应用模式创新。
[0004]本专利技术通过以下技术方案予以实现：
[0005]第一方面，本专利技术公开一种基于三维场景的视频态势感知与信息融合方法，包括以下步骤：
[0006]S1以多源态势信息的空间匹配和动态展示为目的，采集制作监控区域的动态三维空间模型；
[0007]S2以监控区域的视频态势识别解析为目的，规划部署场景摄机与目标摄机；
[0008]S3对摄机视频进行时间同步、去抖、畸变矫正处理；
[0009]S4对场景摄机进行位姿解算及空间匹配；
[0010]S5对场景摄机视频进行区域分割处理，单路摄机分割各类目标的监测区域，多路摄机分割同类目标的重叠监测区域；
[0011]S6对场景摄机视频进行态势识别解析，获取指定监测区域的指定监测目标及其位置、状态、跟踪轨迹、区域热度图和标签信息；
[0012]S7将视频态势识别解析信息与三维动态空间模型匹配融合；
[0013]S8将管理、监控和设备系统等多源态势信息，与动态三维空间模型及视频态势信息匹配融合；
[0014]S9配置热点巡视、任务联动和报警联动等模式的智能数据调度展示、设备联动控制。
[0015]更进一步的，所述S1中，所述的采集制作动态三维空间模型，是通过摄影测量、激光雷达扫描、现场拍照和建筑工程设计资料，采用多种空间数据加工技术，制作适用管控场景和业务需求的多种空间精度、视觉效果和制作成本的三维空间模型，包括空间、建筑、设施等的静态三维模型，人员、车辆、设备等的动态三维模型。为展示全域场景的空间态势，立柱、站房等有空间遮挡的建筑结构和设施设备等做透明处理；为展示监测目标的精细态势，人员动态模型包括站、坐、走、跑、跌倒等状态，设备动态模型包括开关、动作等状态，实现监控区域的全动态三维展示。
[0016]更进一步的，所述S2中，所述的规划部署场景摄机与目标摄机的原则为：一般地，场景摄机选用高清枪机或全景摄机，其有效监测区域应静态覆盖监控区域以识别解析获取全域的视频态势；目标摄机选用PTZ球机，其有效监视区域应动态覆盖监控区域以跟踪获取全域的监测目标精细影像。
[0017]更进一步的，所述S3中，所述的时间同步处理是对没有时间同步系统的同一区域多路视频进行时间同步修订，以保证该区域视频态势及联动控制的时间一致性，步骤为：
[0018]S3a：选取同一区域全部摄机有动态目标穿越相邻场景摄机重叠视域和场景摄机与目标摄机重叠视域的标定视频；
[0019]S3b：提取动态目标在摄机重叠视域同一位置的标定视频帧，记录各摄机ID及其视频帧时间戳，以延时最小的摄机视频的时间戳为参考时间计算各摄机时间同步补偿值；
[0020]S3c：重复S3a～S3b若干次，计算各摄机时间同步补偿值的平均值；
[0021]S3d：修订各摄机时间同步补偿后的视频时间戳，获取时间同步的视频帧。
[0022]所述的去抖处理是消除场景摄机振动、抖动造成的视域变化，保证后续摄机位姿解算和空间匹配的精度，步骤为：
[0023]S3e：选取场景视频基准帧，提取基准帧中的特征点集；
[0024]S3f：读取场景视频当前帧，使用光流法提取基准帧特征点集在当前帧中的对应特征点集；
[0025]S3g：通过基准帧和当前帧的特征点集，计算变换矩阵：
[0026][0027]计算抖动补偿参数，并生成去抖变换矩阵H
′
：
[0028]dx
′
＝b1+x
‑
x
cur
[0029]dy
′
＝b2+y
‑
y
cur
[0030][0031][0032]S3h：计算当前帧所有像素点去抖变换后的坐标，生成去抖的当前帧。
[0033]所述的畸变矫正处理是消除场景摄机镜头制造和组装精度造成的图像形变，保证后续摄机位姿解算和空间匹配的精度，步骤为：
[0034]S3i：选取S3e
‑
S3h消抖处理的场景视频基准帧，计算像素坐标到畸变中心的距离：
[0035][0036](x，y)为像素坐标，(x
c
，y
c
)为畸变中心坐标
[0037]计算畸变修正量L(r)：
[0038]L(r)＝1+k1r2+k2r4[0039]S3j：读取场景视频当前帧，计算所有像素点修正后的坐标生成畸变矫正的当前帧：
[0040][0041]更进一步的，所述S4中，所述的场景摄机位姿解算是指通过若干组三维模型中的已知三维坐标(3D点)与视频图像中对应的像素匹配点对(2D点)，获取场景摄机的位置坐标和姿态并验证结果精度，步骤为：
[0042]S4a：选取S3处理的场景摄机视频标定帧，提取若干组三维模型中的已知三维坐标(3D点)与视频图像中对应的像素匹配点对(2D 点)；
[0043]S4b：将所有3D
‑
2D点对数据随机分为80％的位姿解算数据集及 20％的精度检验数据集；
[0044]S4c：通过位姿解算数据集计算场景摄机的外参矩阵R，T和地主点坐标P(X，Y，Z)；
[0045]S4d：拟合视频图像目标定位点的高程，确定高程拟合参数；
[0046]S4e：通过精度检验数据集计算场景摄机外参矩阵R，T参数的精度，如果平均距离误差小于最长边的2％，则输出计算结果，否则重复S4b
‑
S4e。
[0047]更进一步的，所述S4c中，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维场景的视频态势感知与信息融合方法，其特征在于，所述的方法包括以下步骤：S1以多源态势信息的空间匹配和动态展示为目的，采集制作监控区域的动态三维空间模型；S2以监控区域的视频态势识别解析为目的，规划部署场景摄机与目标摄机；S3对摄机视频进行时间同步、去抖、畸变矫正处理；S4对场景摄机进行位姿解算及空间匹配；S5对场景摄机视频进行区域分割处理，单路摄机分割各类目标的监测区域，多路摄机分割同类目标的重叠监测区域；S6对场景摄机视频进行态势识别解析，获取指定监测区域的指定监测目标及其位置、状态、跟踪轨迹、区域热度图和标签信息；S7将视频态势识别解析信息与三维动态空间模型匹配融合；S8将管理、监控和设备系统等多源态势信息，与动态三维空间模型及视频态势信息匹配融合；S9配置热点巡视、任务联动和报警联动等模式的智能数据调度展示、设备联动控制。2.根据权利要求1所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S3中，所述的时间同步处理的步骤为：S3a：选取同一区域全部摄机有动态目标穿越相邻场景摄机重叠视域和场景摄机与目标摄机重叠视域的标定视频；S3b：提取动态目标在摄机重叠视域同一位置的标定视频帧，记录各摄机ID及其视频帧时间戳，以延时最小的摄机视频的时间戳为参考时间计算各摄机时间同步补偿值；S3c：重复S3a～S3b若干次，计算各摄机时间同步补偿值的平均值；S3d：修订各摄机时间同步补偿后的视频时间戳，获取时间同步的视频帧。所述的去抖处理的步骤为：S3e：选取场景视频基准帧，提取基准帧中的特征点集；S3f：读取场景视频当前帧，使用光流法提取基准帧特征点集在当前帧中的对应特征点集；S3g：通过基准帧和当前帧的特征点集，计算变换矩阵：计算抖动补偿参数，并生成去抖变换矩阵H
′
：dx
′
＝b1+x
‑
x
cur
dy
′
＝b2+y
‑
y
curcur
S3h：计算当前帧所有像素点去抖变换后的坐标，生成去抖的当前帧。
所述的畸变矫正处理的步骤为：S3i：选取S3e
‑
S3h消抖处理的场景视频基准帧，计算像素坐标到畸变中心的距离：(x，y)为像素坐标，(x
c
，y
c
)为畸变中心坐标计算畸变修正量L(r)：L(r)＝1+k1r2+k2r4S3j：读取场景视频当前帧，计算所有像素点修正后的坐标生成畸变矫正的当前帧：3.根据权利要求1所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4中，所述的场景摄机位姿解算的步骤为：S4a：选取S3处理的场景摄机视频标定帧，提取若干组三维模型中的已知三维坐标(3D点)与视频图像中对应的像素匹配点对(2D点)；S4b：将所有3D
‑
2D点对数据随机分为80％的位姿解算数据集及20％的精度检验数据集；S4c：通过位姿解算数据集计算场景摄机的外参矩阵R，T和地主点坐标P(X，Y，Z)；S4d：拟合视频图像目标定位点的高程，确定高程拟合参数；S4e：通过精度检验数据集计算场景摄机外参矩阵R，T参数的精度，如果平均距离误差小于最长边的2％，则输出计算结果，否则重复S4b
‑
S4e。所述的空间匹配的步骤为：S4f：获取S3处理的场景摄机视频图像，将目标定位点在视频图像中的像素坐标(x，y)转换为地面摄影测量坐标P
T
＝(X，Y，H)；S4g：将目标定位点的地面摄影测量坐标P
T
＝(X，Y，H)转换为三维空间模型的经纬坐标(Longitude，Latitude，H)。4.根据权利要求3所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4c中，通过匹配点对计算外参矩阵R，T的过程为：假设空间点P的齐次坐标为P
T
＝(X，Y，Z，1)，P在图像上的投影坐标为p
T
＝(x，y，1)。依据3D
‑
2D点对的映射关系：变形后为：变形后为：
令：令：令：得：得：假设从图像中提取了N个特征点，使用矩阵形式表示如下：据此可求解相机的位姿矩阵分解可得R，T。5.根据权利要求3所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4d中，拟合视频图像的高程可以表达平面
‑
地面、斜面
‑
步梯、楼梯等各种三维曲面，过程为：通过多项式：h(x，y)＝a1x2+a2y2+a3xy+a4x+a5y+a6依据2D点坐标和3D点高程进行多项式拟合，其中，(x，y)为图像坐标，h(x，y)为坐标点对应的高程，将所有匹配点整理成矩阵形式如下：其中A
T
＝[a
1 a
2 a
3 a
4 a
5 a6]是代求的系数矩阵，其它为已知量。使用最小二乘法计算上式，可以得到最优的多项式系数解。则可以得到图像坐标和高程之间的关系。6.根据权利要求3所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4e中，计算外参矩阵R，T参数误差计算公式如下：d≤L
×
2％。
7.根据权利要求3所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4f中，视频图像像素坐标转换为地面摄影测量坐标系的步骤为：S4f1：依据S4d计算的高程拟合参数，计算目标定位点像素坐标(x，y)的高程H：H＝h(x，y)S4f2：依据S4e计算的场景...

【专利技术属性】
技术研发人员：刘金龙，王永威，牟风涛，张耀华，段彤，于海生，
申请(专利权)人：航天图景北京科技有限公司，
类型：发明
国别省市：