一种全景监控平面化展示方法技术

本发明专利技术属于视频平面化展示技术领域，涉及一种全景监控平面化展示方法，先通过全局投影和局部投影相结合的方式生成物体粗定位信息，基于粗定位信息逆投影生成的精确定位信息，再将位置精细化后引入物体分割网络，将物体从背景区域切割出来，从而实现前景分割物体贴到全局投影的目的，为弥补因贴图导致的错位和缺失，引入基于时空GAN网络的细节补充网络，提升全景监控平面化的实际应用性，实现智慧城市安全监控的全覆盖。全监控的全覆盖。全监控的全覆盖。

【技术实现步骤摘要】
一种全景监控平面化展示方法


[0001]本专利技术属于视频平面化展示
，涉及一种全景监控平面化展示方法，用于智慧城市道路监控，实现智慧城市全方位无死角的视频监控。

技术介绍

[0002]目前智慧城市发展迅速，各行各业中的智能化设备不断被应用，而城市监控基本已经布置完毕，极大的解决了城市犯罪问题的取证，同时，城市犯罪也得到了抑制，因为监控设备已经基本实现城市的大规模全覆盖，这也为监控的安保人员提出了更高的要求，同时，监控设备需要及时观看，但是监控视频的观看需要花费大量的时间。
[0003]目前城市监控主要为普通单角度的监控设备，其存在诸多不足，如，监控范围狭窄，存在非常大范围的盲区，且设备无法实现智能化视频处理，而球机虽然能够弥补盲区的问题，但是仅仅能看到局部区域，需要观看者不断调节才能达到观看全景的目的，但是在旋转的过程中仍然无法避免存在盲区问题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术存在的缺点，针对传统城市安全监控方式无法做到全方位无死角的监控，且监控为普通监控方式，无法实现智能监控，且球机监控存在的盲区问题，设计提供一种基于帧间一致性的全景监控平面化展示方法。
[0005]为实现上述目的，本专利技术实现全景监控平面化展示的具体过程为：（1）构建全景监控平面化展示数据集：采集城市道路的全景摄像头监控视频段构建全景监控平面化展示数据集；（2）城市全景监控投影：基于步骤（1）构建的全景监控平面化展示数据集，采用等距投影（ERP投影）和六面体投影（CMP投影）相结合的方式对视频帧进行投影；（3）基于等距投影（ERP）和六面体投影（CMP）结合的物体检测：构建以ERP为输入的分支和以CMP为输入的分支，分别用两个分支进行物体检测；（4）物体检测结果修正：对步骤（3）得到的检测结果中心点采用逆投影的方式进行修正得到物体中心点球面坐标，缓解物体的拉伸形变问题；（5）基于物体大小的自适应范围搜寻：针对等距投影和六面体投影两种投影形式，基于物体大小的自适应范围搜寻，采用邻域均值的方式，先在当前中心点范围内搜寻与当前坐标同属于同一个物体的中心点的坐标，再合并为同一个坐标点，得到球面坐标；（6）基于物体检测中心点的局部区域投影： 对步骤（5）得到的球面坐标（），进行二次投影，得到物体的图像块；（7）基于图像块的物体分割：将步骤（6）得到的图像块输入物体分割网络进行物体分割，得到物体的裁剪结果和物体的位置信息；（8）基于图像块物体分割的ERP贴图：将步骤（7）得到物体的裁剪结果和物体的位置信息贴到ERP上得到ERP贴图；
（9）基于GAN网络（Generative Adversarial Networks，生成对抗网络）的贴图错位区域修复：采用GAN网络（Generative Adversarial Networks，生成对抗网络）将步骤（7）得到的ERP贴图中缺失区域填充，得到产生全景内容的平面化展示结果；（10）基于全景内容平面化的物体检测精细化：将平面化展示的结果用来训练全景视频物体检测网络，提升物体检测网络的性能。
[0006]作为本专利技术的进一步技术方案，步骤（2）的投影结果为：作为本专利技术的进一步技术方案，步骤（2）的投影结果为：和分别表示ERP投影和CMP投影结果，和 分别表示两种投影方式， 表示来自于视频V的第i帧图片，j表示六面体投影面的索引。
[0007]作为本专利技术的进一步技术方案，步骤（3）两个分支的详细定义为：作为本专利技术的进一步技术方案，步骤（3）两个分支的详细定义为：分别表示等距投影物体检测网络和六面体投影物体检测网络的输出，j表示面的索引，六面体投影共有6个面，j=1
‑
>6，六面体投影物体检测网络总共包含6个网络，网络的参数共享，其中等距投影物体检测网络和六面体投影物体检测网络均采用YOLO
‑
V5作为主干网络。
[0008]作为本专利技术的进一步技术方案，步骤（4）的具体过程为：通过坐标获得锚框的中心点坐标和，而相应的同样可以获得相应的锚框的中心点坐标和，基于和得到球面坐标：球面坐标：球面坐标：球面坐标：同理得到六面体投影在全景视频中的物体中心点的位置。
[0009]作为本专利技术的进一步技术方案，步骤（6）所述投影方式采用自适应范围的方式。
[0010]作为本专利技术的进一步技术方案，步骤（7）所述物体分割网络采用DAVIS数据集和
Youtube
‑
Objects数据集进行训练，物体分割网络（SegmentNet网络）包含编码网络（encoder）VggNet和网络分割输出模块。
[0011]与现有技术相比，本专利技术针对传统城市安全监控方式无法做到全方位无死角的监控，且目前全景监控方式不断调节观看角度，在调节监控的过程中存在盲区的问题，先通过全局投影（ERP）和局部投影（CMP）相结合的方式生成物体粗定位信息，基于粗定位信息逆投影生成的精确定位信息，再将位置精细化后引入物体分割网络，将物体从背景区域切割出来，从而实现前景分割物体贴到全局投影的目的，为弥补因贴图导致的错位和缺失，引入基于时空GAN网络的细节补充网络，提升全景监控平面化的实际应用性，实现智慧城市安全监控的全覆盖。
附图说明
[0012]图1为本专利技术实现全景监控平面化展示的流程框图。
[0013]图2为本专利技术实现全景监控平面化展示的网络框图。
具体实施方式
[0014]下面结合附图，通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。
[0015]实施例：本实施例采用如图1所示的流程和图2所示的网络实现全景监控平面化展示，具体过程为：（1）构建城市全景监控平面化展示数据集利用采集的全景摄像头视频段构建城市全景监控平面化展示数据集V，由于目前缺乏全景摄像头采集的监控视频，本实施例基于DAVIS，全景视频数据集YT
‑
ALL作为底层处理数据集；（2）城市全景监控投影方式分析（ERP和CMP，全局和局部）基于上述收集的高位全景监控视频数据集V（∈V），采用等距投影（ERP投影）和六面体投影（CMP投影）方式相结合的方式来保证投影之后信息尽可能少丢失，与此同时，等距投影能够提供物体的相对位置以及物体语义协同信息，从而保证全景视频中全局信息部丢失，而六面体投影能够提供物体细节信息，保证全景投影局部区域信息部丢失，能够极大的避免因全景投影导致的物体拉伸和扭曲，而六面体投影存在的大型物体被切割以及全局信息丢失的问题，同样可以通过结合全局投影解决，详细定义如下： 和分别表示ERP投影和CMP投影结果，和 分别表示两种投影方式， 表示来自于视频V的第i帧图片，j表示六面体投影面的索引；（3）基于等距投影（ERP）和六面体投影（CMP）结合的物体检测
为充分发挥二者的等距投影（ERP）和六面体投影（CMP）结合互补特性，将二者融合既能够保证物体局部不被拉伸，又能保证感知全局信息，本实施例分为两个分支，即以ERP为输入的分支和以CMP为输入的分支，用两个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景监控平面化展示方法，其特征在于，具体过程为：（1）构建全景监控平面化展示数据集：采集城市道路的全景摄像头监控视频段构建全景监控平面化展示数据集；（2）城市全景监控投影：基于步骤（1）构建的全景监控平面化展示数据集，采用等距投影和六面体投影相结合的方式对视频帧进行投影；（3）基于等距投影和六面体投影结合的物体检测：构建以等距投影为输入的分支和以六面体投影为输入的分支，分别用两个分支进行物体检测；（4）物体检测结果修正：对步骤（3）得到的检测结果中心点采用逆投影的方式进行修正得到物体中心点球面坐标，缓解物体的拉伸形变问题；（5）基于物体大小的自适应范围搜寻：针对等距投影和六面体投影两种投影形式，基于物体大小的自适应范围搜寻，采用邻域均值的方式，先在当前中心点范围内搜寻与当前坐标同属于同一个物体的中心点的坐标，再合并为同一个坐标点，得到球面坐标；（6）基于物体检测中心点的局部区域投影： 对步骤（5）得到的球面坐标，进行二次投影，得到物体的图像块；（7）基于图像块的物体分割：将步骤（6）得到的图像块输入物体分割网络进行物体分割，得到物体的裁剪结果和物体的位置信息；（8）基于图像块物体分割的ERP贴图：将步骤（7）得到物体的裁剪结果和物体的位置信息贴到ERP上得到ERP贴图；（9）基于GAN网络的贴图错位区域修复：采用GAN网络将步骤（7）得到的ERP贴图中缺失区域填充，得到产生全景内容的平面化展示结果；（10）基于全景内容平面化的物体检测精细化：将平面化展示的结果用来训练全景视频物体检测网络，提升物体...

【专利技术属性】
技术研发人员：刘寒松，王国强，王永，刘瑞，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：