基于交互式持续学习的360度全景监控自动巡航方法技术

本发明专利技术属于自动巡航技术领域，尤其涉及一种基于交互式持续学习的360度全景监控自动巡航方法，通过多模态信息自动生成监控内容，相对于单一源头的监控来说更加鲁棒，而且能够将监控内容自动展示，并能时刻调整监控内容，在调整监控的基础上能够实现持续学习来提升模型的性能，具有自进化的能力，能够克服现实场景中复杂情况。景中复杂情况。景中复杂情况。

【技术实现步骤摘要】
基于交互式持续学习的360度全景监控自动巡航方法


[0001]本专利技术属于自动巡航
，尤其涉及一种基于交互式持续学习的360度全景监控自动巡航方法。

技术介绍

[0002]社区是区域性的社会，具有一定的边界和范围，目前城市人口密集，使得城市的社区治理变得非常复杂，伴随着城市的发展，城市的各种生活系统变得非常复杂，尤其是信息化时代，社区的治理伴随着治安防范，社区诈骗，网络纠纷。
[0003]监控系统往往由图像采集、传输，控制、显示等设备和控制软件构成，由于其能够实时记录和监视现场发生的事件，在城市的大街小巷布满了摄像头系统，从而为维护城市社区的长治久安奠定了基础。
[0004]360度全景监控目前应用最广泛的是车载系统中自动泊车系统，而全景监控系统应用与智慧安防目前正在逐渐增多，360度全景监控摄像头是能够完全无死角的监控大面积区域，可以取代多台普通的摄像机实现无缝监控。而且360度全景监控的智能化发展也正在进行中，通过在360度视频监控中嵌入智能识别算法，能够对画面中的行人，车辆等行为进行监控、检测和识别，在发生治安问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交互式持续学习的360度全景监控自动巡航方法，其特征在于，具体过程为：（1）采用World360和ASOD60K数据集作为360度全景监控的自动巡航数据集；（2）将自动巡航数据集中的视频采用等距投影的方式得到ERP图片，通过在ERP图片的在不同位置施加不同类型的卷积核提取360度全景监控的视觉数据特征；（3）截取自动巡航初始数据集中视频的声音片段作为音频信号，在音频信号之间采用Hanning窗口的方式来加权当前帧的音频信号，再使用一维全卷积网络提取360度全景监控的声音数据特征；（4）将步骤（2）提取的视觉数据特征映射为高维向量，采用音视高维度特征之间相似性度量的方式，将视觉数据特征中与声音数据特征具有高度一致性的特征提取出来，从而加权视觉特征对应区域，得到融合后的音视特征；（5）通过融合后的特征生成视点数据，并基于视点数据生成视口；（6）采用多路监控显示的方式，即每个视点存在一个监控路径，对每个监控路径以小窗的形式显示在显示屏的周围区域，通过不断更新显示内容来显示视点检测的结果，其中选择视点相应值最高的作为主窗口显示，当出现另一个高视点置信度的时候将会切换到另一个视点继续追踪；在监控指挥权落到管理人员身上的时候，自动切换到管理人员视口，此时，收集鼠标点击位置和方向键，并通过投影的方式显示管理人员视口；（7）采用连续学习的方式持续的更新数据和更新模型，应对不同复杂场景下的360度全景监控场景；（8）使用自动巡航数据集中的训练集作为网络的拟合数据，先将全景视频转化为等距投影的2D图片，并将声音保存为mp3的格式，将音视数据输入到整个网络中，并计算损失函数，损失包含基于平滑后的损失和基于视点坐标的损失两部分；（9）将全景视频数据转为ERP数据和mp3数据，并输入到网络中，生成视点数据，并生成视口，在人工点击后，将人工点击的...

【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，谭连盛，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：