基于全景拼接和视频AI的自动化码头数字舱系统技术方案

本发明专利技术提供一种基于全景拼接和视频AI的自动化码头数字舱系统，通过视频处理系统将获取的码头各处视频监控数据进行处理，完成码头不同场景的实时全景拼接，形成同一时刻下的全景图像；通过三维可视化系统将获取的不同全景数据进行实时分类整理，并将二维GIS信息、第三方报警信息、多标签信息与从视频处理系统抽取的全景图像融合形成全景信息，然后通过三维场景模拟系统将不同场景、不同时间下的全景数据拼接，根据标签信息将同一场景下的全景数据按时间顺序进行拼接，形成实时全景数据流，通过操作台系统向用户展示码头不同场景的实时全景信息。本发明专利技术有效提高了码头多源信息融合及展示能力。展示能力。展示能力。

【技术实现步骤摘要】
基于全景拼接和视频AI的自动化码头数字舱系统


[0001]本专利技术涉及码头数字舱构建
，具体涉及一种基于全景拼接和视频AI的自动化码头数字舱系统。

技术介绍

[0002]近年来，集装箱码头已初步建立起码头生产管理系统（TOS系统）和港区视频监控系统，信息技术已经帮助码头管理体系从主要依赖人工的数据处理方式转变为基于全局优化模型的计算机处理，极大提高了集装箱码头的管理能力和生产效率。但集装箱码头各生产系统之间的信息交互依然较少，各作业系统信息难以在一套界面内展示，某项设备作业故障或报警信息不能及时向其它系统传递，导致故障点处的作业秩序容易处于混乱状态。码头视频监控系统可以对港区重要作业设备、路段以及建筑物进行实时监控，同时二维GIS地图可以对码头静态设备、动态作业信息、视频监控数据以及预警信息等进行集成，因此构建融合视频监控数据、TOS作业数据、二维GIS信息和报警信息的综合展示系统，对港区作业状态的实时感知及作业计划调整具有至关重要的作用。

技术实现思路

[0003]本专利技术的目的是要解决现有自动化码头数字信息整合及可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，包括：多数据获取模块，用于获取码头的视频监控数据、GIS数据、第三方系统报警信息以及TOS系统的码头设备数量、编号及其作业状态信息，并实时传输至实时数据库系统；实时数据库系统，与多数据获取模块、视频处理系统、三维可视化系统通信连接，用于存储规定时间内的码头的视频监控数据、GIS数据、第三方系统报警信息数据以及TOS系统的设备编号、数量及其作业状态信息，并将视频监控数据分类处理后传输至视频处理系统；视频处理系统，与三维可视化系统通信连接，用于将码头各处视频监控数据进行视频关键帧抽取、图像预处理、图像变换、图像匹配以及图像融合操作，完成码头不同场景的实时全景拼接，形成同一时刻下的全景图像；三维可视化系统，与视频处理系统及实时数据库系统连接，用于从实时数据库系统中抽取GIS数据形成码头二维GIS信息、从实时数据库系统中抽取第三方系统报警信息形成第三方报警信息、从实时数据库系统中抽取GIS数据与TOS信息形成多标签信息，并将二维GIS信息、第三方报警信息、多标签信息与从视频处理系统抽取的全景图像融合形成全景信息；三维场景模拟系统，与所述三维可视化系统连接，用于将不同场景、不同时间下的全景信息进行拼接，根据标签信息将同一场景下的全景信息按时间顺序进行拼接，形成实时全景信息数据流，配合操作台系统向用户展示码头不同场景的实时全景信息；操作台系统，与所述三维场景模拟系统连接，用于实现不同的全景信息的切换、移动、缩放操作，以向用户展示码头不同场景的实时全景信息以及对视频监控设备云台操作控制。2.根据权利要求1所述的基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，所述操作台系统包括操作手柄、显示器、鼠标及键盘和三维场景模拟软件，所述操作手柄用于完成场景缩放、场景顺序切换、场景左右移动以及场景俯仰操作；所述鼠标用于点击全景图像的画面中的摄像机标志调看摄像机或球机视频画面，同时配合操作手柄完成球机云台的转动控制。3.根据权利要求1所述基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，所述多数据获取模块获取的GIS数据的形成是，加载港口CAD平面图，生成港口二维GIS矢量地图，将全景点位和港口码头的元素图标标绘到港口二维GIS矢量地图的对应位置，形成GIS数据；其中，港口码头的元素包含码头的各设备元素。4.根据权利要求1所述基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，所述实时数据库系统，读取与码头设备作业状态相关的实时数据；其中，码头各处视频监控数据实时与实时数据库系统同步，除码头各处视频监控数据外的其它...

【专利技术属性】
技术研发人员：杨杰敏，王轩，杨荣，高延辉，武彬，陈培，张朋，柴浩，孔席超，张凯，王学迁，周昆，
申请(专利权)人：天津港第二集装箱码头有限公司，
类型：发明
国别省市：