集装箱门式起重机堆场作业状态实时监测系统及监测方法技术方案

本发明专利技术涉及港口远程安全监测领域，公开了一种集装箱门式起重机堆场作业状态实时监测系统及监测方法，包括单机控制系统和中控室的远程操作台，单机控制系统与远程操作台通讯连接，包括单机PLC、若干网络摄像机、分布式处理平台；单机PLC控制起重机的作业，并将当前作业状态发至分布式处理平台；若干网络摄像机设于起重机不同位置，可实时拍摄不同视角下起重机运行动态或工作区域；分布式处理平台包括视频流接入模块、核心算法模块、PLC交互模块、报警信息输出模块和WEB服务器。本发明专利技术充分利用现有远控摄像机，计算处理单元分布式前置，融合起重机作业状态及多视角摄像机，多功能根据作业状态自动切换，智能化程度高，有效提升作业效率及安全防护等级。效率及安全防护等级。效率及安全防护等级。

【技术实现步骤摘要】
集装箱门式起重机堆场作业状态实时监测系统及监测方法


[0001]本专利技术涉及港口远程安全监测领域，尤其涉及一种基于视觉识别的集装箱门式起重机堆场作业状态实时监测系统及监测方法。

技术介绍

[0002]远程控制系统是港口工业的最新技术之一，远控司机在远程控制室(中控室)操作，而不是在码头现场港机设备司机室内进行操作，这给码头运营商带来了很多好处，例如，远控司机可远离噪音，工作环境更舒适，更加自由的工作空间，更高的作业效率，降低运营成本等。在远程操作台(remote operation station,ROS)，远控司机可以通过摄像机从港机设备传回的视频，看到港机设备的运行情况和工作区域；远控司机可以通过控制手柄或触摸屏上的按钮来控制港机设备；远控司机可以通过主屏幕显示的远程操作界面实时了解港机设备的运行状态；安装在港机设备上各个位置的摄像机给远控司机提供必要的视觉辅助。实际上，通过远程操作台可以在远程控制室实现与在港机设备司机室同样的功能。
[0003]本地操作切换到远程操作后，对作业安全及异常防护提出了更高的要求；同时为了满足远程控制室的司机操作需求及传统人工巡检需求，当前起重机上安装了多台摄像机，基本覆盖了起重机的所有作业视角，但目前现有远控摄像机利用率低，对作业状态的监测还是多依赖于人工视觉观察，智能化程度低。为此，申请人研究开发出融合起重机作业状态及多视角摄像机的状态监测系统，其高效利用现有远程设备自身的摄像机，可辅助或逐步取代传统人工巡检，智能化程度高，可有效提高作业效率及安全防护等级。
专利
技术实现思路

[0004]针对现有技术中存在的缺陷和不足，本专利技术提出一种集装箱门式起重机堆场作业状态实时监测系统及监测方法，其充分利用现有远控摄像机，计算处理单元分布式前置，高效融合起重机作业状态及多视角摄像机，多功能根据作业状态可自动切换，智能化程度高，有效提升了作业效率及安全防护等级。
[0005]本专利技术上述目的通过以下技术方案实现：
[0006]集装箱门式起重机堆场作业状态实时监测系统，包括设于集装箱门式起重机上的单机控制系统和设于中控室的远程操作台，所述单机控制系统与远程操作台通讯连接，且包括有单机PLC、若干网络摄像机、及分布式处理平台；其中，
[0007]所述单机PLC控制起重机的作业，并可将起重机当前作业状态信息发送至分布式处理平台；
[0008]所述若干网络摄像机布设于起重机不同位置，可实时拍摄不同作业视角下起重机的运行动态或工作区域；
[0009]所述远程操作台设有可显示远程操作界面的主屏幕，便于远控司机进行远控操作；
[0010]所述分布式处理平台包括：
[0011]视频流接入模块，负责网络摄像机拍摄的视频数据接入与转发；
[0012]核心算法模块，负责根据网络摄像机拍摄的实时画面完成大车防撞监测、箱门朝向确认、堆场及集装箱状态确认、箱体变形检测，并得出相应的作业安全及异常防护监测结果；
[0013]PLC交互模块，负责与单机PLC进行交互，获取起重机当前作业状态信息，传送动作指令；
[0014]报警信息输出模块，根据作业安全及异常防护监测结果将相应的报警信息发送至远程操作台，及时给出安全隐患提示；
[0015]WEB服务器，提供远程访问入口，便于历史记录查询、网络摄像机标定参数设定及系统的预设配置。
[0016]优选的，所述若干网络摄像机包括：
[0017]用于大车防撞监测的网络摄像机，共四台，分别安装于起重机的卷盘侧大车左、卷盘侧大车右、非卷盘侧大车左和非卷盘侧大车右；
[0018]用于箱门朝向确认的网络摄像机，共用用于拍摄集卡车顶号的两台卷盘侧集卡摄像机和两台非卷盘侧集卡摄像机；
[0019]用于堆场及集装箱状态确认的网络摄像机，共六台，其中两台安装于起重机小车架前后，其余四台安装于起重机吊具锁销内侧；
[0020]用于箱体变形检测的网络摄像机，共六台，其中四台安装于起重机吊具锁销内侧，其余两台安装于起重机小车架前后。
[0021]优选的，所述分布式处理平台采用8核ARM V8.2 64位CPU，512核Volta GPU，32GB内存。
[0022]优选的，所述分布式处理平台通过起重机电气房内的汇聚交换机分别与所述若干网络摄像机及远程操作台TCP通信连接。
[0023]优选的，所述远程操作台还设有控制手柄，所述主屏幕为触摸显示屏，远控司机可通过所述控制手柄或触摸显示屏上的按钮进行远程操作。
[0024]优选的，所述中控室部署有多台远程操作台，根据实际作业需求，各起重机上的分布式处理平台可切换连接至某一远程操作台。
[0025]优选的，所述核心算法模块运行包括多个深度神经网络的程序，所述多个深度神经网络包括实现不同检测任务的多个检测网络和实现不同分割任务的多个分割网络。
[0026]本专利技术还提出一种集装箱门式起重机堆场作业状态实时监测方法，采用上述的监测系统，包括以下步骤：
[0027]S1：起重机上的分布式处理平台按照预设频率扫描单机PLC点位，以获取起重机当前作业状态信息、并根据当前作业状态选择相应功能模块的使能和关闭，实现自动切换，其中，不同的PLC点位值对应于起重机不同的当前作业状态；
[0028]S2：调用视频流接入模块，连接相应网络摄像机视频流，拉取画面的原始码流信息，通过分布式处理平台的硬件解码模块获取起重机当前运行动态或工作区域的实时画面，并将画面推送至核心算法模块；
[0029]S3：核心算法模块中相应的检测网络和分割网络对当前实时画面进行处理、计算、比较，得出该作业状态下的作业安全及异常防护监测结果，当监测结果提示安全隐患时，分
布式处理平台即联动单机PLC作相应处理、同时向远程操作台发送报警信息及推送当前监测视频弹窗，提示远控司机进行确认，远控司机作出判断后，分布式处理平台向单机PLC发送相应的动作指令。
[0030]进一步地，当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是大车行走信号及方向，核心算法模块的算法运行模式设定为大车行走，大车防撞功能使能，则步骤S3中，可行驶区域分割网络对可行驶区域进行像素级分割，障碍物检测网络计算得到障碍物具体位置信息，根据障碍物具体位置与分割后的可行驶区域之间的距离，同预先设定的报警阈值进行比较，获取当前起重机行走危险态势评估，按正常、减速、停止三个不同等级进行相应处理；
[0031]当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具闭锁信号&吊具起升，核心算法模块的算法运行模式设定为已抓箱，箱门朝向确认功能使能，则步骤S3中，集装箱及箱门检测网络对当前实时画面处理、获取当前集装箱的位置和箱门位置信息，综合考虑二者的空间位置关系，同箱门允许出现在画面的预先指定侧比较，根据正常、异常进行相应处理；
[0032]当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具开锁信号&amp本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.集装箱门式起重机堆场作业状态实时监测系统，其特征在于，包括设于集装箱门式起重机上的单机控制系统和设于中控室的远程操作台，所述单机控制系统与远程操作台通讯连接，且包括有单机PLC、若干网络摄像机、及分布式处理平台；其中，所述单机PLC控制起重机的作业，并可将起重机当前作业状态信息发送至分布式处理平台；所述若干网络摄像机布设于起重机不同位置，可实时拍摄不同作业视角下起重机的运行动态或工作区域；所述远程操作台设有可显示远程操作界面的主屏幕，便于远控司机进行远控操作；所述分布式处理平台包括：视频流接入模块，负责网络摄像机拍摄的视频数据接入与转发；核心算法模块，负责根据网络摄像机拍摄的实时画面完成大车防撞监测、箱门朝向确认、堆场及集装箱状态确认、箱体变形检测，并得出相应的作业安全及异常防护监测结果；PLC交互模块，负责与单机PLC进行交互，获取起重机当前作业状态信息，传送动作指令；报警信息输出模块，根据作业安全及异常防护监测结果将相应的报警信息发送至远程操作台，及时给出安全隐患提示；WEB服务器，提供远程访问入口，便于历史记录查询、网络摄像机标定参数设定及系统的预设配置。2.根据权利要求1所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述若干网络摄像机包括：用于大车防撞监测的网络摄像机，共四台，分别安装于起重机的卷盘侧大车左、卷盘侧大车右、非卷盘侧大车左和非卷盘侧大车右；用于箱门朝向确认的网络摄像机，共用用于拍摄集卡车顶号的两台卷盘侧集卡摄像机和两台非卷盘侧集卡摄像机；用于堆场及集装箱状态确认的网络摄像机，共六台，其中两台安装于起重机小车架前后，其余四台安装于起重机吊具锁销内侧；用于箱体变形检测的网络摄像机，共六台，其中四台安装于起重机吊具锁销内侧，其余两台安装于起重机小车架前后。3.根据权利要求1所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述分布式处理平台采用8核ARM V8.2 64位CPU，512核Volta GPU，32GB内存。4.根据权利要求1所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述分布式处理平台通过起重机电气房内的汇聚交换机分别与所述若干网络摄像机及远程操作台TCP通信连接。5.根据权利要求1所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述远程操作台还设有控制手柄，所述主屏幕为触摸显示屏，远控司机可通过所述控制手柄或触摸显示屏上的按钮进行远程操作。6.根据权利要求1所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述中控室部署有多台远程操作台，根据实际作业需求，各起重机上的分布式处理平台可切换连接至某一远程操作台。
7.根据权利要求1～6中任一项所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述核心算法模块运行包括多个深度神经网络的程序，所述多个深度神经网络包括实现不同检测任务的多个检测网络和实现不同分割任务的多个分割网络。8.集装箱门式起重机堆场作业状态实时监测方法，其特征在于，采用如权利要求7所述的监测系统，包括以下步骤：S1：起重机上的分布式处理平台按照预设频率扫描单机PLC点位，以获取起重机当前作业状态信息、并根据当前作业状态选择相应功能模块的使能和关闭，实现自动切换，其中，不同的PLC点位值对应于起重机不同的当前作业状态；S2：调用视频流接入模块，连接相应网络摄像机视频流，拉取画面的原始码流信息，通过分布式处理平台的硬件解码模块获取起重机当前运行动态或工作区域的实时画面，并将画面推送至核心算法模块；S3：核心算法模块中相应的检测网络和分割网络对当前实时...

【专利技术属性】
技术研发人员：李益波，肖炳林，庞颖威，齐永志，陈紫阳，黄佳飞，陈杰山，何威誉，李沈明，吴嘉贤，赵申，
申请(专利权)人：广州港股份有限公司广州港股份有限公司南沙集装箱码头分公司上海阅图智能科技有限公司，
类型：发明
国别省市：