一种基于视频AI的卸船机抓斗跟踪方法及系统技术方案

本发明专利技术提供了一种基于视频AI的卸船机抓斗跟踪方法及系统，属于智慧港口、港口自动化技术领域。其中，所述系统包括全景高清摄像机、系统分析服务器、网络传输设备、客户端系统。本发明专利技术具备较高的可扩展性与可维护性，同时基于多种软硬件优化技术，抓斗跟踪的成功率超过99.5%，并可使得卸船机司机可在清晰观察抓斗运行状态的同时兼顾作业全景，系统可应用于各散货码头的卸船机抓斗跟踪，为码头的数字化及自动化建设提供坚实的技术支持。自动化建设提供坚实的技术支持。自动化建设提供坚实的技术支持。

【技术实现步骤摘要】
一种基于视频AI的卸船机抓斗跟踪方法及系统


[0001]本专利技术涉及智慧港口、港口自动化
，具体而言，涉及一种基于视频AI的卸船机抓斗跟踪方法、系统、电子设备及计算机存储介质。

技术介绍

[0002]在散杂货堆场中，抓斗卸船机进行作业时，操作司机需要在作业中看清抓斗作业时周边的情况，包括是否会与船舱碰撞、是否会与舱口内的人员或流机碰撞、抓斗抓料时是否完整、是否正常将物料倒入物料装置等。因此，需要提供一种可视化的手段，实时的清晰的呈现抓斗作业的全过程，确保作业的安全性。
[0003]目前常规的解决此问题的方式有：1.在抓斗上方小车底部、司机室下方、物料室上方等位置安装多个监控摄像头，从而覆盖抓斗整个作业过程，司机在操作抓斗作业时，通过观察对应的摄像头画面，以确保作业的安全性与有效性。2.在司机室下方安装云台摄像机，在抓斗作业时自动跟踪抓斗，并呈现对应的跟踪画面。
[0004]上述常规方式存在的问题为：1）方式1中，虽然可以确保在抓斗作业时，始终有摄像机能清晰的看到抓斗，但该方法存在：
①
摄像机数量众多，司机需要在控制时分心选择查看哪一个或多个摄像机画面，从而会导致作业风险；
②
每时每刻某个细节区域的画面，无法对作业全景进行查看，缺乏对全局安全的判断；
③
不同摄像机的视角不一致，与司机从司机室中看到的视角相差过大，需要司机在查看画面时自行将画面视角与实际视角对应，存在场景理解困难问题。
[0005]2）方式2中，虽然利用云台摄像机可以实时跟踪抓斗，并且显示抓斗及周边细节信息，但存在：
①
云台寿命有限，长时间使用后需要更换；
②
每时每刻某个细节区域的画面，无法对作业全景进行进行查看，缺乏对全局安全的判断；
③
云台速度有挡位限制，无法做到云台速度与抓斗速度同步，导致无法将抓斗在图像中心呈现，即会出现抓斗在图像边界，抓斗周边区域看不到的问题；
④
为确保抓斗跟踪效果，通常图像中抓斗的轨迹是沿着图像宽度方向（对应观察者视角的左右方向），而司机从现实世界中看到的抓斗是沿着前后方向，导致司机需要90度扭头查看图像才能确保在图像中看到的抓斗与现实中看到的抓斗角度一致。
[0006]因此，需要一套合适易用的抓斗跟踪系统，确保操作司机能够以常规视角下观察抓斗及抓斗周边细节画面以及抓斗作业全景信息，从而提升现场作业的效率与安全性。

技术实现思路

[0007]为了至少解决上述
技术介绍
中存在的技术问题，本专利技术提供了一种基于视频AI的卸船机抓斗跟踪方法、系统、电子设备及计算机存储介质，以确保操作司机能够以常规视角下观察抓斗及抓斗周边细节画面以及抓斗作业全景信息，从而提升现场作业的效率与安全性。
[0008]本专利技术的第一方面提供了一种基于视频AI的卸船机抓斗跟踪系统，包括全景高清摄像机、系统分析服务器、网络传输设备、客户端系统；其中，所述系统分析服务器与所述全景高清摄像机、所述客户端系统通过所述网络传输设备进行连接；所述全景高清摄像机，用于实现对抓斗作业轨迹的全高清覆盖；所述系统分析服务器，至少用于完成PLC对接、摄像机码流获取、卸船机抓斗跟踪、数据存储工作；其中，采用视频AI完成卸船机抓斗跟踪；所述客户端系统，用于呈现抓斗作业过程中抓斗及抓斗周边区域的清晰画面，其中，所述抓斗在画面中的呈现视角与司机观察视角保持一致。
[0009]进一步地，所述全景高清摄像机安装于卸船机司机室底部；所述分析服务器部署于卸船机电气房；所述网络传输设备部署于卸船机电气房；所述客户端系统部署于卸船机司机室。
[0010]进一步地，所述网络传输设备至少包括交换机、网线、光纤。
[0011]进一步地，所述全景高清摄像机安装在司机室入口处、维修平台下方，且摄像机的角度为垂直往下后物料室偏转约20度。
[0012]本专利技术的第二方面提供了一种基于视频AI的卸船机抓斗跟踪方法，包括如下步骤：S1，系统启动后，系统分析服务器与PLC对接，抓斗第一次在船侧闭锁时开启抓斗跟踪任务；S2，所述系统分析服务器接收所述全景高清摄像机的码流，基于所述码流实时检测摄像机画面中的抓斗，并将抓斗位置发送到客户端系统；S3，所述客户端系统将摄像机画面进行顺时针90度旋转，并将收到的抓斗坐标进行对应角度变化；S4，所述客户端系统根据抓斗的大小和位置，按照一定比例切出抓斗及周边区域画面；S5，所述客户端系统根据当前用于显示抓斗画面窗口的分辨率，将步骤S4中切出的区域进行对应数字放大或缩小。
[0013]S6，当收到停止作业信号后，停止对应的抓斗跟踪任务。
[0014]本专利技术的第三方面提供了一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如上任一项所述的方法。
[0015]本专利技术的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。
[0016]本专利技术的有益效果在于：1）能够始终在图像中心清晰地呈现抓斗及抓斗周边细节画面；2）配备作业全景的监控，以协助司机从全局角度对边缘险情进行判断；3）抓斗的呈现视角与司机观察视角保持一致；4）系统具备极高的稳定性；5）具备可扩展性，可应用于各码头的卸船机抓斗跟踪。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附
图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0018]图1是本专利技术实施例公开的一种基于视频AI的卸船机抓斗跟踪系统的结构示意图。
[0019]图2是本专利技术实施例公开的全景高清摄像机在卸船机布设位置的俯视图。
[0020]图3是本专利技术实施例公开的客户端系统的显示界面示意图。
[0021]图4是本专利技术实施例公开的一种基于视频AI的卸船机抓斗跟踪方法的流程示意图。
[0022]图5是本专利技术实施例公开一种电子设备的结构示意图。
具体实施方式
[0023]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0024]在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
[0025]应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频AI的卸船机抓斗跟踪系统，其特征在于，包括全景高清摄像机、系统分析服务器、网络传输设备、客户端系统；其中，所述系统分析服务器与所述全景高清摄像机、所述客户端系统通过所述网络传输设备进行连接；所述全景高清摄像机，用于实现对抓斗作业轨迹的全高清覆盖；所述系统分析服务器，至少用于完成PLC对接、摄像机码流获取、卸船机抓斗跟踪、数据存储工作；其中，采用视频AI完成卸船机抓斗跟踪；所述客户端系统，用于呈现抓斗作业过程中抓斗及抓斗周边区域的清晰画面，其中，所述抓斗在画面中的呈现视角与司机观察视角保持一致。2.根据权利要求1所述的一种基于视频AI的卸船机抓斗跟踪系统，其特征在于：所述全景高清摄像机安装于卸船机司机室底部；所述分析服务器部署于卸船机电气房；所述网络传输设备部署于卸船机电气房；所述客户端系统部署于卸船机司机室。3.根据权利要求1或2所述的一种基于视频AI的卸船机抓斗跟踪系统，其特征在于：所述网络传输设备至少包括交换机、网线、光纤。4.根据权利要求3所述的一种基于视频AI的卸船机抓斗跟踪系统，其特征在于：所述全景高清摄像机安装在司机室入口处...

【专利技术属性】
技术研发人员：范柘，
申请(专利权)人：上海安维尔信息科技股份有限公司，
类型：发明
国别省市：