【技术实现步骤摘要】
本专利技术涉及一种基于机器视觉的岸桥行车智能全景监控系统，属于港口岸桥作业安全辅助。
技术介绍
1、集装箱作为港口作业运输的重要载体，集装箱的装卸作业效率，直接影响到整个港口的作业效率和经济效益。岸桥是将集装箱从船舶卸到码头或从码头装在船舶的重要作业工具。岸桥在进行集装箱作业过程中，尤其是集装箱下放到集卡车的过程中容易发生集装箱砸人或砸车头等安全事故，同时由于岸桥行车主要由人工操作，行车过程中由于操作不当或司机疲劳，容易与行车路线上的障碍物产生碰撞事故。一旦发生功安全事故不仅会造成人员伤亡，还会严重影响作业效率。为防止以上安全事故发生。为解决此类问题目前现有以下两种技术方案：
2、(1)、在岸桥各个作业区域安装摄像机，各摄像机监控画面显示在司机室的屏幕上，司机通过观察各个摄像机监控画面的方式，来防止此类安全事故发生，但由于画面分割后各个摄像机画面较小，画面中的人员、车辆等物体不易观察，并且司机长时间观察视频画面会加快司机的疲劳，会导致错过发现人员或车辆的情况。所以此种方法效率较低。
3、(2)、在岸桥作业区域安装多线激光雷达，使用激光雷达对人、车等障碍物进行扫描，对激光雷达获取的实时数据进行处理报警，但此种方法效率较高、漏报率低。但是此方案需要布设多台多线激光雷达，同时需要配备处理能力很强的硬件，对激光雷达获取的数据进行处理，成本很高。
技术实现思路
1、本专利技术解决的技术问题是：克服现有技术的不足，一种基于机器视觉的岸桥行车智能全景监控系统，解决港口无法
2、本专利技术解决技术的方案是：一种基于机器视觉的岸桥行车智能全景监控系统，该系统包括m台摄像机、智能处理机、全景视频处理机、交换机、车载显示器；m大于1；
3、m台摄像机，用于获取岸桥作业区域的实时图像，发送给智能处理机和全景视频处理机；
4、智能处理机，接收岸桥信息，所述岸桥信息包括吊具的高度、吊具小车位置、吊具是否抓箱信息、岸桥行车方向，岸桥行车速度；实时检测、识别、跟踪各摄像机图像中的吊具、人、车；根据摄像机的内参和外参数据，对各摄像机图像中的吊具、人、车进行融合，得到吊具、人、车的位置及相对关系；根据吊具、人、车的位置和岸桥信息，判断是否会发生砸人、砸车头事故，如果是，则向岸桥发送报警信息；
5、车载显示器，安装在岸桥司机室，用于显示岸桥作业区域全景图像；
6、交换机，用于智能处理机、摄像机、全景视频处理机、车载显示器之间机进行网络通讯；
7、全景视频处理机，接收并解析各摄像机视频数据，对各个摄像机采集到的实时画面进行全景融合处理，得到岸桥作业区域全景图像，将岸桥作业区域全景图像发送到车载显示器。
8、优选地，上述一种基于机器视觉的岸桥行车智能全景监控系统还包括硬盘录像机，硬盘录像机用于记录存储各摄像机的视频数据以及岸桥作业区域全景图像。
9、优选地，上述基于机器视觉的岸桥行车智能全景监控系统还包括plc通讯模块；所述岸桥采用modbus dp协议进行通信，智能处理机采用modbus/tcp协议进行通信；
10、plc通讯模块，用于实现modbus dp协议数据和modbus/tcp协议数据之间的转换。
11、优选地，所述摄像机包括2台吊具摄像机，两台吊具摄像机安装在吊具上方的小车支架上，分别位于吊具行进方向的前侧和后侧，记为前侧吊具摄像机和后侧吊具摄像机，俯视拍摄包含吊具在内的图像数据。
12、优选地，所述智能处理机获取前侧吊具摄像机和后侧吊具摄像机的图像数据，通过训练好的深度学习网络实时检测、跟踪吊具摄像机图像中的吊具、人、车，得到吊具、人、车在各个摄像机中的检测框；根据摄像机的内参和外参数据，将后侧吊具摄像机中吊具、人、车检测框的像素坐标转换到前侧摄像机的坐标系下，通过仿射变换的方法将前侧吊具摄像机图像和后侧吊具摄像机图像中的吊具、人、车的检测框进行融合，得到以前侧吊具摄像机为基准的检测图像，得到吊具、人、车在基准图像中的检测框坐标信息，最终确定吊具、人、车的位置及相对关系。
13、优选地，所述摄像机还包括2台轨道监控摄像机，安装在岸桥前侧横梁和后侧横梁的中部，用于俯视拍摄岸桥行车中间通道。
14、优选地，所述智能处理机使用2台轨道摄像机和2台吊具摄像的画面进行特征匹配；通过特征匹配计算图像之间的变换结构实现图像映射和叠加，之后使用apap算法进行特征点对齐，使用图割的方法选取拼接缝，最终根据multi-band bleing策略实现图像的全景融合。
15、优选地，所述摄像机还包括4台防撞摄像机，安装在岸桥的四条支腿外侧朝向岸桥行车前进和后退两个方向。
16、优选地，所述防撞摄像机获取行车过程中实时图像发送给智能处理机，智能处理机，实时分析摄像机的图像，识别图像中的障碍物并判断障碍物相对于岸桥的距离，结合岸桥信息中的岸桥行车方向，岸桥行车速度，判断障碍物相对于岸桥的距离是否在安全距离之外，如果是，则认为岸桥不会发生碰撞事故，否则，认为岸桥会发生碰撞事故，向岸桥发出碰撞报警信息。
17、优选地，所述智能处理机采用智能网络模型识别图像中的吊具、人员、车辆，所述智能网络模型通过如下方法得到：
18、使用吊具摄像机和防撞摄像机采集岸桥作业过程中的图像数据，建立吊具、人员、车辆的样本图像数据库；
19、从样本图像数据库中提取图像数据作为目标训练样本数据集和测试样本数据集；
20、根据目标训练样本数据集和测试样本数据集训练智能网络模型，并将训练好的智能网络模型部署在智能处理机上。
21、本专利技术与现有技术相比的有益效果是：
22、(1)、本专利技术通过在吊具附件安装摄像机，实现两台摄像机同时对目标进行检测，并将检测结果进行融合，提高了目标检测的准确度，降低了因遮挡导致的漏检。
23、(2)、本专利技术采用全景融合的方法，实现了岸桥上多个摄像机的画面融合到一个画面中展示，解决了司机无法在同一画面中观察岸桥所有区域作业情况的问题，提高观察效率。
本文档来自技高网...【技术保护点】
1.一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于包括M台摄像机、智能处理机、全景视频处理机、交换机、车载显示器；M大于1；
2.根据权利要求1所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于还包括硬盘录像机，硬盘录像机用于记录存储各摄像机的视频数据以及岸桥作业区域全景图像。
3.根据权利要求1所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于还包括PLC通讯模块；所述岸桥采用Modbus DP协议进行通信，智能处理机采用ModBus/TCP协议进行通信；
4.根据权利要求1所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于所述摄像机包括2台吊具摄像机，两台吊具摄像机安装在吊具上方的小车支架上，分别位于吊具行进方向的前侧和后侧，记为前侧吊具摄像机和后侧吊具摄像机，俯视拍摄包含吊具在内的图像数据。
5.根据权利要求4所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于所述智能处理机获取前侧吊具摄像机和后侧吊具摄像机的图像数据，通过训练好的深度学习网络实时检测、跟踪吊具摄像机图像中的吊具、
6.根据权利要求5所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于所述摄像机还包括2台轨道监控摄像机，安装在岸桥前侧横梁和后侧横梁的中部，用于俯视拍摄岸桥行车中间通道。
7.根据权利要求6所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于所述智能处理机使用2台轨道摄像机和2台吊具摄像的画面进行特征匹配；通过特征匹配计算图像之间的变换结构实现图像映射和叠加，之后使用APAP算法进行特征点对齐，使用图割的方法选取拼接缝，最终根据multi-band bleing策略实现图像的全景融合。
8.根据权利要求1所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于所述摄像机还包括4台防撞摄像机，安装在岸桥的四条支腿外侧朝向岸桥行车前进和后退两个方向。
9.根据权利要求8所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于所述防撞摄像机获取行车过程中实时图像发送给智能处理机，智能处理机，实时分析摄像机的图像，识别图像中的障碍物并判断障碍物相对于岸桥的距离，结合岸桥信息中的岸桥行车方向，岸桥行车速度，判断障碍物相对于岸桥的距离是否在安全距离之外，如果是，则认为岸桥不会发生碰撞事故，否则，认为岸桥会发生碰撞事故，向岸桥发出碰撞报警信息。
10.根据权利要求1所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于所述智能处理机采用智能网络模型识别图像中的吊具、人员、车辆，所述智能网络模型通过如下方法得到：
...【技术特征摘要】
1.一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于包括m台摄像机、智能处理机、全景视频处理机、交换机、车载显示器；m大于1；
2.根据权利要求1所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于还包括硬盘录像机，硬盘录像机用于记录存储各摄像机的视频数据以及岸桥作业区域全景图像。
3.根据权利要求1所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于还包括plc通讯模块；所述岸桥采用modbus dp协议进行通信，智能处理机采用modbus/tcp协议进行通信；
4.根据权利要求1所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于所述摄像机包括2台吊具摄像机，两台吊具摄像机安装在吊具上方的小车支架上，分别位于吊具行进方向的前侧和后侧，记为前侧吊具摄像机和后侧吊具摄像机，俯视拍摄包含吊具在内的图像数据。
5.根据权利要求4所述的一种基于机器视觉的岸桥行车智能全景监控系统，其特征在于所述智能处理机获取前侧吊具摄像机和后侧吊具摄像机的图像数据，通过训练好的深度学习网络实时检测、跟踪吊具摄像机图像中的吊具、人、车，得到吊具、人、车在各个摄像机中的检测框；根据摄像机的内参和外参数据，将后侧吊具摄像机中吊具、人、车检测框的像素坐标转换到前侧摄像机的坐标系下，通过仿射变换的方法将前侧吊具摄像机图像和后侧吊具摄像机图像中的吊具、人、车的检测框进行融合，得到以前侧吊具摄像机为基准的检测图像，得到吊具、人、车在基准图像中的检测框坐标信息，最终确定吊具、...
【专利技术属性】
技术研发人员：董昊天，闫威，郑智辉，郭宸瑞，王硕，张海荣，李钊，亓欣媛，朱泽林，武鹏，
申请(专利权)人：北京航天自动控制研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。