【技术实现步骤摘要】
本专利技术涉及深海采矿车的环境感知，具体是一种基于深海采矿车的集成全景环视及声呐预警系统及预警方法。
技术介绍
1、随着全球陆上能源与矿产资源的日益减少，人类的探索和开发逐渐转向深海领域。海洋深层的矿产资源潜藏着丰富的经济价值，这促使深海采矿技术成为矿业科技领域的新疆界。在此背景下，深海采矿车成为执行海底采矿任务的重要工具和关键组成部分。深海采矿车通常配备了环境感知设备，如视觉(摄像头)和声学探测设备(声呐)，在其行走和作业过程中发挥着至关重要的角色。然而，在现有的深海环境感知系统设计中，依旧存在一些技术挑战和限制，这些问题不仅影响采矿效率，还可能危及设备安全和海底生态，具体来说，目前海底采矿车的视频监视设备及声呐预警系统存在以下不足：
2、1)视频监视系统的不足：
3、多摄像头视图不直观：通过多个摄像头采集图像信息并在多块屏幕上直接显示的方式不直观，操作员需要根据对应的摄像头视频判断障碍物，增加了操作复杂性和误判的可能性。视角窄和视野盲区：传统摄像头的视角可能较窄，图像采集区域有限，可能存在视觉盲区，影响了操作员对车体周围环境的全面观察和准确判断，增加了操作风险。全景拼接的信息丢失：传统有缝360度全景拼接视图可以合成大视野范围的全景图，但拼接缝处的信息丢失带来盲区可能导致重大危害。鸟瞰全景图的局限性：传统360度全景境界通常采用俯视图投影变换，仅能获得车身周围1m左右的地面信息，忽略了稍远的障碍物信息，可能延误操作响应。
4、2)声呐预警系统的挑战：
5、成像质量和特征提取的困
6、总体来说，当前的海底采矿车全景环视和预警系统在操作直观性、视野范围、图像质量、特征识别、噪声干扰、功能匹配等方面存在显著的技术和使用限制。这些缺点可能影响采矿车的操作效率和安全性，因此需要进一步的工程优化和技术创新，以适应深海采矿的复杂和挑战性环境。
技术实现思路
1、针对上述现有技术的不足，本专利技术提供一种基于深海采矿车的集成全景环视及声呐预警系统及预警方法，旨在解决现有海底采矿车360°集成全景环视及声呐预警方案，用于海底环境感知和障碍物监测及预警，解决采矿车车载摄像头采集质量不高、采集区域受限、显示界面存在拼接缝隙，声呐精度不高、侧扫范围小、回传图像质量差等问题。
2、基于深海采矿车的集成全景环视及声呐预警系统，它包括数据采集单元、水下嵌入式单元、水上主控单元、显示预警单元和用户交互及参数控制单元，
3、所述数据采集单元包括水下摄像头、强光led灯和多波束声呐，用于采集车体周围的光学图像和声呐图像；
4、所述水下嵌入式单元用于传输数据采集单元的数据到所述水上主控单元，并且接收来自水上主控单元的命令以控制数据采集单元的各项参数；
5、所述水上主控单元包括视觉图像处理模块、声呐图像处理模块和综合避障模块，所述视觉图像处理模块完成光学多视觉图像的对齐、矫正、拼接和融合，声呐图像处理模块完成声呐数据的目标识别、去杂波及去虚假目标处理，综合避障模块配合cnn避障算法识别和追踪可能威胁采矿车运行的障碍物，遇危险情况发出听觉和视觉预警信号；
6、所述显示预警单元实现360°全景环视图像的实时显示和局部放大；
7、用户交互及参数控制单元，该单元包括用户界面、监听用户输入模块、任务需求解析模块、参数控制模块、参数应用与反馈模块、保存和加载配置模块以及故障检测与恢复模块，
8、所述用户界面用于展示声呐和摄像头的实时数据、系统状态及参数设置；用户界面包括输入选项模块和反馈与提示模块，输入选项模块提供多种输入选项；反馈与提示模块实时显示系统参数调整的结果、系统警告和错误消息的反馈；
9、所述监听用户输入模块包括事件监听和数据验证，事件监听用于系统持续监听用户的操作；数据验证对用户输入的数据进行验证，确保其在允许的范围内，并与其他参数兼容；
10、所述任务需求解析模块用于用户选择预定义的任务模式或自定义任务参数；系统解析用户选择的任务模式，并自动调整相应的参数；
11、所述参数控制模块用于声呐参数和摄像头参数的调整；
12、所述参数应用与反馈模块将用户设置的参数应用到声呐和摄像头，实时显示调整后的数据，并向用户提供反馈，如果某些参数不适用或有冲突，向用户显示警告并提供建议；
13、所述保存和加载配置模块允许用户保存当前的参数设置，以便将来使用；提供加载功能，让用户可以快速加载之前保存的配置；
14、故障检测与恢复模块用于监控系统的工作状态，如果检测到任何故障，自动切换到安全模式，并向用户提供警告。
15、进一步的，所述水下摄像头包括绕采矿车一周安装的六个鱼眼镜头，数据采集单元通过坐标转化和镜头畸变矫正后，再利用张正友标记法标记相机内部参数，经过处理的图像数据就得到6张没有畸变的虚拟俯视图，将图像数据传输到水上主控单元进行下一步处理，其中对生成的图像畸变做矫正处理的非线性成像模型如下：
16、δx＝k1(x2+y2)+[k1(3x2+y2)+2k4xy]
17、δy＝k1(x2+y2)+[k4(3x2+y2)+2k3xy]
18、其中，(x,y)为当前像素点的位置坐标，非线性成像模型在线性成像模型上增加了k1,k2,k3,k4四个畸变系数。
19、本专利技术还提供一种基于深海采矿车的集成全景环视及声呐预警系统的预警方法，包括如下步骤：
20、第一步，数据采集单元采集车体周围的光学图像和声呐图像；
21、第二步，水下嵌入式单元将数据采集单元的数据传输到水上主控单元；
22、第三步，水上主控单元的视觉图像处理模块完成光学多视觉图像的对齐、矫正、拼接和融合，声呐图像处理模块完成声呐数据的目标识别、去杂波及去虚假目标处理，综合避障模块配合cnn避障算法识别和追踪可能威胁采矿车运行的障碍物，遇危险情况发出听觉和视觉预警信号。
23、进一步的，所述视觉图像处理模块对光学多视觉图像的对齐、矫正、拼接和融合步骤为：
24、a1、光学图像特征点提取：对于每张水下光学图像，采用sift特征点检测算法，提取图像中的关键特征点；
25、a2、图像的特征点描述：每个检测到的特征点都会生成一个特征向量，其中包含了该点本文档来自技高网...
【技术保护点】
1.基于深海采矿车的集成全景环视及声呐预警系统，其特征在于，它包括数据采集单元、水下嵌入式单元、水上主控单元、显示预警单元和用户交互及参数控制单元，
2.根据权利要求1所述的基于深海采矿车的集成全景环视及声呐预警系统，其特征在于，所述水下摄像头包括绕采矿车一周安装的六个鱼眼镜头，数据采集单元通过坐标转化和镜头畸变矫正后，再利用张正友标记法标记相机内部参数，经过处理的图像数据得到6张没有畸变的虚拟俯视图，将图像数据传输到水上主控单元进行下一步处理，其中对生成的图像畸变做矫正处理的非线性成像模型如下：
3.如权利要求1所述的基于深海采矿车的集成全景环视及声呐预警系统的预警方法，其特征在于，包括如下步骤：
4.根据权利要求3所述的预警方法，其特征在于，所述视觉图像处理模块对光学多视觉图像的对齐、矫正、拼接和融合步骤为：
5.根据权利要求3所述的预警方法，其特征在于，所述声呐图像处理模块对声呐数据的目标识别、去杂波及去虚假目标处理步骤如下：
6.根据权利要求5所述的预警方法，其特征在于，最大熵分割的具体步骤如下：
7
8.根据权利要求3所述的预警方法，其特征在于，所述综合避障模块的避障步骤为：
...【技术特征摘要】
1.基于深海采矿车的集成全景环视及声呐预警系统，其特征在于，它包括数据采集单元、水下嵌入式单元、水上主控单元、显示预警单元和用户交互及参数控制单元，
2.根据权利要求1所述的基于深海采矿车的集成全景环视及声呐预警系统，其特征在于，所述水下摄像头包括绕采矿车一周安装的六个鱼眼镜头，数据采集单元通过坐标转化和镜头畸变矫正后，再利用张正友标记法标记相机内部参数，经过处理的图像数据得到6张没有畸变的虚拟俯视图，将图像数据传输到水上主控单元进行下一步处理，其中对生成的图像畸变做矫正处理的非线性成像模型如下：
3.如权利要求1所述的基于深海采矿车的集成全景环视及...
【专利技术属性】
技术研发人员：杨建民，卢昌宇，陈启航，徐文豪，金城，孙鹏飞，
申请(专利权)人：上海交通大学三亚崖州湾深海科技研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。