【技术实现步骤摘要】
本专利技术涉及溢油监测，溢油监测旨在对海洋、内河、库区等水域中可能出现的油污及其扩散进行监测、预测和预警的一种技术段，本专利技术尤其涉及一种基于多模态融合的溢油监测方法。
技术介绍
1、近年来，随着世界人口的快速增长，工业化和现代交通运输大大增加了人类对化石能源的需求，伴随着海上活动的频繁，溢油事件频频发生，导致了严重的海洋环境生态和经济灾难，同时也对人类的安全与健康造成了严重的威胁。石油泄漏被认为是海洋和沿海环境的主要威胁之一。用于装卸原油和下游石油产品的石化码头发展迅速，油品在储存、装卸、船舶进出港、靠离泊等环节溢油污染事故时有发生，油品进入海洋后经扩散形成油膜覆盖海水表面、油品蒸发等，破坏海洋与外环境的气体交换，对海洋环境及海洋生物造成极大危害。因此对石化油码头企业而言，对浮油的有效监测和早期识别对于相应的主管部门迅速做出反应、限制环境污染和避免进一步损害至关重要，其中能够及时发现溢油事故是其中最关键的一步。
2、遥感监测是目前最常用的溢油检测方法，遥感监测是通过卫星、飞机作为载体，在上面安装雷达或者航天相机作为传感器，遥感监测距离远，覆盖面积大，但是分辨率不高，对于一些码头上刚开始发生的小面积溢油无法及时发现，再加上成本比较昂贵，并且重复周期长，很难及时发现溢油事故。荧光点检测主要是根据原油与海水对荧光发射器的荧光的反射率不同，通常由发射端发射一个 led 脉冲光束激发地面油分子或者水面油分子，并使它们发出荧光，接收端收集返回的信号进行进一步处理，无论是白天还是黑夜都可以使用，虽然有着较好的检测效果，但是作业
3、在美国能源信息署(eia)在《2016 annual energy outlook》一书中提到，原油在输送过程中由于管道内摩擦、管道周围环境温度等因素，可能会产生能量损失，这些能量转化为热能会使原油的温度升高，通常情况下，输油管道内的原油温度会比管道外界温度高出数度。此外，实验室模拟输油管道的实验结果也能够证明这一观点。例如，德国联邦环境局曾经实施过“输油管道热学实验”(thermohydraulic modeling of oil pipelines)项目，该项目模拟了美国管道上的压缩天然气和原油运行条件。结果表明，输油管道内的原油温度通常比管道外界温度高出3-5°c左右。另一方面，石油的比热容低于海水，所形成油膜的表面温度与海面明显不同，因此根据以上结论，发生溢油情况的海面可以在红外热成像仪下被辨别出来。
技术实现思路
1、本专利技术的目的是为了解决上述技术问题，而提出的一种基于多模态融合的溢油监测方法，其通过使用红外相机和可见光相机拍摄图像，将两种图像进行配准，输入到深度学习神经网络中进行特征提取和特征融合，最后检测是否溢油。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种基于多模态融合的溢油监测方法，包括以下步骤：
4、s1，通过可见光相机和红外热成像仪获取可见光图像和红外图像；
5、s2，将s1中获取的可见光图像和红外图像进行配准、对齐处理；
6、s3，将s2中对齐后的两种模态的图像输入深度学习神经网络模型进行rgbt溢油检测。
7、优选地，所述s2中对获取的可见光图像和红外图像进行配准、对齐处理的步骤如下：
8、a1，直方图均衡化处理：使用直方图均衡化整体增强图像的对比度，使得图像中的信息更加明显，有助于提取更多的特征点；
9、a2，特征点提取：将原来的红外图像进行像素反转生成新的图像，然后将原图像和翻转图像分别与可见光图像进行图像的特征提取和匹配，并将两次匹配的特征点进行叠加；
10、a3，特征点筛选：选择6对特征点并取出其中的三对点进行计算，使得损失函数最小；
11、a4，变换矩阵推导和求解：把图像配准进行缩放、平移、旋转变换；
12、a5，图像配准：将图像根据实现图像的配准，同时将两张图像进行通道的叠加生成rgbt四通道图像。
13、优选地，所述rgbt溢油检测需要进行数据集制作，包括以下步骤：
14、b1，将红外相机和可见光相机固定在一起，保持两相机平行；
15、b2，模拟溢油场景使用红外相机和可见光相机两种相机同时进行拍摄。
16、优选地，所述特征点提取使用的是superpoint自监督网络。
17、优选地，所述a4中把图像配准进行缩放、平移、旋转变换具体为：平移向量有 2 个自由度，缩放因子有 1 个自由度，旋转矩阵有 1 个自由度。
18、优选地，所述rgbt溢油检测采用双编码器特征融合网络，通过两种编码器分别提取两种不同模态的特征并将特征图相加。
19、优选地，所述双编码器特征融合网络采用红外编码器第一层特征图与可见光编码器进行融合。
20、优选地，所述编码器的黑色部分特征融合阶段采用了通道注意力机制。
21、本专利技术的有益效果为：
22、本专利技术减少了噪声特征的干扰，同时通过通道注意力机制增加了鲁棒特征的权重，提高了准确率。
本文档来自技高网...【技术保护点】
1.一种基于多模态融合的溢油监测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态融合的溢油监测方法，其特征在于，所述S2中对获取的可见光图像和红外图像进行配准、对齐处理的步骤如下：
3.根据权利要求2所述的一种基于多模态融合的溢油监测方法，其特征在于，所述RGBT溢油检测需要进行数据集制作，包括以下步骤：
4.根据权利要求1所述的一种基于多模态融合的溢油监测方法，其特征在于，所述特征点提取使用的是Superpoint自监督网络。
5. 根据权利要求1所述的一种基于多模态融合的溢油监测方法，其特征在于，所述A4中把图像配准进行缩放、平移、旋转变换具体为：平移向量有 2 个自由度，缩放因子有 1个自由度，旋转矩阵有 1 个自由度。
6.根据权利要求1所述的一种基于多模态融合的溢油监测方法，其特征在于，所述RGBT溢油检测采用双编码器特征融合网络，通过两种编码器分别提取两种不同模态的特征并将特征图相加。
7.根据权利要求1所述的一种基于多模态融合的溢油监测方法，其特征在于，所述双编码器特征融
8.根据权利要求1所述的一种基于多模态融合的溢油监测方法，其特征在于，所述编码器的黑色部分特征融合阶段采用了通道注意力机制。
...【技术特征摘要】
1.一种基于多模态融合的溢油监测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态融合的溢油监测方法，其特征在于，所述s2中对获取的可见光图像和红外图像进行配准、对齐处理的步骤如下：
3.根据权利要求2所述的一种基于多模态融合的溢油监测方法，其特征在于，所述rgbt溢油检测需要进行数据集制作，包括以下步骤：
4.根据权利要求1所述的一种基于多模态融合的溢油监测方法，其特征在于，所述特征点提取使用的是superpoint自监督网络。
5. 根据权利要求1所述的一种基于多模态融合的溢油监测方法，其特征在于，所述a4中把图像...
【专利技术属性】
技术研发人员：耿梦迪，唐筱宁，雷为，董军宇，张述，
申请(专利权)人：海博泰科技青岛有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。