基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统技术方案

本发明专利技术公开了一种基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统，利用标定好的海事雷达和激光雷达采集监管区域内的船舶航行状态，获取同步时间戳的船舶航向信息和激光点云数据，进而获得激光雷达点云数据的深度图像，并将激光点云数据和深度图像作为一对数据样本，对构建的生成对抗网络进行训练，最后将过往船舶点云数据对应的深度图像输入到训练好的生成器中，识别船舶吃水相关的关键部位特征，根据识别结果判断船舶是否存在超载。本发明专利技术利用生成对抗网络对激光点云与其深度图像之间的内在潜在关联进行学习，比传统的激光三维重建方法更容易获取船舶干舷尺寸。

Depth image processing method and system of inland ship point cloud data based on generating countermeasure network

The invention discloses a depth image processing method and system for inland ship point cloud data based on generating countermeasure network. The calibrated maritime radar and lidar are used to collect ship navigation status in the supervised area, acquire ship heading information and laser point cloud data with synchronous timestamp, and then obtain the depth image of laser radar point cloud data, and then the laser point cloud data and the laser point cloud data are acquired. As a pair of data samples, the depth image is trained to build the generation antagonism network. Finally, the depth image corresponding to the point cloud data of past ships is input into the trained generator to identify the characteristics of the key parts related to the ship draft, and judge whether the ship is overloaded or not according to the recognition results. The invention utilizes generation antagonism network to learn the intrinsic potential correlation between laser point cloud and its depth image, and is easier to obtain the ship's freeboard size than the traditional laser three-dimensional reconstruction method.

【技术实现步骤摘要】
基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统
本专利技术涉及一种基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统，属于激光雷达和人工智能

技术介绍
在人工智能领域，激光雷达是最重要的环境探测及感知设备之一。考虑到未来我国内河航运管理的信息化程度的不断提高，激光雷达在内河船舶自动检测领域的应用将越来越多。从工作原理来看，激光雷达可以按照预设的角度快速地发射和接收反射回来的激光脉冲束，以激光点云的方式来感知航道中的船舶，并对一定范围内的船舶进行点云处理和重构，构建船舶的三维形态结构。由于光的直线传播和速度固定两个特征，其所形成的三维图像能够为海事管理人员提供高精度的船舶尺寸信息。但是，在内河环境中，激光雷达的应用也存在一定的问题。其中包括：(1)激光点云数据量非常大，在大范围的场景处理过程中效率较低，耗时太长；(2)单个激光束在遇到具备一定反射系数的障碍物时会及时反射回来，在遇到反射系数低的物体可能由于穿透和吸收而形成点云空洞；(3)受预定的激光雷达张角和感知区域影响，激光雷达对周围环境扫描所形成的点云形态不一；(4)不同的激光雷达所能够获取的点云数据稀疏度不同，在实际应用中往往会受建设成本的约束而不得不使用高数据稀疏度的设备。针对激光雷达点云数据在内河船舶检测过程中存在的不足，可以将其处理成深度图像，在保持其高感知精度的前提下，降低计算复杂度、简化处理过程、提高处理效率。因此，如何由内河船舶的激光点云数据生成最优的深度图像，以最大程度的保留其感知精度，在内河船舶检测和感知领域具有非常重要的作用。本专利技术针对岸基激光雷达采集的船舶点云数据，基于生成对抗网络提供了一种面向内河船舶的激光点云处理深度图像的方法，并将激光点云数据和深度图像作为一对数据样本，对条件对抗网络进行训练。条件对抗网络包含生成器和判别器两个网络，两个网络之间相互竞争，最终输出一个优化的深度卷积网络模型，实现基于深度学习的船舶外形轮廓自动检测及识别功能。本专利技术所提供的深度图像生成和处理系统，能够较好地识别内河船舶的外形轮廓，特别是船舶的干舷尺寸，从而有效提高海事执法人员判断船舶航行状态以及是否超载的准确性。
技术实现思路
本专利技术针对激光雷达在内河船舶自动检测过程中受环境影响大、点云数据处理及重构效率低等问题，提供了一种基于生成对抗网络的内河船舶点云数据深度图像处理方法，包括如下步骤：步骤1，利用标定好的海事雷达和激光雷达采集监管区域内的船舶航行状态，获取同步时间戳的船舶航向信息和激光点云数据，具体包括如下子步骤；步骤1-1，分别提取海事雷达所提供的雷达图像数据和激光雷达所提供的点云数据，根据数据上携带的时间戳标志形成数据同步；步骤1-2，对时间同步之后的海事雷达图像进行处理，获取激光雷达检测期间的船舶航迹线信息，获取该时刻的船舶航向角θ；步骤1-3，针对激光雷达采集的点云数据进行预处理，得到船舶外轮廓的点云数据；步骤2，利用步骤1-2中提取的船舶航向角θ，以其垂直方向作为点云数据的投影方向，获取点云数据的深度图像；步骤3，构建基于生成对抗网络模型，所述的生成对抗网络包含生成器和判别器两个网络，将分类后的激光点云数据和对应的深度图像作为一对数据样本，输入到生成对抗网络模型进行训练，使得目标函数达到最优；步骤4，采集过往船舶外轮廓的点云数据和雷达图像，并利用步骤(1)和(2)处理获得对应的深度图像，将点云数据对应的深度图像输入到训练好的生成器中，识别船舶吃水相关的关键部位特征，计算船舶干舷高度，从而判断船舶是否存在超载。进一步的，步骤1-2中获取船舶航向角θ的具体实现方式如下，定义激光雷达开始检测船舶的时刻为时间戳a，分别提取海事雷达在时间戳a之前和之后最近的两帧图像，定义这两帧图像的采集时刻为时间戳b和时间戳c，船舶在这两个时刻的雷达图像上的位置分别为A和B，则：A、B两点连线即为船舶航向，航向与预设基准直线的夹角为船舶航向角θ，其中预设的基准直线即为0度航向角。进一步的，步骤1-3中所述的预处理为聚类处理。进一步的，步骤2中获取点云数据的深度图像的具体实现步骤如下，步骤2-1，以激光雷达布设点为坐标原点，以船舶航向角θ的正方向作为x轴，以平行于地面且垂直于船舶航向角θ的方向作为y轴，在y轴上距离坐标原点Mmax距离处做一个垂直于y轴的平面，选择该平面为投影面，令各点云数据沿y轴向该平面投影，获取各点云数据到投影平面的距离M(i,j)；步骤2-2，根据点云中各点到投影平面的距离，计算投影后所得到的投影点的像素灰度值G，其中，距离越远的点在投影后得到的投影点灰度越深，反之则灰度越浅，由此生成点云数据的深度图像，深度图像的像素灰度范围为[0，255]，黑色为0，白色为255；各像素点的灰度值为G(i,j)，G(i,j)＝255*M(i,j)/max(M(i,j))步骤2-3，针对船舶点云数据的深度图像，人工提取船舶关键部位特征，包括船舶干舷、驾驶台、货舱以及其他部位共4个类别的深度图像。进一步的，步骤3的具体实现方式如下，步骤3-1，人工对激光点云数据进行分类，获得船舶干舷、驾驶台、货舱以及其它部位共4个类别的激光点云数据，将相对应类别的激光点云数据和深度图像作为一对数据样本，利用该数据样本形成的训练数据集进行训练，其中，生成器内置一个二维卷积神经网络，通过激光雷达点云数据生成的二维深度图像进行训练；判别器内置一个三维卷积神经网络，通过原始的激光雷达点云数据进行训练，输出训练好的二维卷积神经网络和三维卷积神经网络；步骤3-2，将生成器和判别器合成构建生成对抗网络模型，并计算判别器中三维卷积神经网络判别结果与生成器中二维卷积神经网络判别结果之间的差别，最终，所述的生成对抗网络模型借助生成器和判别器两个网络之间的竞争，使得如下目标函数LcGAN达到最优，函数LcGAN如下式：LcGAN(G,D)＝Eu，y∈data(u，y)[LogD(u,y)]+Eu∈data(u)，z[Log(1-D(u,G(u,z)))]其中，G、D分别表示生成器和判别器，data为训练数据集，(u,y)为其中的一对图像，u为激光点云数据，y为深度图像；判别器D(u,y)为在观测点云数据u条件下，D判断图像y为真实图像的慨率；生成器G(u,z)为学习点云数据u的条件下生成的深度图像；(1-D(u,G(u,z)))为D判断G(u,z)生成深度图像的概率；E是判别器在整个训练数据集上的总体判别期望均值。本专利技术还提供一种基于生成对抗网络的内河船舶点云数据深度图像处理系统，包括如下模块：数据获取模块，用于利用标定好的海事雷达和激光雷达采集监管区域内的船舶航行状态，获取同步时间戳的船舶航向信息和激光点云数据，具体包括如下子模块；数据同步子模块，用于分别提取海事雷达所提供的雷达图像数据和激光雷达所提供的点云数据，根据数据上携带的时间戳标志形成数据同步；船舶航向角获取子模块，用于对时间同步之后的海事雷达图像进行处理，获取激光雷达检测期间的船舶航迹线信息，获取该时刻的船舶航向角θ；点云数据获取子模块，用于针对激光雷达采集的点云数据进行预处理，得到船舶外轮廓的点云数据；深度图像获取模块，用于利用船舶航向角获取子模块中提取的船舶航向角θ，以其垂直方向作为点云数据的本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的内河船舶点云数据深度图像处理方法，其特征在于，包括如下步骤：步骤1，利用标定好的海事雷达和激光雷达采集监管区域内的船舶航行状态，获取同步时间戳的船舶航向信息和激光点云数据，具体包括如下子步骤；步骤1‑1，分别提取海事雷达所提供的雷达图像数据和激光雷达所提供的点云数据，根据数据上携带的时间戳标志形成数据同步；步骤1‑2，对时间同步之后的海事雷达图像进行处理，获取激光雷达检测期间的船舶航迹线信息，获取该时刻的船舶航向角θ；步骤1‑3，针对激光雷达采集的点云数据进行预处理，得到船舶外轮廓的点云数据；步骤2，利用步骤1‑2中提取的船舶航向角θ，以其垂直方向作为点云数据的投影方向，获取点云数据的深度图像；步骤3，构建基于生成对抗网络模型，所述的生成对抗网络包含生成器和判别器两个网络，将分类后的激光点云数据和对应的深度图像作为一对数据样本，输入到生成对抗网络模型进行训练，使得目标函数达到最优；步骤4，采集过往船舶外轮廓的点云数据和雷达图像，并利用步骤(1)和(2)处理获得对应的深度图像，将点云数据对应的深度图像输入到训练好的生成器中，识别船舶吃水相关的关键部位特征，计算船舶干舷高度，从而判断船舶是否存在超载。...

【技术特征摘要】
1.一种基于生成对抗网络的内河船舶点云数据深度图像处理方法，其特征在于，包括如下步骤：步骤1，利用标定好的海事雷达和激光雷达采集监管区域内的船舶航行状态，获取同步时间戳的船舶航向信息和激光点云数据，具体包括如下子步骤；步骤1-1，分别提取海事雷达所提供的雷达图像数据和激光雷达所提供的点云数据，根据数据上携带的时间戳标志形成数据同步；步骤1-2，对时间同步之后的海事雷达图像进行处理，获取激光雷达检测期间的船舶航迹线信息，获取该时刻的船舶航向角θ；步骤1-3，针对激光雷达采集的点云数据进行预处理，得到船舶外轮廓的点云数据；步骤2，利用步骤1-2中提取的船舶航向角θ，以其垂直方向作为点云数据的投影方向，获取点云数据的深度图像；步骤3，构建基于生成对抗网络模型，所述的生成对抗网络包含生成器和判别器两个网络，将分类后的激光点云数据和对应的深度图像作为一对数据样本，输入到生成对抗网络模型进行训练，使得目标函数达到最优；步骤4，采集过往船舶外轮廓的点云数据和雷达图像，并利用步骤(1)和(2)处理获得对应的深度图像，将点云数据对应的深度图像输入到训练好的生成器中，识别船舶吃水相关的关键部位特征，计算船舶干舷高度，从而判断船舶是否存在超载。2.如权利要求1所述的一种基于生成对抗网络的内河船舶点云数据深度图像处理方法，其特征在于：步骤1-2中获取船舶航向角θ的具体实现方式如下，定义激光雷达开始检测船舶的时刻为时间戳a，分别提取海事雷达在时间戳a之前和之后最近的两帧图像，定义这两帧图像的采集时刻为时间戳b和时间戳c，船舶在这两个时刻的雷达图像上的位置分别为A和B，则：A、B两点连线即为船舶航向，航向与预设基准直线的夹角为船舶航向角θ，其中预设的基准直线即为0度航向角。3.如权利要求1所述的一种基于生成对抗网络的内河船舶点云数据深度图像处理方法，其特征在于：步骤1-3中所述的预处理为聚类处理。4.如权利要求1所述的一种基于生成对抗网络的内河船舶点云数据深度图像处理方法，其特征在于：步骤2中获取点云数据的深度图像的具体实现步骤如下，步骤2-1，以激光雷达布设点为坐标原点，以船舶航向角θ的正方向作为x轴，以平行于地面且垂直于船舶航向角θ的方向作为y轴，在y轴上距离坐标原点Mmax距离处做一个垂直于y轴的平面，选择该平面为投影面，令各点云数据沿y轴向该平面投影，获取各点云数据到投影平面的距离M(i,j)；步骤2-2，根据点云中各点到投影平面的距离，计算投影后所得到的投影点的像素灰度值G，其中，距离越远的点在投影后得到的投影点灰度越深，反之则灰度越浅，由此生成点云数据的深度图像，深度图像的像素灰度范围为[0，255]，黑色为0，白色为255；各像素点的灰度值为G(i,j)，G(i,j)＝255*M(i,j)/max(M(i,j))步骤2-3，针对船舶点云数据的深度图像，人工提取船舶关键部位特征，包括船舶干舷、驾驶台、货舱以及其他部位共4个类别的深度图像。5.如权利要求4所述的一种基于生成对抗网络的内河船舶点云数据深度图像处理方法，其特征在于：步骤3的具体实现方式如下，步骤3-1，人工对激光点云数据进行分类，获得船舶干舷、驾驶台、货舱以及其它部位共4个类别的激光点云数据，将相对应类别的激光点云数据和深度图像作为一对数据样本，利用该数据样本形成的训练数据集进行训练，其中，生成器内置一个二维卷积神经网络，通过激光雷达点云数据生成的二维深度图像进行训练；判别器内置一个三维卷积神经网络，通过原始的激光雷达点云数据进行训练，输出训练好的二维卷积神经网络和三维卷积神经网络；步骤3-2，将生成器和判别器合成构建生成对抗网络模型，并计算判别器中三维卷积神经网络判别结果与生成器中二维卷积神经网络判别结果之间的差别，最终，所述的生成对抗网络模型借助生成器和判别器两个网络之间的竞争，使得如下目标函数LcGAN达到最优，函数LcGAN如下式：LcGAN(G,D)＝Eu，y∈data(u，y)[LogD(u,y)]+Eu∈data(u)，z[Log(1-D(u,G(u,z)))]其中，G、D分别表示生成器和判别器，data为训练数据集，(u,y)为其中的一对图像，u为激光点云数据，y为深度图像；判别器D(u,y)为在观测点云数据u条件下，D判断图像y为真实图像的慨率；生成器G(u,z)为学习点云数据u的条件下生成的深度图像；(1-D(u,G(u,z)))为D判断G(u,z)生成深度图像的概率；E是判别器在整个训练数据集上的总体判别期望均值。6.一种基于生成对抗网络的内河船舶点云数据深度图像处理系统，其特征在于，包括如下模...

【专利技术属性】
技术研发人员：谢磊，刘颖，郭文轩，张笛，张金奋，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北,42