【技术实现步骤摘要】
一种抽沙船在河道数字孪生模型中三维重建与定位的方法
[0001]本专利技术属于三维建模
，尤其涉及一种抽沙船在河道数字孪生模型中三维重建与定位的方法。
技术介绍
[0002]为了能够在三维模型中查看河道中抽沙船的实时状态，现有的尝试是利用视频融合技术将视频监控图像通过投影贴图的方式呈现在三维模型中。由于摄像头的位置是固定的，因此在投影过程中抽沙船的图像会因为投影拉伸的原因发生形变，导致呈现效果不佳。如果抽沙船只有一部分被监控摄像头捕捉到，那么在三维模型中就会有非常明显的割裂与缺失的现象。
[0003]除此之外，视频融合由于是将二维的视频图像直接以贴图的形式覆盖到三维模型上，由此产生的拉伸、形变等会使图像中的抽沙船位置信息发生位移，使得管理运维人员无法在三维模型中准确地定位目标。
[0004]此外采用视频融合的可视局限性也很大，当用户在河道三维模型空间中查看的视角与摄像头的视角相近的时候效果较好，一旦用户在三维空间中移动视频融合的效果就会下降。
技术实现思路
[0005]本专利技术目的在于...
【技术保护点】
【技术特征摘要】
1.一种抽沙船在河道数字孪生模型中三维重建与定位的方法，其特征在于，包括如下步骤：步骤1：视频监控目标识别神经网络：目标识别神经网络由三个模块组成：Backbone、Neck和Head；Backbone模块的任务是在不同图像细粒度上聚合并生成图像特征的卷积神经网络；Neck模块由一系列混合和组合图像特征的网络层组成，它将Backbone模块生成的图像特征进行拼接、上采样操作，然后将处理过的图像特征传递到Head模块；Head模块对图像特征进行预测，生成边界框和预测类别；步骤2：单目摄像头抽沙船测距：将抽沙船识别神经网络的输出作为输入，利用单目测距算法计算抽沙船相对摄像头的距离和偏移，结合摄像头在河道中的位置推算出抽沙船在河道的位置，然后将该数据传递给后续数字孪生合成模块进行处理；步骤3：基于单图的抽沙船三维重建网络：该端到端网络将单张彩色图像作为输入，输出带颜色的三维模型。2.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法，其特征在于，所述步骤1部署在工作环境中的目标识别神经网络只负责对监控图像进行目标识别，神经网络的构建、训练、更新工作离线完成，每次神经网络在训练环境完成进化后更新程序通过网络将新的模型参数上传到工作环境。3.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法，其特征在于，所述步骤1包括Focus模块，所述Focus模块在视频监控图像进行卷积处理之前对其进行切片操作，操作的具体步骤是对图片进行隔行取值，一张监控视频图像经过处理能得到四张互补的图像，将图像的RGB三通道扩展成12个通道后再送入卷积层进行操作。4.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法，其特征在于，所述步骤1包括BottleneckCSP模块，所述BottleneckCSP模块利用跨阶段局部网络的思想将残差结构块进行组合，具体的方法是将基础层的特征图划分为两个部分，然后利用跨阶段层次结构将它们合并以实现上述目标。5.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法，其特征在于，所述步骤1包括SPP模块，所述SPP模块为空间金字塔池化模块，所述SPP模块将不同分辨率的特征进行融合以得到更丰富的信息，所述SPP模块中的核心为三种不同尺寸的池化层，每个池化层的padding都不同以适应不同大小的核，保证三个池化层输出特征图的长宽能够相同。6.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法，其特征在于，所述步骤2通过假设目标的大小尺寸，利用小孔成像和相似三角形的几何比例关系估算出抽沙船的距离，具体步骤如下：平面ABCD是监控摄像头拍摄到的平面梯形区域，ABU为地表平面，O为监控摄像头镜头中心点，OG连线为监控摄像头光...
【专利技术属性】
技术研发人员：邢晨，马艳娜，卢克，袁琳，
申请(专利权)人：浙江水利水电学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。