基于改进全卷积神经网络的土石混合体图像三维重建方法技术

本发明专利技术公开了基于改进全卷积神经网络的土石混合体图像三维重建方法，所述方法包括：确定土石混合体CT扫描的影像数据集与真实标签数据集；构建UNet全卷积神经网络，并建立损失函数；经过训练得到改进的UNet全卷积神经网络；将需三维重建的土石混合体切面图像输入至改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列，并确定砾石边界矩阵；基于砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行三维可视化，得到砾石模型。本发明专利技术可以科学地、有效地获得土石混合体的真实三维结构信息，并建立土石混合体的三维模型，极大节省了人力财力，重建后的模型可为土石混合体的研究与工程应用提供支持。持。持。

【技术实现步骤摘要】
基于改进全卷积神经网络的土石混合体图像三维重建方法


[0001]本专利技术涉及岩土体三维建模
，尤其涉及基于改进全卷积神经网络的土石混合体图像三维重建方法。

技术介绍

[0002]土石混合体由作为骨料的砾石与作为填充料的粘土或砂土组成，是一种广泛存在于自然界的地质体。土石混合体细观结构特性及物理力学特性的深入研究是当今工程建设的需要,也是岩土力学发展的必然。由于土石混合体内部砾石的存在，使得其物理力学性质很难通过传统的室内或野外试验获取，所以数值试验广泛应用于土石混合体物理力学性质的研究。然而在数值试验研究时，建立合理的土石混合体细观结构至关重要。
[0003]基于CT扫描获得的土石混合体二维图像进行其三维细观结构重建，可借助计算机检测技术处理CT图像，可以获得较精确的结构参数信息。目前CT图像的传统分割算法有阈值分割法、区域生长分割方法等，但是由于土石混合体中存在砾石边界粘结的存在，使得图像分割传统方法对于CT扫描的土石混合体图像分割的准确率降低，并且缺乏准确的砾石重组分类算法，将导致图像中粘连的砾石可能被识别成相同砾石，降低三维重建效果。
[0004]因此，现有技术还有待改进和提高。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于改进全卷积神经网络的土石混合体图像三维重建方法，旨在提供解决现有技术中对于CT扫描的土石混合体图像分割的准确率低，并且缺乏准确的砾石重组分类算法，导致图像中粘连的砾石可能被识别成相同砾石，降低三维重建效果的问题。
[0006]第一方面，本专利技术提供一种基于改进全卷积神经网络的土石混合体图像三维重建方法，其中，所述方法包括：
[0007]利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集；
[0008]构建UNet全卷积神经网络，并建立损失函数，所述损失函数为Boundary Loss与Dice Loss的融合型损失函数；
[0009]基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化，得到预处理数据集；
[0010]将所述预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，经过迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络模型，得到改进的UNet全卷积神经网络；
[0011]按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列；
[0012]识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵；
[0013]基于所述砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行每个砾石表面的点云数据的三维可视化，得到砾石模型，以实现三维重建。
[0014]在一种实现方式中，所述UNet全卷积神经网络包括编码器部分、解码器部分以及预测部分，所述编码器部分用于得到五个有效特征层，所述解码器部分用于进行四次上采样，并与所述编码器部分得到的所述有效特征层进行融合，得到最终特征层，所述预测部分用于对所述解码器部分得到的有效特征层中的每一个特征点进行分类。
[0015]在一种实现方式中，所述Boundary Loss的表达式为:
[0016]L
B
(θ)＝∫
Ω
φ
G
(q)s
θ
(q)dq；
[0017]其中，Ω代表图像区域集合；p代表某个像素值；φ
G
（q）代表预测值与真实值的边界之间的距离，若预测值在真实值的边界上为0，若在预测值在真实值的边界外部为正数，若预测值在真实值的内部则为负数；s
θ
（p）为预测值的二值函数，若预测值在目标区域内则值为1，否则为0；
[0018]Dice Loss的表达式为:
[0019]其中pred为预测值的集合，true为真实值的集合。
[0020]在一种实现方式中，所述数据增强的方法包括：随机旋转、镜像翻转、图像弹性变形、光学畸变、随机更改亮度和对比度、对比度受限自适应直方图均衡化。
[0021]在一种实现方式中，所述按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，包括：
[0022]按照CT扫描的顺序将需三维重建的土石混合体切面图像进行排序，得到符合实际情况的图像序列；
[0023]对图像序列进行不失真的尺寸变换，添加灰条，以使得图像序列的高和宽均为512，通道数为3；
[0024]对图像序列进行归一化，使得像素值为0～1范围内的浮点数；
[0025]将图像序列输入改进的UNet全卷积神经网络进行预测，得到砾石与土体的目标分割图像；
[0026]将灰条部分截取，保证输出的图像与输入的图像的尺寸一致。
[0027]在一种实现方式中，所述识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵，包括：
[0028]利用开源计算机视觉库OpenCV的findContours函数识别出所述土石混合体切面图像序列中所有边界；
[0029]将边界像素点按照顺时针或逆时针的顺序存入边界矩阵，得到所有土石混合体切面图像的无所属关系的砾石边界矩阵。
[0030]在一种实现方式中，所述进行每个砾石表面的点云数据的三维可视化，得到砾石模型，包括：
[0031]基于每个砾石表面的点云数据，得到每个砾石表面的三维坐标；
[0032]基于计算机图形学及三维可视化软件工具包，在应用程序用户界面中渲染出所述
砾石模型。
[0033]第二方面，本专利技术实施例还提供一种基于改进全卷积神经网络的土石混合体图像三维重建装置，其中，所述装置包括：
[0034]数据集构建模块，用于利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集；
[0035]网络构建模块，用于构建UNet全卷积神经网络，并建立损失函数，所述损失函数为Boundary Loss与Dice Loss的融合型损失函数；
[0036]数据集处理模块，用于基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化后，得到预处理数据集；
[0037]网络训练模块，用于将所述预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，经过迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述方法包括：利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集；构建UNet全卷积神经网络，并建立损失函数，所述损失函数为Boundary Loss与Dice Loss的融合型损失函数；基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化，得到预处理数据集；将所述预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，经过迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络模型，得到改进的UNet全卷积神经网络；按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列；识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵；基于所述砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行每个砾石表面的点云数据的三维可视化，得到砾石模型，以实现三维重建。2.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述UNet全卷积神经网络包括编码器部分、解码器部分以及预测部分，所述编码器部分用于得到五个有效特征层，所述解码器部分用于进行四次上采样，并与所述编码器部分得到的所述有效特征层进行融合，得到最终特征层，所述预测部分用于对所述解码器部分得到的有效特征层中的每一个特征点进行分类。3.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述Boundary Loss的表达式为:L
B
(θ)＝∫
Ω
φ
G
(q)s
θ
(q)dq；其中，Ω代表图像区域集合；p代表某个像素值；φ
G
（q）代表预测值与真实值的边界之间的距离，若预测值在真实值的边界上为0，若在预测值在真实值的边界外部为正数，若预测值在真实值的内部则为负数；s
θ
（p）为预测值的二值函数，若预测值在目标区域内则值为1，否则为0；Dice Loss的表达式为:其中pred为预测值的集合，true为真实值的集合。4.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述数据增强的方法包括：随机旋转、镜像翻转、图像弹性变形、光学畸变、随机更改亮度和对比度、对比度受限自适应直方图均衡化。5.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，包括：
按照CT扫描的顺序将需三维重建的土石混合体切面图像进行排序，得到符合实际情况的图像序列；对图像序列进行不失真的尺寸变换，添加灰条，以使得图像序列的高和宽均为512，通道数为3；对图像序列进行归一化，使得像素...

【专利技术属性】
技术研发人员：李长圣，钟军，张丹，郭福生，独莎莎，张召，吴珍云，周万蓬，吴志春，黄映聪，李增华，邹宗良，
申请(专利权)人：南京大学，
类型：发明
国别省市：