一种基于制造技术

一种基于

【技术实现步骤摘要】
一种基于GAN生成的三维图像扩增方法


[0001]本专利技术属于软件工程领域，使用深度学习方法实现图像数据扩增
。
针对三维的图像数据使用生成对抗网络实现图像生成，扩充深度学习模型数据集，解决样本分布不均的问题
。

技术介绍

[0002]近年来，人工智能领域发展迅猛，众多深度学习模型的准确度与鲁棒性都有着出色表现，因此也在生活生产的各个领域得到了广泛应用
。
同时，广泛的实际应用也相应的启发和促进着领域化模型的算法研究，研究者们有针对性地对于不同领域和不同场景提出了一系列的深度学习网络
。
但在实际应用当中，深度学习模型存在的不足也被一一暴露出来
。
一些高精度领域往往对模型的质量与性能有着较为苛刻的要求，但模型受样本数量与质量影响较大，一些领域的样本数量少质量低，深度学习模型的质量提升遭遇瓶颈，难以满足高精度要求
。
深度学习模型质量与数据及质量密切相关，只有保证模型用充足的
、
高质量的数据进行学习，才能够得到质量高的优秀模型
。
因此，有效样本匮乏的问题亟待解决
。
数据扩增是深度学习解决样本缺少问题的常用方法
。
[0003]随着技术的发展，三维图像展示
、
重建
、
识别技术逐步应用到现实场景中
。
三维图像相较于二维图像更加直观和立体，同时包含三个视角的信息，便于观察和信息的整合
。
以三维图像作为输入的深度学习模型也越来越多
。
这些模型同样存在着样本匮乏的问题，因此需要有针对性地提出相应的数据扩增方法
。
三维图像的图像本身包含的信息丰富
、
规则复杂，特别是一些领域图像，比如三维医疗图像中病灶的生长规律复杂，通过人为调整参数进行图像变异很容易改变病灶的生长规律
。
因此，需要提出新的扩增方法技术实现样本生成
。
为了解决以上问题，本专利技术使用生成对抗网络生成三维图像样本，实现三维图像扩增，生成数量多
、
质量高的数据集，解决训练样本分类不均的问题
。

技术实现思路

[0004]本专利技术要解决的问题是：针对三维图像识别的深度学习模型存在训练样本少
、
质量低的问题，模型准确度不尽如人意
。
三维图像的图像本身包含的信息丰富
、
规则复杂，通过人为调整参数进行图像变异不仅会引起信息不合理改变，还可能无法覆盖所有情况
。
[0005]本专利技术的技术方案为：一种基于
GAN
生成的三维图像扩增方法
。
以医疗三维图像扩增为例，主要包括以下步骤
/
模块：一
、
基于领域样本信息的原始三维图像数据预处理1）原始数据集获取：
2) 三维图像标注信息规范化处理：不同的数据集往往拥有不同的数据格式和存储形式，自成一套系统
。
不同的研究机构提供的数据影像资源，格式
、
信息具有一定差异性，获取的原始数据集得到的数据是未经过任何处理的，使用这样的数据进行训练会非常的复杂，需要反复的进行转换和读取操作
。
另外，三维图像数据集往往是巨大的，在用于图像变
换
、
深度学习等方面时，其文件大小往往会限制许多操作地可能性，降低操作的效率，耗费大量的时间成本
。
因此，为了保证较高的效率，就要求尽量优化对数据集的处理流程，提前进行规范化的信息处理
。
[0006]2.1) 获取数据集文件中的标注信息
。
通过信息提取和存储来简化后续样本生成的工作
。
以读取
LIDC
‑
IDRI
数据集为例：
2.1.1) 根据数据库元数据文件遍历所有影像
2.1.2) 根据
xml
文件，筛选
CT
类型影像
2.1.3) 根据
xml
文件，获取信息
。
获取序列实例号
。
获取结节轮廓位置
。
遍历
readingSession
节点，获取每名医生的诊断信息
。
在此节点下，有多个肺结节节点
<unblindedReadNodule>
，每个节点代表一个肺结节诊断信息，肺结节轮廓的标记是按照切片来记录的，该节点下每个
<roi>
节点代表本结节在
z
轴切片上的信息
。
每个切片上，轮廓是以
(x,y)
坐标形式记录的
。
遍历
<roi>
节点，可以获得结节在
z
轴上的最大坐标及最小坐标，通过计算可以获得结节在
x
轴
、y
轴上的最大坐标及最小坐标，形成标记框
。
最值进行计算又可以获得长度差
、
宽度差和高度差
。
不同医师会有重复的结节标记，也会有不同的结节标记，记录结节被医师标记的次数，可以选择更加具有真实性的结节
。
[0007]2.1.4) 根据
dicom
文件，使用
SimpleITK
获得切片厚度
、
像素间隔等数据
2.2) 规范化保存标注信息
。
使用
xml/csv
文件进行信息存储
。
[0008]3) 生成对抗模型数据集获取：经过获取结节信息的流程后，能够生成一组较为规整的
、
具有一定规则的标注信息数据
。
但如果要满足模型训练的需要，还需要进一步结合数据集影像进行关键样本区域的提取和转换
。
[0009]3.1) 领域图像数据类型处理
。
[0010]3.1.1) 三维图像数据重建
。
部分数据集需要根据二维图像进行三维图像重建
。
设立原点，建立三维坐标系，统一将多个二维图像按照
z
坐标进行排序，并垂直
z
轴进行横切平面的叠加，实现简单的三维影像重建
。
[0011]3.1.2) 三维图像中体素的数值能代表不同的特性，根据领域图像需要进行数值类型转换
。
在
CT
扫描中，这些值其实就是亨利单位（
Hounsfield unit
，简称
HU)
，又被称为
CT
值，表示身体对于
X
光的吸收程度，用以测定人体某组织器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
GAN
生成的三维图像扩增方法，其特征是针对三维的图像数据使用生成对抗网络实现图像生成，扩充深度学习模型数据集，解决样本分布不均的问题，首先，基于领域样本信息的原始三维图像进行数据预处理，进行原始数据集获取，三维图像标注信息规范化处理，进行生成对抗模型数据集获取；然后，基于生成对抗网络进行三维图像生成，实现生成对抗网络结构
3D
‑
DCGAN
，使用样本进行
3D
‑
DCGAN
训练，直到损失函数趋于平衡；最后将随机噪声传入生成器生成三维图像样本，其具体步骤如下：1）进行原始三维图像数据预处理：首先，进行原始数据集获取；其次，结合数据集数据格式和存储形式，进行三维图像标注信息规范化处理，获取数据集文件中的标注信息，使用
xml/csv
文件进行信息存储；然后结合规范化标注信息和数据集影像进行关键样本区域的提取和转换，进行领域图像数据类型转换和关键样本区域提取，实现生成对抗模型数据集获取；2）生成对抗网络生成三维图像：首先，实现生成对抗网络结构
3D
‑
DCGA...

【专利技术属性】
技术研发人员：陈振宇，侯韵晗，刘佳玮，黄欢，
申请(专利权)人：南京大学深圳研究院，
类型：发明
国别省市：