基于制造技术

本发明专利技术公开了基于

【技术实现步骤摘要】
基于CycleGAN网络的针对肝脏US
‑
CT医学图像转换方法


[0001]本专利技术涉及机器学习
，具体地涉及基于
CycleGAN
网络的针对肝脏
US
‑
CT
医学图像转换方法
。

技术介绍

[0002]超声检测
(US)
和电子计算机断层扫描检测
(CT)
是医学上常用的两种检查和观测脏器情况的手段
。
二者成像原理存在一定差异
。US
是利用超声波成像的原理，显示机体各个组织超声波的形象，发现异常，诊断疾病
。CT
则是利用放射线，通过计算机的逐层扫描
、
图像的处理，来检查各个器官的异常，诊断和鉴别诊断疾病
。
这两者在针对肝脏的临床治疗方面同样十分常用
。
[0003]从医学的角度判断，
CT
检测在图像的呈现方面具有一定的优越性
。
将超声检测得到的影响或图像称为
US
图像
。
将计算机断层扫描检测得到的影响或图像称为
CT
图像
。
相较于
US
图像，
CT
图像的分辨率更高，且不同于
US
图像的固定切面视角，
CT
图像能够从各个角度查看肝脏的情况
。
[0004]然而相比
US
检测，
CT
检测同样存在一定的限制，例如
X
射线会对人体产生负面健康影响
、
价格更高
、
不适用于孕妇等特殊人群以及部分患者可能对
CT
检测所需的造影剂存在过敏反应等等
。
总体而言，
US
检测的效果通常低于
CT
检测，但从安全性和成本等方面考虑存在一定优势
。
我们希望实现对患者肝脏的
US
图像与
CT
图像之间的转换，使患者在获得其肝脏
US
图像的同时能够得到类似
CT
图像
。
[0005]我们考虑采用基于
CycleGAN(
循环生成对抗网络
:https://arxiv.org/pdf/1703.10593)
方法实现上述目的
。CycleGAN
网络是
GAN(
生成对抗网络
)
的变体
。
原有的
GAN
网络通过生成图像的生成器和判断图像是否属于特定数据集的判别器互相博弈优化的方法达到生成以假乱真图片的目的
。
而
CycleGAN
网络则是在
GAN
网络基础上加入了循环结构
。
将两组风格不同的图片从
CycleGAN
网络两端输入，其中任意一组图片在保留自身特性的情况下，经过
CycleGAN
网络的训练和处理，从而生成以假乱真的类似另一组图片的目的，从而实现两种图片之间的转换
。
[0006]在现有技术的
CycleGAN
网络中，为了训练
CycleGAN
网络来实现从一种图片到另一种图片的转换，需要将成对的两种图片
(
例如，油画风格的马的图片和水彩风格的马的图片
)
同时输入给
CycleGAN
网络进行训练
。
成对的两种图片虽然风格不同或属于不同的种类，但代表了相同的对象
。
从而
CycleGAN
网络除了实现图片种类的转换，在转换中还保留了图像中对象的特征
(
例如，都是马
)。
然而，在医学领域，以肝脏的
US
图像和
CT
图像为例，获得同一肝脏同时的
CT
图像与
US
图像是困难的
。
所拥有的肝脏的
US
图像
/CT
图像数据集，其中的
US
图像与
CT
图像之间没有对应关系
。
换句话说，对于肝脏
US
图像数据中的某肝脏
US
图像，难以获得代表相同肝脏的相同时刻的肝脏
CT
图像；反之，对于肝脏
CT
图像数据中的某肝脏
CT
图像，难以获得代表相同肝脏的相同时刻的肝脏
US
图像
。
因而现有技术的
CycleGAN
网络无法直接被用来进行肝脏
CT
图像与肝脏
US
图像的转换
。

技术实现思路

[0007]为了解决上述技术问题，本专利技术改进了
CycleGAN
网络与其训练
。
通过利用从肝脏
US
图像数据集与肝脏
CT
图像数据集获得的训练样本来逐个训练
CycleGAN
网络的各部分，摆脱了对
CycleGAN
网络的训练样本中输入数据的成对关系的限制，并使得
CycleGAN
网络的训练过程更适合医学图像
。
[0008]为了实现上述目的，本专利技术提供如下技术方案：一种基于
CycleGAN
网络的针对肝脏
US
图像与
CT
图像的转换方法，其特征在于，包括：步骤
S1
，肝脏
US
图像与
CT
图像处理，包括：获取多份肝脏
US
图像数据与肝脏
CT
图像数据，从中分割出包括肝脏图像本身的区域，作为肝脏
US
图像与肝脏
CT
图像；步骤
S2
，构建
CycleGAN
网络，包括构建生成器
G、
生成器
F、
判别器
Dx
与判别器
Dy
；其中，生成器
G
用于将输入的肝脏
US
图像转换为伪肝脏
CT
图像，以及用于将输入的伪肝脏
US
图像转换为环回肝脏
CT
图像；生成器
F
用于将输入的肝脏
CT
图像转换为伪肝脏
US
图像，以及用于将输入的伪肝脏
CT
图像转换为环回肝脏
US
图像；判别器
Dx
用于判断向其输入的图像是否是肝脏
US
图像；判别器...

【技术保护点】

【技术特征摘要】
1.
一种基于
CycleGAN
网络的针对肝脏
US
图像与
CT
图像的转换方法，其特征在于，包括：步骤
S1
，肝脏
US
图像与
CT
图像处理，包括：获取多份肝脏
US
图像数据与肝脏
CT
图像数据，从中分割出包括肝脏图像本身的区域，作为肝脏
US
图像与肝脏
CT
图像；步骤
S2
，构建
CycleGAN
网络，包括构建生成器
G、
生成器
F、
判别器
Dx
与判别器
Dy
；其中，生成器
G
用于将输入的肝脏
US
图像转换为伪肝脏
CT
图像，以及用于将输入的伪肝脏
US
图像转换为环回肝脏
CT
图像；生成器
F
用于将输入的肝脏
CT
图像转换为伪肝脏
US
图像，以及用于将输入的伪肝脏
CT
图像转换为环回肝脏
US
图像；判别器
Dx
用于判断向其输入的图像是否是肝脏
US
图像；判别器
Dy
用于判断向其输入的图像是否是肝脏
CT
图像；步骤
S3
，将步骤
S1
得到的肝脏
US
图像
x
作为训练样本输入给所述生成器
G
；所述生成器
G
根据肝脏
US
图像
x
生成肝脏伪
CT
图像
y
’
；将生成的肝脏伪
CT
图像
y
’
作为训练样本输入给所述生成器
F
；所述生成器
F
根据肝脏伪
CT
图像
y
’
生成环回肝脏
US
图像
x”；步骤
S4
，计算损失
Loss1
＝
Loss1
GAN
+LOSS1
cycle
，其中根据判别器
Dy
判别肝脏伪
CT
图像
y
’
的结果计算
Loss1
GAN
，而用肝脏
US
图像
X
与环回肝脏
US
图像
x”之间的差异计算
LOSS1
cycle
；用损失
Loss1
更新所述生成器
G
的网络参数，并且保持所述生成器
F
和判别器
Dy
的网络参数不变；步骤
S5
，将步骤
S3
得到的肝脏伪
CT
图像
y
’
作为训练样本提供给判别器
Dy
，以及将步骤1得到的肝脏
CT
图像
y
作为训练样本提供给判别器
Dy
；其中肝脏伪
CT
图像
y
’
与肝脏
CT
图像
Y
无需代表相同肝脏的图像；计算损失
Loss2
＝
Loss2
GAN
，其中根据判别器
Dy
判别肝脏伪
CT
图像
y
’
与肝脏
CT
图像
y
的结果计算
Loss2
GAN
；用损失
Loss2
更新所述判别器
Dy
的网络参数，并且保持所述生成器
G、
生成器
F
和判别器
Dx
的网络参数不变；步骤
S6
，将步骤
S1
得到的肝脏
CT
图像
y
作为训练样本输入给所述生成器
F
；所述生成器
G
根据肝脏
CT
图像
y
生成肝脏伪
US
图像
x
’
；将生成的肝脏伪
US
图像
x
’
作为训练样本输入给所述生成器
G
；所述生成器
G
根据肝脏伪
US
图像
x
’
生成环回肝脏
CT
图像
y”；步骤
S7
，计算损失
Loss3
＝
Loss3
GAN
+LOSS3
cycle
，其中根据判别器
Dx
判别肝脏伪
US
图像
x
’
的结果计算
Loss3
GAN
，而用肝脏
CT
图像
y
与环回肝脏
CT
图像
y”之间的差异计算
LOSS3
cycle
；用损失
Loss3
更新所述生成器
F
的网络参数，并且保持所述生成器
G
和判别器
Dx
的网络参数不变；步骤
S8
，将步骤
S6
得到的肝脏伪
US
图像
x
’
作为训练样本提供给判别器
Dx
，以及将步骤1得到的肝脏
US
图像
x
作为训练样本提供给判别器
Dx
；其中肝脏伪
US
图像
x
’
与肝脏
US
图像
x
无需代表相同肝脏的图像；计算损失
Loss4
＝
Loss4
GAN
，其中根据判别器
Dx
判别肝脏伪
US
图像
x
’
与肝脏
US
图像
x
的结果计算
Loss4
GAN
；用损失
Loss4
更新所述判别器
Dx
的网络参数，并且保持所述生成器
G、
生成器
F
和判别器
Dy
的网络参数不变；步骤
S9
，将待转换的肝脏
US
图像提供给经训练的所述生成器
G
，所述生成器
G
输出与所述待转换的肝脏
US
图像对应的肝脏
CT
图像；和
/
或将待转换的肝脏
CT...

【专利技术属性】
技术研发人员：王磊，张建，王自锄，范培华，姚宇航，陈奎，
申请(专利权)人：无锡艾米特智能医疗科技有限公司，
类型：发明
国别省市：