基于时间序列生成对抗网络的无创超声造影影像生成方法技术

本发明专利技术提供了一种基于时间序列生成对抗网络的无创超声造影影像生成方法，包括：采集超声造影视频数据构建影像数据库，将其划分为训练集、验证集和测试集，并逐帧提取各数据集中的视频帧；数据预处理后，构建生成器基础网络、时间序列生成机制和全域特征捕获机制，将原始超声造影影像中左侧的常规超声影像作为生成器网络的输入，生成类超声造影影像；构建判别器网络来识别生成影像与真实影像，不断对抗生成并输出结果；将所述预处理后的数据对所述网络进行训练，获取生成的类超声造影影像。本发明专利技术通过创新的时间序列生成机制和生成对抗网络，实现在无需注射对比剂的情况下，基于实体肿瘤常规超声影像，构建类超声造影影像自动生成方法。动生成方法。动生成方法。

【技术实现步骤摘要】
基于时间序列生成对抗网络的无创超声造影影像生成方法


[0001]本专利技术涉及超声影像处理
，尤其涉及一种基于时间序列生成对抗网络的无创超声造影影像生成方法。

技术介绍

[0002]超声具有实时显示、易于操作、成本相对较低以及无电离辐射等优点，被广泛用于实体肿瘤的诊疗过程中。超声造影在常规超声基础上通过对外周静脉注射超声对比剂，增强了人体的血流散射信号，明显提高了低流量、低流速血流信号的显示，更客观、真实地反映病灶组织内的实时动态微循环血流灌注情况，在实体质肿瘤的隐匿性的小病灶的敏感性检出、术前影像学评估、协助制定治疗计划、术中实时定位引导及术后即时评估疗效和随访中具有独特优势。
[0003]虽然超声造影提供了一种相对可靠的实体肿瘤影像评估方法，但对比剂停留时间短暂，成本相对较高，经外周静脉注入对比剂的方式不可避免地给患者带来一定创伤；此外，超声诊断结果易受操作者主观判断和经验影响，限制了其在临床中的广泛应用。
[0004]随着人工智能与深度学习技术的不断发展，以其为核心的超声影像分割、分类和影像生成等研究逐渐兴起。生成对抗网络于2014年由Goodfellow等人提出，主要包括生成器模块和判别器模块。其中，生成器的作用是通过分析输入影像与参考影像之间的映射关系，进行学习模仿，生成类似于真实样本的合成影像，而判别器则可以区分生成器生成的伪影像和真实影像。通过生成器与鉴别器的不断博弈与对抗，不断优化损失函数，生成器最终可以生成令判别器和肉眼都无法鉴别真伪的合成影像。目前，各种基于生成对抗网络的模型和变体已经被应用于超声影像的重建、生成、分割、分类、检测、配准等任务中，采用对抗性训练方案进行医学影像生成的研究也在迅速增加。

技术实现思路

[0005]基于上述背景，本专利技术的目的是提供一种在无需注射对比剂的情况下，基于生成对抗网络技术，利用常规超声灰阶影像，构建实体肿瘤的超声造影影像自动生成方法，在节约医疗资源的同时避免对比剂的注射，为实体肿瘤的精准诊疗提供新的参考依据和评价手段。
[0006]为实现上述目的，本专利技术采用了如下技术方案：
[0007]一种基于时间序列生成对抗网络的无创超声造影影像自动生成方法，包括如下步骤：
[0008]S1：进行实体肿瘤超声造影视频数据采集，将收集的超声造影影像数据按照7:2:1的比例划分为训练集、验证集和测试集；
[0009]S2：建立超声造影影像预处理模块，对超声造影影像数据进行预处理；
[0010]S3：构建深度学习生成器基础网络模块，对超声造影影像预处理模块预处理后的影像依次进行特征提取，生成特征图；
[0011]S4：构建全域特征捕获机制模块，将生成器基础网络模块提取的特征图进行1
×
1卷积生成结构权重图，并与原始特征图相乘得到全域特征图；
[0012]S5：构建时间序列生成机制分支，将时间戳作为随机噪声的参数生成噪声输入生成器，并构建生成器时间序列模块生成时间权重图；
[0013]S6：建立深度学习判别器网络模块，针对生成器生成的超声造影影像与真实超声造影影像计算输出语义概率值；
[0014]S7：建立识别网络模块与交叉熵损失函数，结合影像训练集中的超声造影影像数据训练各个模块，训练完成后固化各个模块的网络参数形成完整模型；
[0015]S8：使用所述完整模型对新输入的超声造影影像进行处理，获取结节区域语义概率热图。
[0016]进一步的，步骤S2中，对输入的影像数据进行预处理，具体包括对超声造影视频进行抽帧，根据不同超声仪器的型号设定裁剪区域，将病案号等无关信息进行裁剪，并将超声造影影像左侧的常规超声部分裁剪作为生成器的输入，将影像右侧的造影部分裁剪作为判别器的输入。
[0017]进一步的，步骤S3中，构建的深度学习生成器基础网络模块包括24层网络，网络内部层编号为第1至24层，其中第1、2、4、5、7、8、10、11、13、14层为卷积核大小3
×
3，步长1的卷积层；第3、6、9、12层为池化层，使用最大值池化，池化尺寸为2
×
2，步长为1；第15、18、21、24为卷积核大小2
×
2，步长1的反卷积层；第16、17、19、20、22、23层为卷积核大小3
×
3，步长1的卷积层；所有卷积层激活函数均使用ReLU函数。
[0018]进一步的，步骤S4中，全域特征捕获机制模块对生成器基础网络模块第2、5、8、10层输出的特征图进行全域特征捕获，具体地：全域特征捕获机制模块包括三个分支，第一分支包括卷积核大小1
×
1，步长1的卷积层，第二分支包括卷积核大小1
×
1，步长1的卷积层接转置，第三分支包括卷积核大小1
×
1，步长1的卷积层，第二分支与第三分支输出逐点相乘得到结构权重图，后接Softmax函数与第一分支输出逐点相乘得到全域特征图；四个全域特征捕获机制模块中的卷积层记为第25
‑
36层，输出的全域特征图与第15、、18、21、24层的输出在通道维进行堆叠。
[0019]进一步的，步骤S5中，构建的时间序列生成机制分支包括14层网络，网络内部层编号为第37至50层，其中第37、38、40、41、43、44层为卷积核大小3
×
3，步长1的卷积层；第39、42层为池化层，使用最大值池化，池化尺寸为2
×
2，步长为1；第45、48为卷积核大小2
×
2，步长1的反卷积层；第46、47、49、50层为卷积核大小3
×
3，步长1的卷积层；所有卷积层激活函数均使用ReLU函数；将输出的时间权重图与生成器基础网络模块的输出进行逐点相乘得到生成的超声造影影像。
[0020]进一步的，步骤S6中，建立的深度学习判别器网络模块包括12层网络，网络内部层编号为第51至62层，其中第51
‑
56层为卷积核大小4
×
4，步长2的卷积层；第57、58层为卷积核大小4
×
4，步长1的卷积层；第59层为卷积核大小1
×
1，步长1的卷积层；第60、61层卷积核大小3
×
3，步长1的卷积层；第62层为全连接层后接Softmax函数。
[0021]进一步的，步骤S7中，建立识别网络，基于Softmax的输出构建交叉熵损失函数，并基于训练集中输入的真实或生成影像训练网络；所述交叉熵损失函数L的计算公式为：
[0022][0023]其中，N表示每个批量中的样本个数，M表示分类任务的总类别，y
ic
表示真实或生成影像的标签，p
ic
表示对于观测样本i属于类别c的预测概率，其计算公式为：
[0024][0025]其中，x∈Z2表示二维坐标,d
c
(x)为通道编号为c的特征图在坐标为x处的值，通道总数记为K。各个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间序列生成对抗网络的无创超声造影影像生成方法，其特征在于，包括如下步骤：S1：进行实体肿瘤超声造影视频数据采集，将收集的超声造影影像数据按照7:2:1的比例划分为训练集、验证集和测试集；S2：建立超声造影影像预处理模块，对超声造影影像数据进行预处理；S3：构建深度学习生成器基础网络模块，对超声造影影像预处理模块预处理后的影像依次进行特征提取，生成特征图；S4：构建全域特征捕获机制模块，将生成器基础网络模块提取的特征图进行1
×
1卷积生成结构权重图，并与原始特征图相乘得到全域特征图；S5：构建时间序列生成机制分支，将时间戳作为随机噪声的参数生成噪声输入生成器，并构建生成器时间序列模块生成时间权重图；S6：建立深度学习判别器网络模块，针对生成器生成的超声造影影像与真实超声造影影像计算输出语义概率值；S7：建立识别网络模块与交叉熵损失函数，结合影像训练集中的超声造影影像数据训练各个模块，训练完成后固化各个模块的网络参数形成完整模型；S8：使用所述完整模型对新输入的超声造影影像进行处理，获取结节区域语义概率热图。2.根据权利要求1所述的方法，其特征在于，步骤S2中，对超声造影影像数据进行预处理，具体包括对超声造影视频进行抽帧，根据不同超声仪器的型号设定裁剪区域，裁剪无关信息，并将超声造影影像左侧的常规超声部分裁剪作为生成器的输入，将影像右侧的造影部分裁剪作为判别器的输入。3.根据权利要求1所述的方法，其特征在于，步骤S3中，构建的深度学习生成器基础网络模块包括24层网络，网络内部层编号为第1至24层，其中第1、2、4、5、7、8、10、11、13、14层为卷积核大小3
×
3，步长1的卷积层；第3、6、9、12层为池化层，使用最大值池化，池化尺寸为2
×
2，步长为1；第15、18、21、24为卷积核大小2
×
2，步长1的反卷积层；第16、17、19、20、22、23层为卷积核大小3
×
3，步长1的卷积层；所有卷积层激活函数均使用ReLU函数。4.根据权利要求3所述的方法，其特征在于，步骤S4中，所述全域特征捕获机制模块对生成器基础网络模块第2、5、8、10层输出的特征图进行全域特征捕获，具体地：全域特征捕获机制模块包括三个分支，第一分支包括卷积核大小1
×
1，步长1的卷积层，第二分支包括卷积核大小1
×
1，步长1的卷积层接转置，第三分支包括卷积核大小1
×
1，步长1的卷积层，第二分支与第三分支输出逐点相乘得到结构权重图，后接Softmax函数与第一分支输出逐点相乘得到全域特征图；四个全域特征捕获机制模块中的卷积层记为第25...

【专利技术属性】
技术研发人员：徐栋，赖敏，冯博健，姚劲草，
申请(专利权)人：浙江省肿瘤医院，
类型：发明
国别省市：