一种基于深度学习的小样本肿瘤坏死率分类预测装置制造方法及图纸

本发明专利技术提供一种基于深度学习的小样本肿瘤坏死率分类预测装置，包括：单张图像生成模块，被配置为将正常骨轮廓图像以及带有肿瘤坏死率类别标签的真实化疗前肿瘤图像输入训练后的第一生成对抗网络模型中，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像；时间序列图像生成模块，被配置为将所述生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型中，获得生成肿瘤时间序列图像；坏死率分类模块，被配置为采用所述生成肿瘤时间序列图像训练深度卷积神经网络模型以获得待检测肿瘤时间序列图像的肿瘤坏死率分类结果。该装置能够解决肿瘤样本数量稀少、漏诊误诊率较高的问题。

A classification and prediction device of tumor necrosis rate based on deep learning

【技术实现步骤摘要】
一种基于深度学习的小样本肿瘤坏死率分类预测装置
本专利技术涉及计算机辅助诊断
，尤其涉及一种基于深度学习的小样本肿瘤坏死率分类预测装置。
技术介绍
原发恶性骨肿瘤是一组恶性程度很高的肿瘤，以骨肉瘤、尤文肉瘤和未分化肉瘤(恶性纤维组织细胞瘤)为代表。其中，最常见的骨肉瘤(Osteosarcoma，OS)起病隐匿、生长迅速、与神经血管关系密切、容易早期发生远处转移，是儿童和青少年人群中致死率仅次于白血病的恶性肿瘤。骨肉瘤患者就诊时的肿瘤分期与其生存预后直接相关。约有至少50％的患者会在确诊1年内发生肺转移。发生肺转移的患者预后极差，五年生存率不足20％。早期发现和明确诊断是治疗骨肉瘤等其他原发恶性肿瘤的关键。此外，原发恶性骨肿瘤给患儿家庭和社会带来了极大的危害。虽然诊疗水平的进步让90％的患儿在初次手术时均可保留肢体，但是高达20-30％的患儿会因肿瘤局部复发或人工假体并发症接受二次手术。反复手术给患儿身心平添了巨大伤害。另外，由于该类肿瘤遵循新辅助化疗-手术-术后化疗的治疗原则，大剂量高强度化疗经常让患儿不堪打击，患儿及其家庭在治疗过程中承受了化疗副反应带来的巨大痛苦。除此之外，漫长的治疗过程也给患儿家庭和社会带来的极大的经济负担。目前，X线检查目前仍然是基层医疗机构早期筛查和诊断该类疾病的主要方法。但是由于原发恶性骨肿瘤十分少见，基层一线骨科影像科医生并不完全具备准确诊断和判断的能力，疾病的漏诊误诊率较高。有相当高比例的原发恶性肿瘤患者会因诊断不及时错过治疗的最佳时机。诊断延误恶化了治疗开始前肿瘤的临床分期，增加了肿瘤肺转移的可能性，给患者的生存预后带来了负面影响。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种基于深度学习的小样本肿瘤坏死率分类预测装置，以解决肿瘤样本数量稀少、漏诊误诊率较高的问题。基于上述目的，本专利技术提供了一种基于深度学习的小样本肿瘤坏死率分类预测装置，包括：单张图像生成模块，被配置为将正常骨轮廓图像以及带有肿瘤坏死率类别标签的真实化疗前肿瘤图像输入训练后的第一生成对抗网络模型中，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像；时间序列图像生成模块，被配置为将所述生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型中，获得生成肿瘤时间序列图像；坏死率分类模块，被配置为采用所述生成肿瘤时间序列图像训练深度卷积神经网络模型以获得待检测肿瘤时间序列图像的肿瘤坏死率分类结果。从上面所述可以看出，本专利技术提供的基于深度学习的小样本肿瘤坏死率分类预测装置，通过单张图像生成模块扩充了用于训练第二生成对抗网络模型的化疗前肿瘤图像的数量，从而解决因化疗前肿瘤图像样本数量稀少影响后续模型训练效果的问题；单张图像生成模块的输出数据生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型，从而可以按照需要生成大量的肿瘤时间序列图像，扩充了肿瘤时间序列图像的样本数据，从而解决因肿瘤时间序列图像样本数量少影响后续深度卷积神经网络模型训练效果的问题；最后通过获得的生成肿瘤时间序列图像去训练坏死率分类模块30中的深度卷积神经网络模型，使得该深度卷积神经网络模型可以对待检测肿瘤时间序列图像进行分类，从而获得对应的坏死率分类结果。本实施例所述基于深度学习的小样本肿瘤坏死率分类预测装置通过X射线拍摄的肿瘤图像即可辅助医生实现对肿瘤的诊断，有助于提高基层医院对肿瘤疾病的整体诊断水平，让患者获得更好的生存预后和生活质量。附图说明为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例基于深度学习的小样本肿瘤坏死率分类预测装置的第一结构示意图；图2为本专利技术实施例基于深度学习的小样本肿瘤坏死率分类预测装置的第二结构示意图；图3为本专利技术实施例单张图像生成模块的结构示意图；图4为本专利技术实施例提取正常骨轮廓图像的流程图；图5为本专利技术实施例预处理提取正常骨轮廓结果图；图6为本专利技术实施例单张图像生成模块的第一训练单元结构示意图；图7为本专利技术实施例生成化疗前肿瘤图像的流程图；图8为本专利技术实施例时间序列图像生成模块的结构示意图；图9为本专利技术实施例第二生成对抗网络模型的结构示意图；图10为本专利技术实施例基本卷积长短期记忆生成单元的结构示意图；图11为本专利技术实施例基本卷积长短期记忆生成单元中卷积操作的流程图；图12为本专利技术实施例第二生成网络的结构示意图；图13为本专利技术实施例第二生成网络的具体变量定义结构示意图；图14为本专利技术实施例第二判别网络的结构示意图；图15为本专利技术实施例第二判别网络的具体变量定义结构示意图；图16为本专利技术实施例第二生成对抗网络模型的训练流程示意图；图17为本专利技术实施例坏死率分类模块的结构示意图；图18为本专利技术实施例深度卷积神经网络模型的结构示意图。具体实施方式为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。股骨远端、胫骨近端及肱骨是原发骨恶性肿瘤的三大好发部位。高达62％的原发骨恶性骨肿瘤发生于膝关节周围(股骨远端、胫骨近端、腓骨近端)。对原发恶性骨肿瘤进行肿瘤坏死率计算时通常需要将取瘤体样本处理后置于显微镜下观察计算，基层医疗机构很难以具有这样的条件。基层医疗机构普遍使用X线检查，而由于该病十分少见，基层一线骨科影像科医生很难以通过X射线获得正确的检查结果，导致该疾病的漏诊误诊，延误治疗时机。同时由于该病少见，导致肿瘤样本数据极难获得。基于上述原因，本说明书的一个或多个实施例提出一种基于深度学习的小样本肿瘤坏死率分类预测装置，以解决肿瘤检测问题。如图1所示，该装置包括：单张图像生成模块10，被配置为将正常骨轮廓图像以及带有肿瘤坏死率类别标签的真实化疗前肿瘤图像输入训练后的第一生成对抗网络模型中，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像。在本实施例中，真实化疗前肿瘤图本文档来自技高网...

【技术保护点】
1.一种基于深度学习的小样本肿瘤坏死率分类预测装置，其特征在于，包括：/n单张图像生成模块，被配置为将正常骨轮廓图像以及带有肿瘤坏死率类别标签的真实化疗前肿瘤图像输入训练后的第一生成对抗网络模型中，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像；/n时间序列图像生成模块，被配置为将所述生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型中，获得生成肿瘤时间序列图像；/n坏死率分类模块，被配置为采用所述生成肿瘤时间序列图像训练深度卷积神经网络模型以获得待检测肿瘤时间序列图像的肿瘤坏死率分类结果。/n

【技术特征摘要】
1.一种基于深度学习的小样本肿瘤坏死率分类预测装置，其特征在于，包括：
单张图像生成模块，被配置为将正常骨轮廓图像以及带有肿瘤坏死率类别标签的真实化疗前肿瘤图像输入训练后的第一生成对抗网络模型中，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像；
时间序列图像生成模块，被配置为将所述生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型中，获得生成肿瘤时间序列图像；
坏死率分类模块，被配置为采用所述生成肿瘤时间序列图像训练深度卷积神经网络模型以获得待检测肿瘤时间序列图像的肿瘤坏死率分类结果。


2.根据权利要求1所述的装置，其特征在于，所述单张图像生成模块还被配置为：
获取正常骨轮廓图像、肿瘤病变图以及带有坏死率类别标签的真实化疗前肿瘤图像，将所述正常骨轮廓图像划分为正常骨轮廓图像训练数据集以及正常骨轮廓图像测试数据集；
将所述肿瘤病变图、所述正常骨轮廓图像训练数据集拼接后输入所述第一生成对抗网络模型进行训练，得到训练后的所述第一生成对抗网络模型；
将所述正常骨轮廓图像测试数据集以及带有坏死率类别标签的真实化疗前肿瘤图像拼接后输入训练后的所述第一生成对抗网络模型，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像。


3.根据权利要求2所述的装置，其特征在于，所述单张图像生成模块还被配置为：
将所述正常骨轮廓图像训练数据集与所述肿瘤病变图输入所述第一生成对抗网络模型的第一生成网络中，获得生成细节病变图；
将所述正常骨轮廓图像训练数据集以及与之对应的所述生成细节病变图输入所述第一生成对抗网络模型的第一判别网络，计算第一生成损失函数；
将所述正常骨轮廓图像训练数据集及与之拼接的所述肿瘤病变图输入所述第一判别网络，并基于输入所述第一判别网络的所述正常骨轮廓图像训练数据集及与之对应的所述生成细节病变图，计算第一判别损失函数；
基于所述第一生成损失函数及所述第一判别损失函数对所述第一生成网络及所述第一判别网络进行迭代地对抗训练至所述第一生成网络及所述第一判别网络均收敛，得到训练完成的所述第一生成对抗网络模型。


4.根据权利要求3所述的装置，其特征在于，
所述第一生成损失函数包括：



其中，x*i∈{x*1,x*2,...,x*m}表示所述正常骨轮廓图像训练数据集及与之拼接的生成细节病变图中采样的m个样本，D(x)为所述第一判别网络；
所述第一判别损失函数包括：



其中，xi∈{x1,x2,...,xm}表示从所述正常骨轮廓图像训练数据集及与之拼接的所述肿瘤病变图中采样的m个样本，x*i∈{x*1,x*2,...,x*m}表示所述正常骨轮廓图像训练数据集及与之拼接的生成细节病变图中采样的m个样本，D(x)为所述第一判别网络。


5.根据权利要求1所述的装置，其特征在于，所述时间序列图像生成模块还被配置为：
构建第二生成对抗网络模型；
获取真实肿瘤时间序列图像，将所述真实肿瘤时间序列图像输入所述第二生成对抗网络模型进行训练，获得训练后的所述第二生成对抗网络模型；
获取所述真实化疗前肿瘤图像，将所述真实化疗前肿瘤图像与所述生成化疗前肿瘤图像输入训练后的所述第二生成对抗网络模型，获得所述生成肿瘤时间序列图像。


6.根据权利要求5所述的装置，其特征在于，所述时间序列图像生成模块还被配置为：
构建基本卷积长短期记忆生成单元；其中，所述基本卷积长短期记忆生成单元的输入包括(Ct-1,ht-1,xt)，其中Ct-1表示上一个时间序列传递的长时记忆状态；ht-1表示上一个时间序列传递的短时记忆状态，xt表示输入图像；所述基本卷积长短期记忆生成单元的状态更新公式包括：















it表示输入门，ft表示遗忘门，ot表示输出门，ht表示短期记忆状态，Ct表示长时记忆状态，*表示卷积操作，表示哈达玛乘积，σ表示激活函数为sigmoid函数，tanh表示tanh激活函数，xt表示输入图像数据，Wxi、Whi、Wci分别表示输入图像和上一个时间阶段的短时记忆状态进行卷积操作的权重项，bi表示对应的偏置项；所述基本卷积长短期记忆生成单元的输出包括(Ct,ht,ht)，Ct表示对下一个时间序列传递的长时记忆状态，第一个ht表示对下一个时间序列传递的短时记忆状态，第二个ht表示本时序的阶段性输出；
将两个所述基本卷积长短期记忆生成单元进行级联获得两层卷积长短期记忆生成单元；所述两层卷积长短期记忆生成单元的输入包括(C1t-1,h1t-1,C2t-1,h2t-1,...

【专利技术属性】
技术研发人员：牛凯，贺志强，宋天琪，卢阳，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11