一种基于多模型神经网络联合预测放疗结构位置的方法技术

本发明专利技术属于医学影像和计算机技术领域，涉及一种基于多模型神经网络联合预测放疗结构位置的方法、设备和存储介质。本发明专利技术使用多个不同的模型对同一器官的医学图像进行分割，根据器官在医学影像上下层的跟随性，通过比较不同模型预测出的掩模与上一层掩模质心距离的接近程度来降低小器官分割中掩模的假阴、假阳；通过比较不同模型预测出的掩模与上一层掩模的dice系数的高低程度来降低大器官分割中掩模的假阴、假阳。相比于单模型的调优，本发明专利技术通过多模型联合预测放疗结构可以明显的改善上述问题，具有很强的普适性。

A joint prediction method of radiotherapy structure position based on multi model neural network

【技术实现步骤摘要】
一种基于多模型神经网络联合预测放疗结构位置的方法
本专利技术属于医学影像和计算机
，主要涉及一种基于多模型神经网络放疗结构位置的方法、设备和存储介质。
技术介绍
在医院对病人进行放射治疗的过程中，往往涉及到目标靶区的分割，目前医生主要是采用手工分割的方式，手工分割费时费力，影响医生的工作效率，更影响病人的及时治疗。随着深度学习技术的发展，基于深度学习技术的医学图像自动分割技术成为医学领域的热门研究。北京连心医疗科技有限公司已经开发完成了多个人体多部位危及器官和靶区的自动分割并在多个国内医院中使用该技术。但现有的放疗结构(放疗结构包括靶区和危及器官)的自动分割(勾画)中的分割结果往往存在一定比例的假阳或假阴，其中所谓假阳就是分割CT影像中放疗结构时将不是放疗结构的地方也错误地分割为放疗结构，造成自动分割时预测的放疗结构比实际偏大或者分割到其他器官位置上去；假阴就是分割CT影像中放疗结构时将本属于放疗结构的位置错误地识别为空白，造成自动分割时预测的放疗结构比实际偏小或者不分割，例如，对于肺部这种大器官，很容易会出现豁口现象，使得本来属于肺部的区域被漏画－－假阴。不论假阴还是假阳都会对自动分割结果的精度产生很大影响。自动分割不准确将导致后续放疗剂量计算发生偏差，影响最终放疗效果。在基于深度学习网络模型的自动分割中，使用单一模型由于同一位置的结果只有一个模型给出，没有备选项，无法横向比较，因此很难避免上述假阴和假阳现象。
技术实现思路
本专利技术的目的在于为克服现有技术的缺陷而提供一种基于多模型神经网络联合预测放疗结构位置的方法、设备和存储介质。为实现上述目的，本专利技术采用以下技术方案：本专利技术通过利用多个神经网络模型对人体医学影像(例如CT影像、MR影像、超声波影像等)进行放疗结构分割，对于同一位置会给出很多种模型预测的结果，当各模型的分割结果相同，则认为分割结果正确；而如果各模型的分割结果不一致，则表明某些(个)模型的分割结果出现错误，而需要根据器官上下层的跟随性这一生理特征，从多个模型预测结果中选择一个与上一层结果最接近的，即认为是该层的最优结果，这就控制了假阳，改善了分割效果；当该层结果在单一模型下预测为空时，使用多模型时，其他模型不一定也预测为空，这就控制了假阴。一种基于多模型神经网络联合预测放疗结构位置的方法，适于在计算设备中执行，包括如下步骤：(1)、构建并训练若干不同的用于预测放疗结构的神经网络模型；(2)、分别使用训练好的多个神经网络模型对医学影像中的目标器官进行分割预测；(3)、判断各神经网络模型对同一个目标器官所预测的掩模(mask)是否为空；如果各模型的预测结果均为空，则检查下一层影像的预测结果；如果通过多个模型仅预测得到一个包含掩模的结果，将该预测结果作为最终结果；如果多个神经网络模型预测得到一个以上包含掩模的结果，进入步骤(4)；(4)、判断医学影像中目标器官属于大器官还是小器官；如果属于小器官进入步骤(5)；如果属于大器官进入步骤(6)；(5)、比较不同神经网络模型预测出的当前层掩模(mask)与上一层掩模目标器官的质心距离，选择质心距离最近的分割结果作为最优结果；通过本步骤操作可以降低小器官分割中mask的假阴、假阳；(6)、比较不同模型预测出的目标器官的当前层掩模与上一层掩模的dice系数，将dice系数最高的掩模结果作为最终分割结果；降低对医学影像中大器官自动分割掩模中的假阴。所述的医学影像为CT影像、磁共振(MR)影像或超声波影像。所述的神经网络模型为2D和/或3D神经网络模型，优选地，构建大于等于3个神经网络模型对医学影像进行放疗结构分割。所述的步骤(4)前，还包括通过器官分类神经网络模型或人工筛选的方式找出含有目标器官的CT图像层的步骤。所述的小器官为平均横截面积小于200平方毫米的器官，所述的大器官为除小器官以外的其他器官；优选的，所述的大器官包括肺、心脏、股骨头等；所述的小器官包括气管、食管、血管、眼睛、垂体、脊髓、晶状体、肠道等。本专利技术还提供一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括基于多模型神经网络联合预测放疗结构位置的方法的指令。本专利技术还提供一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述基于多模型神经网络联合预测放疗结构位置的方法。本专利技术具有以下有益结果：使用多个不同的模型对同一器官的CT图像进行分割分割，根据器官CT上下层的跟随性。对于人体小器官(例如气管、食管、血管等)，通过比较不同模型预测出的mask与上一层mask质心距离的接近程度来降低小器官分割中mask的假阴、假阳；对于人体大器官(例如肺)通过比较不同模型预测出的mask与上一层mask的dice系数的高低程度来降低大器官分割中mask的豁口、假阴。与单个神经网络模型的调优相比，多模型可以明显的改善上述问题，具有很强的普适性，并且还能将2D与3D的U-net网络模型有机结合起来，同时还能针对spacing的不同分别调用最适合它的模型。附图说明图1为本专利技术一个示例实施例中对CT影像中的食道进行自动分割结果示意图，其中(a)为通过单一2D模型分割的结果，分割结果中存在假阴；(b)为本专利技术实施例1中通过3个2D神经网络模型联合分割的结果。图2为本专利技术一个示例实施例中对CT影像中的食道进行自动分割结果示意图，其中(a)为单一2D模型分割的结果，分割结果中存在假阴和假阳；(b)为本专利技术实施例1中通过3个2D神经网络模型联合分割的结果。图3为本专利技术一个示例实施例中对CT影像中的食道进行自动分割结果示意图，其中(a)为通过单一2D模型分割的结果，分割结果存在假阴；(b)为通过3个2D模型联合分割的结果。图4为本专利技术一个示例实施例中对CT影像中的气管进行自动分割结果示意图，其中(a)为通过单一2D模型分割的结果，分割结果存在假阴；(b)为通过3个2D模型联合分割的筛选结果。图5为本专利技术一个示例实施例中对CT影像中的降主总动脉进行自动分割结果示意图，其中(a)为通过单个3D模型分割的结果，分割结果存在假阴；(b)为通过单个2D模型分割的结果，该结果明显改善；(c)为通过单个3D归一化模型分割的结果，不饱满，假阴。图6为本专利技术一个示例实施例中对CT影像中的降主总动脉进行自动分割结果示意图，其中(a)为单个3D模型分割的结果，很好；(b)为单个2D模型分割的结果，存在假阳和假阴；(c)为单个3D归一化模型分割的结果，略次与(a)。图7为本专利技术一个示例实施例中对CT影像中的降主总动脉进行自动分割结果示意图，其中(a)为本文档来自技高网...

【技术保护点】
1.一种基于多模型神经网络联合预测放疗结构位置的方法，适于在计算设备中执行，其特征在于：包括如下步骤：/n(1)、构建并训练若干不同的用于预测放疗结构的神经网络模型；/n(2)、分别使用训练好的多个神经网络模型对医学影像中的目标器官进行分割预测；/n(3)、判断各神经网络模型对同一个目标器官所预测的掩模是否为空；如果各模型的预测结果均为空，则检查下一层影像的预测结果；如果通过多个模型仅预测得到一个包含掩模的结果，将该预测结果作为最终结果；如果多个神经网络模型预测得到一个以上包含掩模的结果，进入步骤(4)；/n(4)、判断医学影像中目标器官属于大器官还是小器官；如果属于小器官进入步骤(5)；如果属于大器官进入步骤(6)；/n(5)、比较不同神经网络模型预测出的当前层掩模与上一层掩模目标器官的质心距离，选择质心距离最近的分割结果作为最优结果；/n(6)、比较不同模型预测出的目标器官的当前层掩模与上一层掩模的dice系数，将dice系数最高的掩模结果作为最终分割结果。/n

【技术特征摘要】
20180906 CN 20181103639931.一种基于多模型神经网络联合预测放疗结构位置的方法，适于在计算设备中执行，其特征在于：包括如下步骤：
(1)、构建并训练若干不同的用于预测放疗结构的神经网络模型；
(2)、分别使用训练好的多个神经网络模型对医学影像中的目标器官进行分割预测；
(3)、判断各神经网络模型对同一个目标器官所预测的掩模是否为空；如果各模型的预测结果均为空，则检查下一层影像的预测结果；如果通过多个模型仅预测得到一个包含掩模的结果，将该预测结果作为最终结果；如果多个神经网络模型预测得到一个以上包含掩模的结果，进入步骤(4)；
(4)、判断医学影像中目标器官属于大器官还是小器官；如果属于小器官进入步骤(5)；如果属于大器官进入步骤(6)；
(5)、比较不同神经网络模型预测出的当前层掩模与上一层掩模目标器官的质心距离，选择质心距离最近的分割结果作为最优结果；
(6)、比较不同模型预测出的目标器官的当前层掩模与上一层掩模的dice系数，将dice系数最高的掩模结果作为最终分割结果。


2.根据权利要求1所述的基于多模型神经网络联合预测放疗结构位置的方法，其特征在于：所述的医学影像为CT影像、磁共振影像或超声波影像。


3.根据权利要求...

【专利技术属性】
技术研发人员：胡志强，崔德琪，章桦，
申请(专利权)人：北京连心医疗科技有限公司，
类型：发明
国别省市：北京;11