网络模型训练方法、装置、设备、介质及程序产品制造方法及图纸

本公开提供了一种网络模型训练方法及装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质、计算机程序产品，涉及深度学习技术领域，尤其涉及图像分割技术领域。本公开首先基于多张第一样本图像针对目标对象的标注信息，生成目标对象对应的概率图谱；之后利用概率图谱和没有标注的图像进行预训练，能够得到包含质量较高的网络参数的预训练模型，在此基础之上，再利用少量的有标注的医学图像对预训练模型进行进一步地训练，得到的图像分割模型具有较高的图像分割精度。割模型具有较高的图像分割精度。割模型具有较高的图像分割精度。

【技术实现步骤摘要】
网络模型训练方法、装置、设备、介质及程序产品


[0001]本公开涉及深度学习
，尤其涉及图像分割
，公开了一种网络模型训练方法及装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质、计算机程序产品。

技术介绍

[0002]医学图像分割领域主要可分为两大类型的分割，一种是结构分割(例如脑组织、肺部、肝脏及心脏等)，另一种是病灶分割。近年来深度学习在医学图像分割领域取得了非常好的效果，具有高鲁棒、精度更高、速度更快的优势。一般来讲，深度学习需要大量的标注数据来完成模型的训练，然而由于医学图像主要为三维影像，且医学图像质量较传统自然图像相比对比度差，标注难度大、标注非常耗时，导致医学图像分割领域，标注数据量都比较少，这极大地限制了深度学习在医学图像分割领域中的应用。

技术实现思路

[0003]本公开至少提供了一种网络模型训练方法、装置、设备、程序产品以及存储介质。
[0004]根据本公开的一方面，提供了一种网络模型训练方法，包括：
[0005]基于多张第一样本图像针对目标对象的标注信息，生成目标对象对应的概率图谱；
[0006]基于概率图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标进行模型训练，得到预训练模型；
[0007]基于多张第三样本图像和第三样本图像对目标对象的标注信息，对预训练模型进行训练，得到针对目标对象的图像分割模型。
[0008]根据本公开的另一方面，提供了一种网络模型训练方法，包括：
[0009]基于多张第一样本图像针对目标对象的标注信息，生成目标对象对应的概率图谱；
[0010]基于概率图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标进行模型训练，得到图像恢复模型。
[0011]根据本公开的另一方面，提供了一种网络模型训练装置，包括：
[0012]第一图谱确定模块，用于基于多张第一样本图像针对目标对象的标注信息，生成目标对象对应的概率图谱；
[0013]预训练模块，用于基于概率图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标进行模型训练，得到预训练模型；
[0014]分割模型训练模块，用于基于多张第三样本图像和第三样本图像对目标对象的标注信息，对预训练模型进行训练，得到针对目标对象的图像分割模型：
[0015]根据本公开的另一方面，提供了一种网络模型训练装置，包括：
[0016]第二图谱确定模块，用于基于多张第一样本图像针对目标对象的标注信息，生成
目标对象对应的概率图谱；
[0017]恢复模型训练模块，用于基于概率图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标进行模型训练，得到图像恢复模型。
[0018]根据本公开的另一方面，提供了一种电子设备，包括：
[0019]至少一个处理器；以及
[0020]与该至少一个处理器通信连接的存储器；其中，
[0021]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
[0022]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
[0023]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。
[0024]根据本公开的技术利用概率图谱和没有标注的图像，即第二样本图像进行预训练，能够得到包含质量较高的网络参数的预训练模型，在此基础之上，再利用少量的有标注的医学图像，即第三样本图像对预训练模型进行进一步地训练，得到的图像分割模型能够确定分割精度较高的医学图像的分割结果。
[0025]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0026]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0027]图1是根据本公开网络模型训练方法的流程图之一；
[0028]图2是根据本公开预训练模型的训练方法的流程图；
[0029]图3是根据本公开编码器的结构示意图；
[0030]图4是根据本公开图像分割模型的训练方法的流程图；
[0031]图5是根据本公开网络模型训练方法的流程图之二；
[0032]图6是根据本公开网络模型训练方法的流程图之三；
[0033]图7是根据本公开网络模型训练方法的流程图之四；
[0034]图8是根据本公开网络模型训练装置的结构示意图之一；
[0035]图9是根据本公开网络模型训练装置的结构示意图之二；
[0036]图10是根据本公开的电子设备的结构示意图。
具体实施方式
[0037]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0038]医学图像分割领域主要可分为两大类型的分割，一种是结构分割(例如脑组织、肺部、肝脏及心脏等)，另一种是病灶分割。近年来深度学习在医学图像分割领域取得了非常
好的效果，具有高鲁棒、精度更高、速度更快的优势。一般来讲，深度学习需要大量的标注数据来完成模型的训练，然而由于医学图像主要为三维影像，且医学图像质量较传统自然图像相比对比度差，标注难度大、标注非常耗时，导致医学图像分割领域，标注数据量都比较少，这极大地限制了深度学习在医学图像分割领域中的应用。
[0039]针对该技术缺陷，本公开至少提供了一种网络模型训练方法、装置、设备、程序产品以及存储介质。本公开利用概率图谱和没有标注的图像，即第二样本图像进行预训练，能够得到包含质量较高的网络参数的预训练模型，在此基础之上，再利用少量的有标注的医学图像，即第三样本图像对预训练模型进行进一步地训练，得到的图像分割模型能够确定分割精度较高的医学图像的分割结果。
[0040]下面通过具体的实施例对本公开的网络模型训练方法进行说明。
[0041]图1示出了本公开实施例的网络模型训练方法的流程图，该实施例的执行主体可以是具有计算能力的设备。如图1所示，本公开实施例的网络模型训练方法可以包括如下步骤：
[0042]S110、基于多张第一样本图像针对目标对象的标注信息，生成目标对象对应的概率图谱。
[0043]上述第一样本图像可以是有标注信息的医学图像，例如可以是有肝脏对应的标注信息的腹部图像。上述标注信息具体可以包括胸部图像中各个像素段点是否属于肝脏的信息。...

【技术保护点】

【技术特征摘要】
1.一种网络模型训练方法，包括：基于多张第一样本图像针对目标对象的标注信息，生成所述目标对象对应的概率图谱；基于所述概率图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标进行模型训练，得到预训练模型；基于多张第三样本图像和第三样本图像对目标对象的标注信息，对所述预训练模型进行训练，得到针对所述目标对象的图像分割模型。2.根据权利要求1所述的方法，其中，所述概率图谱包括预设尺寸的图像中各个像素点属于目标对象的概率；所述基于所述概率图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标进行模型训练，得到预训练模型，包括：对所述概率图谱中包括的各个概率进行取反操作，得到目标图谱；基于所述目标图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标进行模型训练，得到预训练模型。3.根据权利要求2所述的方法，其中，所述基于所述目标图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标进行模型训练，得到预训练模型，包括：针对每张第二样本图像，将所述第二样本图像分割成多个图像块，并掩膜掉至少一个图像块；将各张第二样本图像剩余的图像块输入待训练的预训练模型，得到各张第二样本图像对应的预测还原图像；基于各张第二样本图像、各张预测还原图像以及所述目标图谱，确定图像恢复损失信息；基于所述图像恢复损失信息，以恢复各张第二样本图像中被掩膜掉的图像块为目标，对所述待训练的预训练模型进行训练，得到训练好的预训练模型。4.根据权利要求2或3所述的方法，其中，所述预设尺寸的图像与所述第二样本图像具有相同的分辨率和尺寸。5.根据权利要求1至4任一项所述的方法，其中，所述基于多张第一样本图像针对目标对象的标注信息，生成所述目标对象对应的概率图谱，包括：针对每张第一样本图像，基于所述第一样本图像针对目标对象的标注信息，生成所述第一样本图像针对所述目标对象的掩膜图像；基于各张第一样本图像对应的掩膜图像，生成所述目标对象对应的概率图谱。6.根据权利要求5所述的方法，其中，所述基于所述第一样本图像针对目标对象的标注信息，生成所述第一样本图像针对所述目标对象的掩膜图像，包括：对第一样本图像进行第一预处理操作，得到具有预设分辨率的第一图像；对第一图像进行第二预处理操作，得到具有预设尺寸的第二图像；基于所述第一样本图像针对目标对象的标注信息和第二图像，生成所述目标对象对应的掩膜图像。7.根据权利要求1至6任一项所述的方法，其中，所述基于多张第三样本图像和第三样本图像对目标对象的标注信息，对所述预训练模型进行训练，得到针对所述目标对象的图
像分割模型，包括：将各张所述第三样本图像分割成多个图像块，并将各张第三样本图像的图像块输入预训练模型，得到各张第三样本图像对应的预测分割图像；基于各张第三样本图像对目标对象的标注信息、各张预测分割图像，确定图像分割损失信息；基于所述图像分割损失信息，对所述预训练模型进行训练，得到针对所述目标对象的图像分割模型。8.根据权利要求7所述的方法，其中，所述图像分割损失信息包括多个类别的图像分割子损失信息；所述基于所述图像分割损失信息，对所述预训练模型进行训练，得到针对所述目标对象的图像分割模型，包括：基于所述多个类别的图像分割子损失信息，确定目标损失信息；基于所述目标损失信息，对所述预训练模型进行训练，得到针对所述目标对象的图像分割模型。9.根据权利要求1至8任一项所述的方法，其中，所述第一样本图像包括医学图像；和/或，所述第二样本图像包括医学图像；和/或，所述第三样本图像包括医学图像。10.一种网络模型训练方法，包括：基于多张第一样本图像针对目标对象的标注信息，生成所述目标对象对应的概率图谱；基于所述概率图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标进行模型训练，得到图像恢复模型。11.根据权利要求10所述的方法，其中，所述概率图谱包括预设尺寸的图像中各个像素点属于目标对象的概率；所述基于所述概率图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标进行模型训练，得到图像恢复模型，包括：对所述概率图谱中包括的各个概率进行取反操作，得到目标图谱；基于所述目标图谱和多张第二样本图像，以恢复各张第二样本图像中被掩膜掉的图像块为目标...

【专利技术属性】
技术研发人员：刘佳，王兆玮，孙钦佩，杨叶辉，王晓荣，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：