网络模型训练方法及装置、病灶定位方法及装置制造方法及图纸

公开了一种网络模型训练方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。该网络模型训练方法包括：确定包括病灶的医学图像，其中，医学图像为胸部正位片图像；基于医学图像确定医学图像对应的病灶定位信息和组织定位信息；基于病灶定位信息、组织定位信息和医学图像生成训练数据；确定初始网络模型，并基于训练数据训练初始网络模型，以生成定位模型，其中，定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。本公开实施例能够提高所生成的定位模型的精准度和鲁棒性，进而提高后续的病灶定位的定位精准度和鲁棒性。此外，能够极大提高训练速度。

【技术实现步骤摘要】
网络模型训练方法及装置、病灶定位方法及装置
本公开涉及图像处理
，具体涉及网络模型训练方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。
技术介绍
随着医学影像技术和图像处理技术的快速发展，基于医学影像的病灶定位技术日益成为辅助治疗的重要手段。然而，由于现有病灶定位方法主要通过对大量的高精度医学图像(比如包括数百张的CT图像序列)进行连续预测的方式来实现病灶定位，因此其定位速度较低。并且，由于现有病灶定位方法极易受到图像对比度、亮度等因素影响，因此其定位精准度和鲁棒性均较差。尤其当将现有病灶定位方法应用到包含肺器官的医学图像时，呼吸运动伪影会直接影响定位精准度，甚至直接导致定位失败。因此，如何提高病灶定位方法的定位速度、定位精准度以及鲁棒性是亟待解决的问题。
技术实现思路
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种网络模型训练方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。在一方面，本公开实施例提供了一种网络模型训练方法，该网络模型训练方法包括：确定包括病灶的医学图像，其中，医学图像为胸部正位片图像；基于医学图像确定医学图像对应的病灶定位信息和组织定位信息；基于病灶定位信息、组织定位信息和医学图像生成训练数据；确定初始网络模型，并基于训练数据训练初始网络模型，以生成定位模型，其中，定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。在本公开一实施例中，初始网络模型包括病灶区域定位模块和组织定位模块，基于训练数据训练初始网络模型，包括：基于病灶定位信息和医学图像训练病灶区域定位模块；基于组织定位信息和医学图像训练组织定位模块。在本公开一实施例中，病灶区域定位模块包括特征提取单元、与特征提取单元信号连接的病灶识别单元以及与病灶识别单元信号连接的病灶定位单元，其中，特征提取单元用于提取多尺度的特征图，并基于多尺度的特征图进行特征融合操作，以获取图像融合信息；病灶识别单元用于基于多尺度的特征图和图像融合信息确定多尺度的特征图对应的病灶预测框；病灶定位单元用于确定病灶预测框对应的坐标信息。在本公开一实施例中，病灶识别单元还用于对多尺度的特征图对应的病灶预测框进行非极大值抑制操作。在本公开一实施例中，病灶区域定位模块和/或组织定位模块基于ResNext-50网络模型和特征金字塔网络模型确定。在本公开一实施例中，胸部正位片图像为CT定位片图像，病灶为具备肺部炎症特征的病灶，肺部炎症特征包括密度特征、透亮度特征、实变特征、渗出特征和感染特征中的至少一种。在本公开一实施例中，组织定位信息包括肺野关键点定位信息，肺野关键点定位信息包括肺尖轮廓关键点信息、膈面轮廓关键点信息、肺尖至肋膈角轮廓关键点信息和肺尖至心膈角轮廓关键点信息中的至少一种。在另一方面，本公开实施例提供了一种病灶定位方法，应用于包括病灶的胸部正位片图像，该病灶定位方法包括：将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，其中，定位信息包括组织定位信息和第一病灶定位信息，定位模型基于上述任一实施例所述的网络模型训练方法获得；基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息。在本公开一实施例中，组织定位信息包括肺野关键点定位信息，基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息，包括：基于肺野关键点定位信息确定胸部正位片图像对应的肺野区域信息；基于第一病灶定位信息确定胸部正位片图像对应的病灶区域信息；基于肺野区域信息和病灶区域信息确定第二病灶定位信息。在本公开一实施例中，基于肺野区域信息和病灶区域信息确定第二病灶定位信息，包括：基于病灶区域信息确定病灶区域对应的中心点信息；基于中心点信息和肺野区域信息确定中心点与肺野区域的相对位置关系；基于相对位置关系确定第二病灶定位信息。在另一方面，本公开实施例提供了一种网络模型训练装置，该网络模型训练装置包括：医学图像确定模块，用于确定包括病灶的医学图像，其中，医学图像为胸部正位片图像；定位信息确定模块，用于基于医学图像确定医学图像对应的病灶定位信息和组织定位信息；训练数据生成模块，用于基于病灶定位信息、组织定位信息和医学图像生成训练数据；定位模型生成模块，用于确定初始网络模型，并基于训练数据训练初始网络模型，以生成定位模型，其中，定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。在另一方面，本公开实施例提供了一种病灶定位装置，应用于包括病灶的胸部正位片图像，该病灶定位装置包括：第一确定模块，用于将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，其中，定位信息包括组织定位信息和第一病灶定位信息，定位模型基于上述任一实施例所述的网络模型训练方法获得；第二确定模块，用于基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息。在另一方面，本公开实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述实施例所提及的网络模型训练方法或病灶定位方法。在另一方面，本公开实施例提供了一种电子设备，该电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，处理器用于执行上述实施例所提及的网络模型训练方法或病灶定位方法。本公开实施例提供的网络模型训练方法，通过基于包括病灶的医学图像确定医学图像对应的病灶定位信息和组织定位信息，基于病灶定位信息、组织定位信息和医学图像生成训练数据，并基于训练数据训练初始网络模型以生成定位模型的方式，实现了生成能够用于确定包括病灶的胸部正位片图像对应的定位信息的定位模型的目的。由于训练数据是基于病灶定位信息、组织定位信息和医学图像确定的，因此，本公开实施例提及的定位模型不仅能够确定包括病灶的胸部正位片图像的病灶定位信息，而且还能够确定包括病灶的胸部正位片图像的组织定位信息。与利用单一定位信息训练生成定位模型相比，本公开实施例能够确定具备关联关系的多维度定位信息，进而利用关联关系和多维度定位信息提高后续的病灶定位的定位精准度和鲁棒性。此外，本公开实施例基于包括病灶的胸部正位片图像进行模型训练操作，与现有采用CT图像序列进行模型训练操作相比，本公开实施例能够极大提高训练速度。并且，本公开实施例基于深度学习模型提取病灶特征，避免了人工特征提取的局限性，进而提高了所生成的定位模型的精准度和鲁棒性。本公开实施例提供的病灶定位方法，通过将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，并基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息的方式，实现了确定包括病灶的胸部正位片图像对应的第二病灶特征信息的目的。由于本公开实施例只需将待定位的胸部正位片图像输入至定位模型即可确定待定位的胸部正位片图像对应的第二病灶定位信息，因此，与现有技术相比，本公开实施例能够极大提高病灶定位信息的确定速度，进而实现了快速地辅助医生进行病灶定位工作的目的。此外，由于本公开实施例中利用的定位模型为深本文档来自技高网...

【技术保护点】
1.一种网络模型训练方法，其特征在于，包括：/n确定包括病灶的医学图像，其中，所述医学图像为胸部正位片图像；/n基于所述医学图像确定所述医学图像对应的病灶定位信息和组织定位信息；/n基于所述病灶定位信息、所述组织定位信息和所述医学图像生成训练数据；/n确定初始网络模型，并基于所述训练数据训练所述初始网络模型，以生成定位模型，其中，所述定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。/n

【技术特征摘要】
1.一种网络模型训练方法，其特征在于，包括：
确定包括病灶的医学图像，其中，所述医学图像为胸部正位片图像；
基于所述医学图像确定所述医学图像对应的病灶定位信息和组织定位信息；
基于所述病灶定位信息、所述组织定位信息和所述医学图像生成训练数据；
确定初始网络模型，并基于所述训练数据训练所述初始网络模型，以生成定位模型，其中，所述定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。


2.根据权利要求1所述的方法，其特征在于，所述初始网络模型包括病灶区域定位模块和组织定位模块，所述基于所述训练数据训练所述初始网络模型，包括：
基于所述病灶定位信息和所述医学图像训练所述病灶区域定位模块；
基于所述组织定位信息和所述医学图像训练所述组织定位模块。


3.根据权利要求2所述的方法，其特征在于，所述病灶区域定位模块包括特征提取单元、与所述特征提取单元信号连接的病灶识别单元以及与所述病灶识别单元信号连接的病灶定位单元，其中，
所述特征提取单元用于提取多尺度的特征图，并基于所述多尺度的特征图进行特征融合操作，以获取图像融合信息；
所述病灶识别单元用于基于所述多尺度的特征图和所述图像融合信息确定所述多尺度的特征图对应的病灶预测框；
所述病灶定位单元用于确定所述病灶预测框对应的坐标信息。


4.根据权利要求3所述的方法，其特征在于，所述病灶识别单元还用于对所述多尺度的特征图对应的病灶预测框进行非极大值抑制操作。


5.根据权利要求2至4任一所述的方法，其特征在于，所述病灶区域定位模块和/或所述组织定位模块基于ResNext-50网络模型和特征金字塔网络模型确定。


6.根据权利要求1至4任一所述的方法，其特征在于，所述胸部正位片图像为CT定位片图像，所述病灶为具备肺部炎症特征的病灶，所述肺部炎症特征包括密度特征、透亮度特征、实变特征、渗出特征和感染特征中的至少一种。


7.根据权利要求1至4任一所述的方法，其特征在于，所述组织定位信息包括肺野关键点定位信息，所述肺野关键点定位信息包括肺尖轮廓关键点信息、膈面轮廓关键点信息、肺尖至肋膈角轮廓关键点信息和肺尖至心膈角轮廓关键点信息中的至少一种。


8.一种病灶定位方法，其特征在于，应用于包括病灶的胸部正位片图像，包括：
将所述胸部正位片图像输入至定位模型，以确定所述胸部正位片图像对应的定位信息，其中，所述定位信息包括组织定位信息和第一病灶定位信息，所述定位模型基于上述权利要求1至7任一所述的网络模型训练方法获得...

【专利技术属性】
技术研发人员：邹彤，王瑜，周越，王慧芳，班允峰，钏兴炳，宋晓媛，赵朝炜，李新阳，王少康，陈宽，
申请(专利权)人：北京推想科技有限公司，
类型：发明
国别省市：北京;11