基于对比学习预训练的DDH超声影像分析方法技术

本发明专利技术公开了一种基于对比学习预训练的DDH超声影像分析方法，首先获取无标签DDH超声影像数据；构建神经网络的特征提取器G，使用无标签数据集，以对比学习的方式训练神经网络的特征提取器；再根据待检查的关键解剖结构对部分数据进行标注，形成有标签超声数据集；根据任务目标构建任务处理网络T，将任务处理网络T与训练后的特征提取器G组合，形成神经网络模型O；使用有标签超声数据集对神经网络模型O进行训练，实现DDH超声影像分析。本方法利用大量无标注数据对特征提取网络进行预训练，提高其特征提取能力，从而提高使用深度学习进行超声影像检查中下游任务的性能。影像检查中下游任务的性能。影像检查中下游任务的性能。

【技术实现步骤摘要】
基于对比学习预训练的DDH超声影像分析方法


[0001]本专利技术属于医学超声图像处理的
，主要涉及了一种基于对比学习预训练的DDH超声影像分析方法。

技术介绍

[0002]髋关节发育不良(developmental dysplasia of the hip,DDH)，是一种严重危害婴儿健康的最常见骨骼肌肉系统疾病。，其常用检查方法为进行超声影像检查。超声影像检查是一种无创检查方法，其具有廉价、无损、可重复等优点，与CT(电子计算机断层扫描)和MRI(核磁共振成像)等方法相比，是筛查DDH的首选影像分析方法。然而，其诊断过程对医师的解剖学知识和经验要求较高，且超声影像诊断存在很大的主观因素，同时整个诊断过程费力耗时。
[0003]深度学习能够直接对原始超声影像数据进行处理，能够对超声数据进行分析，从中提取图像特征，进而完成各项下游任务：如病变/结节分类、组织分割与目标检测等。利用深度学习完成自动超声影像检查和辅助诊断，可以提供相对稳定的诊断结果，并减轻医生工作负担。
[0004]利用深度学习完成自动DDH超声影像检查和辅助诊断需要大量规范、有效的数据。然而当前的公开超声数据集往往数量有限，很难满足深度学习的需求。另一方面，医院虽然存有大量历史超声影像数据，但由于医学超声影像经过需要规范的数据标注才能用于深度学习训练，因此部署深度学习超声影像检查需要较高的数据标注成本，且历史积累的大量超声数据很难得到充分利用。

技术实现思路

[0005]本专利技术正是针对现有DDH超声影像检查和辅助诊断中需要大量规范、有效的数据，数据工作量过于庞大和专业的问题，提供一种基于对比学习预训练的DDH超声影像分析方法，首先对DDH超声诊断中获得的超声灰阶图像进行数据增强预处理后，形成无标签数据集；构建神经网络的特征提取器G，使用无标签数据集，以对比学习的方式训练神经网络的特征提取器；再根据待检查的关键解剖结构对部分数据进行标注，形成有标签超声数据集；根据任务目标构建任务处理网络T，将任务处理网络T与训练后的特征提取器G组合，形成神经网络模型O；使用有标签超声数据集对神经网络模型O进行训练，并测试神经网络模型O的任务性能，实现DDH超声影像分析。本方法使用对比学习对无标签数据进行预训练，使得深度学习超声检测过程中的特征提取网络能够从大量无标签DDH超声数据中，学习到对应医学解剖结构的基本特征，缓解使用深度学习进行DDH超声影像分析时数据标记困难、下游任务数据集规模小的问题，进而提高神经网络在下游任务上的表现。
[0006]为了实现上述目的，本专利技术采取的技术方案是：基于对比学习预训练的DDH超声影像分析方法，包括如下步骤:
[0007]S1：对DDH超声诊断中获得的超声灰阶图像进行数据增强预处理后，形成无标签数
据集；
[0008]S2：构建神经网络的特征提取器G，使用步骤S1获得的无标签数据集，以对比学习的方式训练神经网络的特征提取器；
[0009]S3：根据待检查关键解剖结构对部分数据进行标注，形成有标签超声数据集；
[0010]S4：根据任务目标构建任务处理网络T，将任务处理网络T与训练后的特征提取器G组合，形成神经网络模型O；
[0011]S5：使用步骤S3标注的有标签超声数据集对神经网络模型O进行训练，并测试神经网络模型O的任务性能，实现DDH超声影像分析。
[0012]作为本专利技术的一种改进，所述步骤S1中数据增强后的数据集是图片分辨率为224*224、单通道、像素取值范围为0
‑
255的灰度图。
[0013]作为本专利技术的一种改进，所述步骤S2中构建的神经网络的特征提取器G，以数据集中的图像作为输入，输出特征向量
[0014][0015]其中,x
i
为数据集中的任意一张图片,i为数据序号，取值范围为(1,n)。
[0016]作为本专利技术的另一种改进，所述步骤S2中以对比学习的方式训练神经网络的训练过程具体为：
[0017]对数据集中的输入图片x
i
分别以不同概率的亮度、随机仿射变换、随机对比度和随机缩放进行像素级数据增强，得到增强后的图像数据对y
i1
,y
i2
；
[0018]将y
i1
,y
i2
分别输入特征提取网络G1,G2中，得到对应的特征向量其中,特征提取网络G1,G2结构与G相同，参数分别为θ1,θ2，随机初始化；构建多层感知P，参数随机初始化，用于将等效变换为与格式相同；
[0019]在每轮训练中交替执行下式更新网络参数θ1,θ2，经过若干轮训练后，得到学习后的网络参数η；
[0020][0021][0022]其中，t表示当前训练轮次，G2(θ
2t
‑1,y
i1
)表示G2网络使用上一训练轮次的网络参数θ
2t
‑1接受输入y
i1
得到输出,L为余弦相似度损失函数。
[0023]作为本专利技术的另一种改进，所述损失函数L为:
[0024][0025]其中，为建多层感知P输出的特征向量，为网络G输出的特征向量。
[0026]作为本专利技术的又一种改进，所述步骤S4的任务处理网络T由多个卷积层、激活函数和池化层交替实现或是由全联接层组成。
[0027]作为本专利技术的又一种改进，所述步骤S5中的模型训练具体为：将步骤S3标注的有标签超声数据集和对应的数据集组成总数据集，并划分为训练集、验证集和测试集，使用训
练集，基于反向传播的方式，对特征提取网络G参数进行微调，对任务处理网络T每一层的参数进行拟合；使用验证集，对当前模型O的判别能力进行初步评估，验证模型的泛化能力，以决定是否停止继续训练；使用测试集，评估模型O最终的泛化能力。
[0028]与现有技术相比，本专利技术具有的有益效果：本专利技术公开了一种基于对比学习预训练的DDH超声影像分析方法，使用对比学习对无标签数据进行预训练，使得深度学习超声检测过程中的特征提取网络能够从大量无标签DDH超声数据中，学习到对应医学解剖结构的基本特征，减轻了在使用深度学习技术分析DDH超声影像中要进行大量数据标注的需求，减少了医师进行数据标注的工作量，并且可以充分利用历史积累的大量超声数据，提高数据的利用率；本专利技术中的对比学习过程，通过对大量无标记数据进行无监督学习，可引导模型学习高层次的语义信息，提升目标检测网络的检测精度。
附图说明
[0029]图1为本专利技术基于对比学习预训练的DDH超声影像分析方法的步骤流程图；
[0030]图2为本专利技术方法步骤S2对比学习预训练过程中每轮参数更新过程示意图；
[0031]图3为本专利技术实施例2，使用本专利技术方法，对DDH超声影像进行关键医学标志点提取后的示意图。
具体实施方式
[0032]下面结合附图和具体实施方式，进一步阐明本专利技术，应理解下述具体实施方式仅用于说明本专利技术而不用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于对比学习预训练的DDH超声影像分析方法，其特征在于，包括如下步骤:S1：对DDH超声诊断中获得的超声灰阶图像进行数据增强预处理后，形成无标签数据集；S2：构建神经网络的特征提取器G，使用步骤S1获得的无标签数据集，以对比学习的方式训练神经网络的特征提取器；S3：根据待检查的关键解剖结构对部分数据进行标注，形成有标签超声数据集；S4：根据任务目标构建任务处理网络T，将任务处理网络T与训练后的特征提取器G组合，形成神经网络模型O；S5：使用步骤S3标注的有标签超声数据集对神经网络模型O进行训练，并测试神经网络模型O的任务性能，实现DDH超声影像分析。2.如权利要求1所述的基于对比学习预训练的DDH超声影像分析方法，其特征在于：所述步骤S1中数据增强后的数据集是图片分辨率为224*224、单通道、像素取值范围为0
‑
255的灰度图。3.如权利要求2所述的基于对比学习预训练的DDH超声影像分析方法，其特征在于：所述步骤S2中构建的神经网络的特征提取器G，以数据集中的图像作为输入，输出特征向量述步骤S2中构建的神经网络的特征提取器G，以数据集中的图像作为输入，输出特征向量其中,x
i
为数据集中的任意一张图片,i为数据序号，取值范围为(1,n)。4.如权利要求3所述的基于对比学习预训练的DDH超声影像分析方法，其特征在于：所述步骤S2中以对比学习的方式训练神经网络的训练过程具体为：对数据集中的输入图片x
i
分别以不同概率的亮度、随机仿射变换、随机对比度和随机缩放进行像素级数据增强，得到增强后的图像数据对y
i1
,y

【专利技术属性】
技术研发人员：李煊鹏，王志博，王加宽，黎梓威，张为公，
申请(专利权)人：东南大学，
类型：发明
国别省市：