基于语言知识导向的切面识别模型的生成方法及识别方法技术

本申请公开了一种基于语言知识导向的切面识别模型的生成方法及识别方法，方法包括基于训练样本集训练特征提取模型；基于训练语料库及初始图神经网络确定初始分类模型的模型参数，基于特征提取模型及初始分类模型确定预测切面类别及预测解剖结构类别；基于预测切面类别及预测解剖结构类别，对初始图神经网络训练以得到分类模型；将特征提取模型和分类模型连接以得到切面识别模型。本申请通过训练超声图像的图像特征和基于训练超声图像携带的标注类别所形成的语义特征训练切面识别模型，使得切面识别模型可以学习到超声图像的图像特征信息、各切面类别和各解剖结构类别的相互依赖关系，从而可以提高基于切面识别模型的识别准确性。

【技术实现步骤摘要】
基于语言知识导向的切面识别模型的生成方法及识别方法
本申请涉及超声图像处理
，特别涉及一种基于语言知识导向的切面识别模型的生成方法及识别方法。
技术介绍
在常规的产科筛查中，超声影像已被广泛用于评估胎儿生长发育状况和先天性畸形。在超声筛查过程中，医生需要选择包含关键解剖结构的标准切面进行相关生物学参数测量，例如，如图1所示，产前超声的上腹部水平横切面包含脊柱、胃泡、脐静脉等解剖结构(见图1左图)，可以基于产权超声的上腹部水平横切面评估胎儿体重的腹围需要在标准的上腹部水平横切面上进行测量。然而，现有携带解剖结构的标准切面普遍是通过操作人员手工识别，这严重依赖于操作者的经验的，从而使得识别得到的标准切面因操作者不同而不同，进而影响识别到的标准切面的准确性。因而现有技术还有待改进和提高。
技术实现思路
本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于语言知识导向的切面识别模型的生成方法及识别方法。为了解决上述技术问题，本申请实施例第一方面提供了一种基于语言知识导向的切面识别模型的生成方法，所述的生成方法还包括：基于预设的训练样本集，采用监督对比学习方式对预设网络模型进行训练，以得到特征提取模型；基于预设的训练语料库及初始图神经网络确定初始模型参数，并将所述初始模型参数作为初始分类模型的模型参数，其中，所述训练语料库为基于所述训练样本集中的各训练超声图像各自对应的标注切面类别及标注解剖结构类别确定的；基于所述特征提取模型，确定所述训练样本集中的训练超声图像对应的特征图；基于所述初始分类模型，确定所述特征图对应的预测切面类别及预测解剖结构类别；基于所述预测切面类别、所述预测解剖结构类别、所述标注切面类别以及所述标注解剖结构类别，对所述初始图神经网络进行训练，并继续执行基于预设的训练语料库及初始图神经网络确定初始模型参数的步骤，直至训练得到分类模型；将所述特征提取模型和所述分类模型连接，以得到切面识别模型。所述的基于语言知识导向的切面识别模型的生成方法，其中，所述基于预设的训练样本集，采用监督对比学习方式对预设网络模型进行训练，以得到特征提取模型之前，还包括：获取若干训练超声图像，以及各训练超声图像各自对应的标注切面类别以及标注解剖结构类别，以得到预设的训练样本集；对于若干训练超声图像中的每个训练超声图像，将该训练超声图像对应的标注切面类别以及解剖结构类别作为一个训练语料，以得到预设的训练语料库。所述的基于语言知识导向的切面识别模型的生成方法，其中，所述基于预设的训练语料库及初始图神经网络确定初始模型参数具体包括：基于所述训练语料库对应的词向量矩阵以及邻接矩阵，确定所述训练语料库对应的语料图；基于所述初始图神经网络对所述语料图进行图运算，以确定初始模型参数。所述的基于语言知识导向的切面识别模型的生成方法，其中，所述基于所述训练语料库对应的词向量矩阵以及邻接矩阵，确定所述训练语料库对应的语料图具体包括：以所述词向量矩阵中的每条词向量作为图节点，并基于所述邻接矩阵确定各图节点之间的连接边；基于所述图节点以及各图节点之间的连接边，构建所述训练语料库对应的语料图。所述的基于语言知识导向的切面识别模型的生成方法，其中，所述词向量矩阵中的每条词向量均对应一目标标注类别，目标标注类别为所述训练样本集中一训练超声图像携带的标注切面类别或标注解剖结构类别，并且各条词向量各自对应的目标标注类别互不相同。所述的基于语言知识导向的切面识别模型的生成方法，其中，所述基于预设的训练样本集，采用监督对比学习方式对预设网络模型进行训练，以得到特征提取模型具体包括：对所述训练语料库对应的词向量矩阵对各词向量进行聚类以得到若干候选类别，并将所述训练样本划分为若干训练批；对于每个训练批中的各训练超声图像，基于该训练超声图像携带的标注切面类别、标注解剖结构类别以及若干候选类别，确定该训练超声图像对应的参考标注切面类别，以得到该训练批对应的参考训练批；将该训练批中的各训练超声图像分别输入预设网络模型，以得到各训练超声图像各自对应的训练特征图；基于各训练超声图像各自对应的训练特征图，构建该训练批对应的监督对比损失函数值；基于所述监督对比损失函数值，对预设网络模型进行训练，以得到特征提取模型。所述的基于语言知识导向的切面识别模型的生成方法，其中，所述基于各训练超声图像各自对应的训练特征图，构建该训练批对应的监督对比损失函数值具体包括：对于每个训练超声图像对应的训练特征图，基于参考训练批确定该训练特征图对应的若干第一训练特征图和若干第二训练特征图，其中，第一训练特征图对应的参考标注切面类别与该训练特征图对应的参考类别相同，第二训练特征图对应的参考标注切面类别与该训练特征图对应的参考类别不相同；确定该训练特征图与其对应的各第一训练特征图的第一损失值，以及该训练特征图与其对应的第二训练特征图的第二损失值；基于预设加权系数将各第一损失值以及各第二损失值进行加权，以得到该练特征图对应的损失值；基于各训练特征图各自对应的损失值，确定该训练批对应的监督对比损失函数值。本申请实施例第二方面提供了一种基于语言知识导向的切面识别方法，所述的切面识别方法应用如上任一所述的切面识别模型，所述切面识别方法具体包括：获取待识别超声图像，并将所述超声识别图像输入所述切面识别模型；利用所述切面识别模型中的特征提取模型，确定所述待识别超声图像对应的目标特征图；利用所述切面识别模型中的分类模型，基于所述目标特征图确定所述待识别超声图像对应的切面类别以及解剖结构类别。本申请实施例第三方面提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于语言知识导向的切面识别模型的生成方法中的步骤，和/或以实现如上所述的基于语言知识导向的切面识别方法中的步骤。本申请实施例第四方面提供一种终端设备，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如上任一所述的基于语言知识导向的切面识别模型的生成方法中的步骤，和/或实现如上所述的基于语言知识导向的切面识别方法中的步骤。有益效果：与现有技术相比，本申请提供了一种基于语言知识导向的切面识别模型的生成方法及识别方法，所述生成方法包括基于预设的训练样本集训练特征提取模型；基于预设的训练语料库及初始图神经网络确定初始分类模型的模型参数，然后基于所述特征提取模型以及初始分类模型确定训练超声图像的预测切面类别及预测解剖结构类别；基于所述预测切面类别、所述预测解剖结构类别、所述标注切面类别以及所述标注解剖结构类别，对所述初始图神经网络进行训练以得到分类模型；最后将所述本文档来自技高网...

【技术保护点】
1.一种基于语言知识导向的切面识别模型的生成方法，其特征在于，所述的生成方法还包括：/n基于预设的训练样本集，采用监督对比学习方式对预设网络模型进行训练，以得到特征提取模型；/n基于预设的训练语料库及初始图神经网络确定初始模型参数，并将所述初始模型参数作为初始分类模型的模型参数，其中，所述训练语料库为基于所述训练样本集中的各训练超声图像各自对应的标注切面类别及标注解剖结构类别确定的；/n基于所述特征提取模型，确定所述训练样本集中的训练超声图像对应的特征图；/n基于所述初始分类模型，确定所述特征图对应的预测切面类别及预测解剖结构类别；/n基于所述预测切面类别、所述预测解剖结构类别、所述标注切面类别以及所述标注解剖结构类别，对所述初始图神经网络进行训练，并继续执行基于预设的训练语料库及初始图神经网络确定初始模型参数的步骤，直至训练得到分类模型；/n将所述特征提取模型和所述分类模型连接，以得到切面识别模型。/n

【技术特征摘要】
1.一种基于语言知识导向的切面识别模型的生成方法，其特征在于，所述的生成方法还包括：
基于预设的训练样本集，采用监督对比学习方式对预设网络模型进行训练，以得到特征提取模型；
基于预设的训练语料库及初始图神经网络确定初始模型参数，并将所述初始模型参数作为初始分类模型的模型参数，其中，所述训练语料库为基于所述训练样本集中的各训练超声图像各自对应的标注切面类别及标注解剖结构类别确定的；
基于所述特征提取模型，确定所述训练样本集中的训练超声图像对应的特征图；
基于所述初始分类模型，确定所述特征图对应的预测切面类别及预测解剖结构类别；
基于所述预测切面类别、所述预测解剖结构类别、所述标注切面类别以及所述标注解剖结构类别，对所述初始图神经网络进行训练，并继续执行基于预设的训练语料库及初始图神经网络确定初始模型参数的步骤，直至训练得到分类模型；
将所述特征提取模型和所述分类模型连接，以得到切面识别模型。


2.根据权利要求1所述的基于语言知识导向的切面识别模型的生成方法，其特征在于，所述基于预设的训练样本集，采用监督对比学习方式对预设网络模型进行训练，以得到特征提取模型之前，还包括：
获取若干训练超声图像，以及各训练超声图像各自对应的标注切面类别以及标注解剖结构类别，以得到预设的训练样本集；
对于若干训练超声图像中的每个训练超声图像，将该训练超声图像对应的标注切面类别以及解剖结构类别作为一个训练语料，以得到预设的训练语料库。


3.根据权利要求1所述的基于语言知识导向的切面识别模型的生成方法，其特征在于，所述基于预设的训练语料库及初始图神经网络确定初始模型参数具体包括：
基于所述训练语料库对应的词向量矩阵以及邻接矩阵，确定所述训练语料库对应的语料图；
基于所述初始图神经网络对所述语料图进行图运算，以确定初始模型参数。


4.根据权利要求3所述的基于语言知识导向的切面识别模型的生成方法，其特征在于，所述基于所述训练语料库对应的词向量矩阵以及邻接矩阵，确定所述训练语料库对应的语料图具体包括：
以所述词向量矩阵中的每条词向量作为图节点，并基于所述邻接矩阵确定各图节点之间的连接边；
基于所述图节点以及各图节点之间的连接边，构建所述训练语料库对应的语料图。


5.根据权利要求3所述的基于语言知识导向的切面识别模型的生成方法，其特征在于，所述词向量矩阵中的每条词向量均对应一目标标注类别，目标标注类别为所述训练样本集中一训练超声图像携带的标注切面类别或标注解剖结构类别，并且各条词向量各自对应的目标标注类别互不相同。


6.根据权利要求1所述的基于语言知识导向的切面识别模型的生成方法，其特征在于，所述基于预设的训练样本集，采用监督对比学习方式对预设网络模型进行训练，以得到特征提取模型具体...

【专利技术属性】
技术研发人员：倪东，何双池，杨鑫，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44