图像分析方法、装置、设备、存储介质和程序产品制造方法及图纸

本申请涉及一种图像分析方法、装置、设备、存储介质和程序产品。所述方法包括：获取待分析医学图像；采用预设的图像描述生成网络对待分析医学图像进行文本生成处理，确定待分析医学图像对应的描述文本；采用预设的语言模型对描述文本进行分析处理，确定待分析医学图像对应的分析结果；其中，分析结果用于表征感兴趣区域对应的至少一个候选类别；语言模型是基于第一训练集和第二训练集进行训练得到的，第一训练集包括多组训练描述文本以及相应的训练分析结果，第二训练集包括特殊类别以及特殊类别对应的医学资料，特殊类别对应的医学资料的占比大于特殊类别对应的图像占比。采用本方法能够保证对各类数据的图像分析结果的准确性。能够保证对各类数据的图像分析结果的准确性。能够保证对各类数据的图像分析结果的准确性。

【技术实现步骤摘要】
图像分析方法、装置、设备、存储介质和程序产品


[0001]本申请涉及图像处理
，特别是涉及一种图像分析方法、装置、设备、存储介质和程序产品。

技术介绍

[0002]目前，随着大语言模型(LLM)的应用越来越广泛，大语言模型已被初步证明其可以在医学临床方面进行应用，但目前的LLM在图像维度上的分析能力较弱，不能很好地对医学图像进行分析。
[0003]传统的深度学习网络可以很好地进行图像分析任务，该深度学习网络在进行图像分析任务之前需要先获取大量专家级的标注训练数据，然后采用大量的标注训练数据对深度学习网络进行训练，在训练好之后即可进行特定的图像分析任务，可见，构建一个用于图像分析的深度学习网络的成本较大。
[0004]另外，对于一些训练样本身就很少且很难获取到的数据，或者对于一些图像特征游离于训练数据之外的数据，采用上述训练的深度学习网络很难保证对这些数据分析后获得的图像分析结果的准确性。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够保证对各类数据的图像分析结果的准确性的图像分析方法、装置、设备、存储介质和程序产品。
[0006]第一方面，本申请提供了一种图像分析方法，该方法包括：
[0007]获取待分析医学图像；上述待分析医学图像中包括感兴趣区域；
[0008]采用预设的图像描述生成网络对待分析医学图像进行文本生成处理，确定待分析医学图像对应的描述文本；上述描述文本表示待分析医学图像的影像特征；
[0009]采用预设的语言模型对描述文本进行分析处理，确定待分析医学图像对应的分析结果；
[0010]其中，上述分析结果用于表征感兴趣区域对应的至少一个候选类别；上述语言模型是基于第一训练集和第二训练集进行训练得到的，第一训练集包括多组训练描述文本以及相应的训练分析结果，第二训练集包括特殊类别以及特殊类别对应的医学资料，特殊类别对应的医学资料的占比大于特殊类别对应的图像占比。
[0011]在其中一个实施例中，上述图像描述生成网络包括相互连接的残差网络和循环神经网络；上述采用预设的图像描述生成网络对待分析医学图像进行文本生成处理，确定待分析医学图像对应的描述文本，包括：
[0012]将待分析医学图像输入至残差网络中进行特征提取处理，确定待分析医学图像对应的多维特征；
[0013]将多维特征输入至循环神经网络中进行文本生成处理，确定待分析医学图像对应的描述文本。
[0014]在其中一个实施例中，上述图像描述生成网络的训练方式包括：
[0015]获取历史医学影像报告集；上述历史医学影像报告集中包括多个历史影像报告对，每个历史影像报告对均包括历史影像和相应的历史报告；
[0016]对各历史报告中的历史描述文本进行提取处理，确定各历史报告对应的历史描述文本；
[0017]根据各历史影像及相应的历史描述文本对初始图像描述生成网络进行训练，确定图像描述生成网络。
[0018]在其中一个实施例中，上述根据各历史影像及相应的历史描述文本对初始图像描述生成网络进行训练，确定图像描述生成网络，包括：
[0019]对各历史描述文本进行向量转换处理，确定各历史描述文本对应的历史描述文本向量；
[0020]根据各历史影像及相应的历史描述文本向量对初始图像描述生成网络进行训练，确定图像描述生成网络。
[0021]在其中一个实施例中，上述对各历史描述文本进行向量转换处理，确定各历史描述文本对应的历史描述文本向量，包括：
[0022]对各历史描述文本分别进行切词处理，确定每个历史描述文本对应的至少一个分词；
[0023]根据预设的词库对各分词进行编码，确定各分词对应的编码符号；上述词库中包括多个分词及每个分词对应的编码符号；
[0024]将每个历史描述文本的各编码符号分别映射至高维空间，确定各历史描述文本对应的历史描述文本向量。
[0025]在其中一个实施例中，上述采用预设的语言模型对描述文本进行分析处理，确定待分析医学图像对应的分析结果，包括：
[0026]根据描述文本确定相关的提示词；上述提示词用于表征基于描述文本所需执行的分析任务；
[0027]将提示词以及描述文本输入至语言模型中进行分析处理，确定待分析医学图像对应的分析结果。
[0028]在其中一个实施例中，上述语言模型的训练方式包括：
[0029]获取预训练的初始语言模型；
[0030]将各训练描述文本输入至初始语言模型中，对各训练描述文本进行分析处理，确定各训练描述文本对应的预测分析结果；
[0031]将特殊类别对应的医学资料输入至初始语言模型中，对医学资料进行分析处理，确定医学资料对应的预测类别；
[0032]根据各预测分析结果和相应的训练分析结果以及根据预测类别及相应的特殊类别，对初始语言模型进行训练，确定语言模型。
[0033]在其中一个实施例中，上述根据各预测分析结果和相应的训练分析结果以及根据预测类别及相应的特殊类别，对初始语言模型进行训练，确定语言模型，包括：
[0034]确定初始语言模型中与分析任务相关的目标网络模块；
[0035]根据各预测分析结果和相应的训练分析结果以及根据预测类别及相应的特殊类
别，对目标网络模块进行微调，确定语言模型。
[0036]在其中一个实施例中，上述方法还包括：
[0037]根据分析结果输出建议信息；上述建议信息用于指示基于至少一个候选类别再次进行图像分析处理或进行用药量估计处理。
[0038]第二方面，本申请还提供了一种图像分析装置，该装置包括：
[0039]图像获取模块，用于获取待分析医学图像；上述待分析医学图像中包括感兴趣区域；
[0040]描述文本生成模块，用于采用预设的图像描述生成网络对待分析医学图像进行文本生成处理，确定待分析医学图像对应的描述文本；上述描述文本表示待分析医学图像的影像特征；
[0041]分析模块，用于采用预设的语言模型对描述文本进行分析处理，确定待分析医学图像对应的分析结果；其中，上述分析结果用于表征感兴趣区域对应的至少一个候选类别；上述语言模型是基于第一训练集和第二训练集进行训练得到的，第一训练集包括多组训练描述文本以及相应的训练分析结果，第二训练集包括特殊类别以及特殊类别对应的医学资料，特殊类别对应的医学资料的占比大于特殊类别对应的图像占比。
[0042]第三方面，本申请还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
[0043]获取待分析医学图像；上述待分析医学图像中包括感兴趣区域；
[0044]采用预设的图像描述生成网络对待分析医学图像进行文本生成处理，确定待分析医学图像对应的描述文本；上述描述文本表示待分析医学图像的影像特征；
[0045]采用预设的语言模型对描述文本进行分析处理，确定待分析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分析方法，其特征在于，所述方法包括：获取待分析医学图像；所述待分析医学图像中包括感兴趣区域；采用预设的图像描述生成网络对所述待分析医学图像进行文本生成处理，确定所述待分析医学图像对应的描述文本；所述描述文本表示所述待分析医学图像的影像特征；采用预设的语言模型对所述描述文本进行分析处理，确定所述待分析医学图像对应的分析结果；其中，所述分析结果用于表征所述感兴趣区域对应的至少一个候选类别；所述语言模型是基于第一训练集和第二训练集进行训练得到的，所述第一训练集包括多组训练描述文本以及相应的训练分析结果，所述第二训练集包括特殊类别以及所述特殊类别对应的医学资料，所述特殊类别对应的医学资料的占比大于所述特殊类别对应的图像占比。2.根据权利要求1所述的方法，其特征在于，所述图像描述生成网络包括相互连接的残差网络和循环神经网络；所述采用预设的图像描述生成网络对所述待分析医学图像进行文本生成处理，确定所述待分析医学图像对应的描述文本，包括：将所述待分析医学图像输入至所述残差网络中进行特征提取处理，确定所述待分析医学图像对应的多维特征；将所述多维特征输入至所述循环神经网络中进行文本生成处理，确定所述待分析医学图像对应的描述文本。3.根据权利要求1或2所述的方法，其特征在于，所述图像描述生成网络的训练方式包括：获取历史医学影像报告集；所述历史医学影像报告集中包括多个历史影像报告对，每个所述历史影像报告对均包括历史影像和相应的历史报告；对各所述历史报告中的历史描述文本进行提取处理，确定各所述历史报告对应的历史描述文本；根据各所述历史影像及相应的历史描述文本对初始图像描述生成网络进行训练，确定所述图像描述生成网络。4.根据权利要求1所述的方法，其特征在于，所述采用预设的语言模型对所述描述文本进行分析处理，确定所述待分析医学图像对应的分析结果，包括：根据所述描述文本确定相关的提示词；所述提示词用于表征基于所述描述文本所需执行的分析任务；将所述提示词以及所述描述文本输入至所述语言模型中进行分析处理，确定所述待分析医学图像对应的分析结果。5.根据权利要求1所述的方法，其特征在于，所述语言模型...

【专利技术属性】
技术研发人员：沈逸，廖术，
申请(专利权)人：上海联影智能医疗科技有限公司，
类型：发明
国别省市：