基于全局和局部对比的医学学习方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及人工智能技术，揭露了一种基于全局和局部对比的医学学习方法，包括：获取医学图像对应的医学报告；提取医学图像的图像特征，提取医学报告的报告特征；计算全局对比损失；计算局部图像特征和局部报告特征的点积相似性，生成注意力加权图像特征；计算医学报告中单词与所述注意力加权图像特征的第二相似度，根据第二相似度计算局部对比损失；将全局对比损失和局部对比损失进行联合，得到联合对比损失，根据联合对比损失学习医学表征。此外，本发明专利技术还涉及区块链技术，行为数据可存储于区块链的节点。本发明专利技术还提出一种基于全局和局部对比的医学学习装置、电子设备以及存储介质。本发明专利技术可以提高医学报告中关键词识别时的精准性。准性。准性。

【技术实现步骤摘要】
基于全局和局部对比的医学学习方法、装置、设备及介质


[0001]本专利技术涉及人工智能
，尤其涉及一种基于全局和局部对比的医学学习方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]近年来，在医学影像上的应用越来越普及，很多病变都是基于医学影像所确定的，但同时也给放射科医师带来了越来越大的负担，为了减轻放射科医师的负担，提高识别的精准性，需要对医学影像上病变具体位置进行分析。
[0003]现有的医学图像分析和临床决策多为基于深度学习提供一些解决方案。实际应用中，训练深度神经网络所需的大规模手动标记数据集对于医学图像来说难以获得且成本高昂，并且医学影像检查中出现的病变往往只占图像的一小部分，只对应医学报告中的某些关键词。仅考虑对医学影像进行全局观察，可能导致医学报告中不能准确识别关键词，从而对进行医学报告中关键词识别时的精准性较低。

技术实现思路

[0004]本专利技术提供一种基于全局和局部对比的医学学习方法、装置及计算机可读存储介质，其主要目的在于解决进行医学报告中关键词识别时的精准性较低的问题。
[0005]为实现上述目的，本专利技术提供的一种基于全局和局部对比的医学学习方法，包括：
[0006]获取预设的医学图像，以及获取所述医学图像对应的医学报告；
[0007]利用预设的图像特征提取器提取所述医学图像的全局图像特征和局部图像特征，利用预设的文本特征提取器提取所述医学报告的全局报告特征和局部报告特征；
[0008]计算所述全局图像特征和所述全局报告特征的第一相似度，根据所述第一相似度计算全局对比损失；
[0009]计算所述局部图像特征和所述局部报告特征的点积相似性，根据所述点积相似性生成注意力加权图像特征；
[0010]计算所述医学报告中单词与所述注意力加权图像特征的第二相似度，根据所述第二相似度计算局部对比损失；
[0011]将所述全局对比损失和所述局部对比损失进行联合，得到联合对比损失，根据所述联合对比损失学习医学表征。
[0012]可选地，所述利用预设的图像特征提取器提取所述医学图像的全局图像特征和局部图像特征，包括：
[0013]对所述医学图像进行图像划分，得到划分图像；
[0014]将所述划分图像和预设的学习向量输入至所述图像特征提取器中的线性投射层，得到图像向量序列；
[0015]对所述图像向量序列添加位置编码信息，得到第一图像向量序列；
[0016]将所述第一图像向量序列输入至所述图像特征提取器中的图像编码器，得到第二
图像向量序列；
[0017]将所述第二图像向量序列输入至所述图像特征提取器中的分类层，得到所述医学图像的全局图像特征。
[0018]可选地，所述利用预设的文本特征提取器提取所述医学报告的全局报告特征和局部报告特征，包括：
[0019]利用预设的分类器对所述医学报告中每个词汇进行分类，得到分类词汇；
[0020]将所述分类词汇输入至所述文本特征提取器，得到分类词汇向量；
[0021]汇集所述分类词汇向量为所述全局报告特征。
[0022]可选地，所述根据所述第一相似度计算全局对比损失，包括：
[0023]利用如下的第一图像公式根据所述第一相似度计算图像全局目标概率：
[0024][0025]其中，为在医学报告确定下最大化图像全局目标概率，v
gi
为第i个医学图像的全局图像特征，t
gi
为第i个医学报告的全局报告特征，T1为学习的全局温度系数，t
gk
为第k个医学报告的全局报告特征，N为医学报告的数量，v为医学图像，t为医学报告，<v
gi
,t
gi
>为第i个医学图像的全局图像特征与第i个医学报告的全局报告特征之间的第一相似度，<v
gi
,t
gk
>为第i个医学图像的全局图像特征与第k个医学报告的全局报告特征之间的相似度，exp为指数函数，log为对数函数；
[0026]利用如下的第一文本公式根据所述第一相似度计算报告全局目标概率：
[0027][0028]其中，为在医学图像确定下最大化报告全局目标概率，v
gi
为第i个医学图像的全局图像特征，t
gi
为第i个医学报告的全局报告特征，T1为学习的全局温度系数，v
gk
为第k个医学图像的全局图像特征，H为医学图像的数量，v为医学图像，t为医学报告，<v
gi
,t
gi
>为第i个医学图像的全局图像特征与第i个医学报告的全局报告特征之间的第一相似度，<v
gk
,t
gi
>为第k个医学图像的全局图像特征与第i个医学报告的全局报告特征之间的相似度，exp为指数函数，log为对数函数；
[0029]将所述图像全局目标概率和所述报告全局目标概率作为所述全局对比损失。
[0030]可选地，所述根据所述点积相似性生成注意力加权图像特征，包括：
[0031]利用如下的加权算法根据所述点积相似性生成注意力加权图像特征：
[0032][0033]其中，c
i
为第i个图像子区域的注意加权图像特征，s
ij
为第i个单词和第j个图像子区域之间的点积相似性，T2为学习的局部温度系数，s
ik
为第i个单词和第k个图像子区域之间的点积相似性，M为图像子区域数量，v
j
为第j个图像子区域。
[0034]可选地，所述将所述全局对比损失和所述局部对比损失进行联合，得到联合对比损失，包括：
[0035]利用如下的联合公式将所述全局对比损失和所述局部对比损失进行联合，得到联合对比损失：
[0036][0037]其中，L为所述联合对比损失，为在医学报告确定下最大化图像全局目标概率，为在医学图像确定下最大化报告全局目标概率，为在医学报告中单词确定下最大化图像局部目标概率，为在注意力加权图像确定下最大化单词局部目标概率。
[0038]可选地，所述根据所述联合对比损失学习医学表征，包括：
[0039]根据所述联合对比损失计算损失值；
[0040]利用预设的神经网络根据所述损失值学习医学表征。
[0041]为了解决上述问题，本专利技术还提供一种基于全局和局部对比的医学学习装置，所述装置包括：
[0042]医学图像获取模块，用于获取预设的医学图像，以及获取所述医学图像对应的医学报告；
[0043]医学特征提取模块，用于利用预设的图像特征提取器提取所述医学图像的全局图像特征和局部图像特征，利用预设的文本特征提取器提取所述医学报告的全局报告特征和局部报告特征；
[0044]全局对比损失计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全局和局部对比的医学学习方法，其特征在于，所述方法包括：获取预设的医学图像，以及获取所述医学图像对应的医学报告；利用预设的图像特征提取器提取所述医学图像的全局图像特征和局部图像特征，利用预设的文本特征提取器提取所述医学报告的全局报告特征和局部报告特征；计算所述全局图像特征和所述全局报告特征的第一相似度，根据所述第一相似度计算全局对比损失；计算所述局部图像特征和所述局部报告特征的点积相似性，根据所述点积相似性生成注意力加权图像特征；计算所述医学报告中单词与所述注意力加权图像特征的第二相似度，根据所述第二相似度计算局部对比损失；将所述全局对比损失和所述局部对比损失进行联合，得到联合对比损失，根据所述联合对比损失学习医学表征。2.如权利要求1所述的基于全局和局部对比的医学学习方法，其特征在于，所述利用预设的图像特征提取器提取所述医学图像的全局图像特征和局部图像特征，包括：对所述医学图像进行图像划分，得到划分图像；将所述划分图像和预设的学习向量输入至所述图像特征提取器中的线性投射层，得到图像向量序列；对所述图像向量序列添加位置编码信息，得到第一图像向量序列；将所述第一图像向量序列输入至所述图像特征提取器中的图像编码器，得到第二图像向量序列；将所述第二图像向量序列输入至所述图像特征提取器中的分类层，得到所述医学图像的全局图像特征。3.如权利要求1所述的基于全局和局部对比的医学学习方法，其特征在于，所述利用预设的文本特征提取器提取所述医学报告的全局报告特征和局部报告特征，包括：利用预设的分类器对所述医学报告中每个词汇进行分类，得到分类词汇；将所述分类词汇输入至所述文本特征提取器，得到分类词汇向量；汇集所述分类词汇向量为所述全局报告特征。4.如权利要求1所述的基于全局和局部对比的医学学习方法，其特征在于，所述根据所述第一相似度计算全局对比损失，包括：利用如下的第一图像公式根据所述第一相似度计算图像全局目标概率：其中，为在医学报告确定下最大化图像全局目标概率，v
gi
为第i个医学图像的全局图像特征，t
gi
为第i个医学报告的全局报告特征，T1为学习的全局温度系数，t
gk
为第k个医学报告的全局报告特征，N为医学报告的数量，v为医学图像，t为医学报告，<v
gi
,t
gi
>为第i个医学图像的全局图像特征与第i个医学报告的全局报告特征之间的第一相似度，<v
gi
,t
gk
>为第i个医学图像的全局图像特征与第k个医学报告的全局报告特征之间的相似度，exp为
指数函数，log为对数函数；利用如下的第一文本公式根据所述第一相似度计算报告全局目标概率：其中，为在医学图像确定下最大化报告全局目标概率，v
gi
为第i个医学图像的全局图像特征，t
gi
为第i个医学报告的全局报告特征，T1为学习的全局温度系数，v
gk
为第k个医学图像的全局图像特征，H为医学图像的数量，v为医学图像，t为医学报告，<v
gi
,t
gi<...

【专利技术属性】
技术研发人员：唐小初，朱翌，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：