基于文本与图像之间的智能匹配方法、装置及设备制造方法及图纸

本发明专利技术涉及人工智能技术，揭露一种基于文本与图像之间的智能匹配方法、装置及设备，可应用在医疗诊断等应用场景中。所述方法包括：提取用户的检索文本的文本特征，分析检索文本的描述特征，将描述特征和文本特征进行特征融合，生成目标文本特征；从预构建的文本图像库中查询待匹配的文本图像，提取文本图像的图像特征，对图像特征进行语义识别，得到图像语义特征；识别目标文本特征的文本类别，及识别图像语义特征的图像类别；基于文本类别检测目标文本特征的文本全局特征，及基于图像类别检测图像语义特征的图像全局特征；计算文本全局特征和图像全局特征的匹配概率，以获取检索文本和文本图像的匹配结果。本发明专利技术可以提高文本与图像之间的匹配效率。图像之间的匹配效率。图像之间的匹配效率。

【技术实现步骤摘要】
基于文本与图像之间的智能匹配方法、装置及设备


[0001]本专利技术涉及人工智能领域，尤其涉及一种基于文本与图像之间的智能匹配方法、装置及设备。

技术介绍

[0002]随着计算机视觉和神经网络的迅速发展，人们常常通过输入一段简短的文字描述或者关键词，在海量的网络资源中查找自己想要的图像，这种基于文本内容检索与之匹配的图像的过程，本质上是一门新兴的信息检索技术，其在生活中有广泛的应用，如在医疗辅助诊断中查找患者医疗图像的辅助诊断信息。
[0003]目前，通常的文本与图像之间的检索匹配只限于单一模态，即通过文本内容检索与之匹配的文本图像，而要想完成文本与图像之间的检索匹配，则需要提前对海量的待匹配图像进行人工标注，从而耗费大量的人力和时间，而无法智能识别图像语义以匹配检索文本，极大地降低了医疗辅助诊断中文本与图像之间的匹配效率。

技术实现思路

[0004]本专利技术提供一种基于文本与图像之间的智能匹配方法、装置及设备，其主要目的在于提高医疗辅助诊断中文本与图像之间的匹配效率。
[0005]为实现上述目的，本专利技术提供的一种基于文本与图像之间的智能匹配方法，包括：
[0006]获取用户的检索文本，提取所述检索文本的文本特征，分析所述检索文本的描述特征，将所述描述特征和所述文本特征进行特征融合，生成目标文本特征；
[0007]从预构建的文本图像库中查询待匹配的文本图像，提取所述文本图像的图像特征，并对所述图像特征进行语义识别，得到图像语义特征；
[0008]利用训练好的文本
‑
图像匹配模型中文本分类网络识别所述目标文本特征的文本类别，及利用所述训练好的文本
‑
图像匹配模型中图像分类网络识别所述图像语义特征的图像类别；
[0009]基于所述文本类别利用所述训练好的文本
‑
图像匹配模型中文本回归网络检测所述目标文本特征的文本全局特征，及基于所述图像类别利用所述训练好的文本
‑
图像匹配模型中图像回归网络检测所述图像语义特征的图像全局特征；
[0010]利用所述训练好的文本
‑
图像匹配模型中全连接层计算所述文本全局特征和图像全局特征的匹配概率，以获取所述检索文本和所述文本图像的匹配结果。
[0011]可选地，所述提取所述文本图像的图像特征可以通过下述公式实现，包括：
[0012]x
[l+2]＝Relu(w
[l+2](Reluw
[l+1]x
[l]+b
[l+1])+b
[l+2]+x
[l])
[0013]其中，x
[l+2]表示文本图像的图像特征，w
[l+2]，w
[l+1]分别表示文本图像中第l+2层和第l+1层的斜率系数，b
[l+2]，b
[l+1]分别表示文本图像中第l+2层和第l+1层的截距系数，x
[l]表示第l层的原始文本图像的图像特征，Relu表示激活函数。
[0014]可选地，所述对所述图像特征进行语义识别，得到图像语义特征，包括：
[0015]利用训练好的语义分割模型中的残差卷积层，对所述图像特征进行多路重建，得到重建特征；
[0016]利用训练好的语义分割模型中的融合层，对所述重建特征中个每个特征进行上采样，得到上采样特征，对所述上采样特征进行特征归一化处理，得到融合特征；
[0017]利用训练好的语义分割模型中的链式残差池化层，计算所述融合特征的激活特征；
[0018]对所述激活特征进行卷积处理和池化操作，得到池化卷积特征；
[0019]将所述池化卷积特征求和，得到所述图像语义特征。
[0020]可选地，所述利用训练好的文本
‑
图像匹配模型中文本分类网络识别所述目标文本特征的文本类别，包括：
[0021]利用所述文本分类网络中文本主题算法计算所述目标文本特征中每个文本特征的文本特征类别；
[0022]利用所述文本分类网络中文本统计算法计算所述文本特征类别的文本类别频率；
[0023]根据所述文本类别频率，确定所述目标文本特征对应的文本类别。
[0024]可选地，所述文本主题算法，包括：
[0025][0026]其中，表示文本特征类别，表示文本特征对应的词语向量，表示文本特征对应的文本主题向量，α和β表示文本特征的分布参数，表示由α构成的向量，其形式为(α,α,
…
α)，表示由β构成的向量，其形式为(β,β,
…
β)，表示第k个主题的文本特征对应的向量，表示第m个主题的文本特征对应的向量，T表示目标文本特征对应的主题数量，Q表示文本特征中的语料文档数，∏表示连乘符号，Δ表示增量符号。
[0027]可选地，所述利用所述训练好的文本
‑
图像匹配模型中图像分类网络识别所述图像语义特征的图像类别，包括：
[0028]利用所述图像分类网络中的语义分析算法分析所述图像语义特征中语义特征的语义联系，根据所述语义联系，构建所述图像语义特征的语法树；
[0029]根据所述语法树，确定所述图像语义特征中每个图像特征的图像特征类别，利用所述分类网络中图像统计算法计算所述图像特征类别的图像类别频率；
[0030]根据所述图像类别频率，确定所述图像语义特征的图像类别。
[0031]可选地，所述利用所述训练好的文本
‑
图像匹配模型中全连接层，计算所述文本全局特征和图像全局特征的匹配概率，包括：
[0032]利用所述全连接层中的孪生算法，计算所述文本全局特征和图像全局特征的对比误差函数值；
[0033]根据所述误差函数值，利用所述全连接层中匹配算法计算文本全局特征和图像全局特征的匹配概率；
[0034]其中，所述孪生算法包括：
[0035][0036]其中，L(Y,X1,X2)表示对比误差函数值，D
w
等同于D
w
(X1,X2)表示文本全局特征X1和图像全局特征X2的欧氏距离，Y表示文本全局特征X1和图像全局特征X2的相似度，m表示X1与X2之间欧氏距离的预设阈值，max表示求最大值函数。
[0037]为了解决上述问题，本专利技术还提供一种基于文本与图像之间的智能匹配装置，所述装置包括：
[0038]文本特征提取模块，用于获取用户的检索文本，提取所述检索文本的文本特征，分析所述检索文本的描述特征，将所述描述特征和所述文本特征进行特征融合，生成目标文本特征；
[0039]图像语义识别模块，用于从预构建的文本图像库中查询待匹配的文本图像，提取所述文本图像的图像特征，并对所述图像特征进行语义识别，得到图像语义特征；
[0040]类别识别模块，用于利用训练好的文本
‑
图像匹配模型中文本分类网络识别所述目标文本特征的文本类别，及利用所述训练好的文本
‑...

【技术保护点】

【技术特征摘要】
1.一种基于文本与图像之间的智能匹配方法，其特征在于，所述方法包括：获取用户的检索文本，提取所述检索文本的文本特征，分析所述检索文本的描述特征，将所述描述特征和所述文本特征进行特征融合，生成目标文本特征；从预构建的文本图像库中查询待匹配的文本图像，提取所述文本图像的图像特征，并对所述图像特征进行语义识别，得到图像语义特征；利用训练好的文本
‑
图像匹配模型中文本分类网络识别所述目标文本特征的文本类别，及利用所述训练好的文本
‑
图像匹配模型中图像分类网络识别所述图像语义特征的图像类别；基于所述文本类别利用所述训练好的文本
‑
图像匹配模型中文本回归网络检测所述目标文本特征的文本全局特征，及基于所述图像类别利用所述训练好的文本
‑
图像匹配模型中图像回归网络检测所述图像语义特征的图像全局特征；利用所述训练好的文本
‑
图像匹配模型中全连接层计算所述文本全局特征和图像全局特征的匹配概率，以获取所述检索文本和所述文本图像的匹配结果。2.如权利要求1所述的基于文本与图像之间的智能匹配方法，其特征在于，所述提取所述文本图像的图像特征，包括：利用下述公式提取所述文本图像的图像特征：x
[]
＝Relu(w
[]
(Reluw
[]
x
[]
+b
[]
)+b
[]
+x
[]
)其中，x
[]
表示文本图像的图像特征，w
[]
，w
[]
分别表示文本图像中第l+2层和第l+1层的斜率系数，b
[]
，b
[]
分别表示文本图像中第l+2层和第l+1层的截距系数，x
[]
表示第l层的原始文本图像的图像特征，Relu表示激活函数。3.权利要求1所述的基于文本与图像之间的智能匹配方法，其特征在于，所述对所述图像特征进行语义识别，得到图像语义特征，包括：利用训练好的语义分割模型中的残差卷积层，对所述图像特征进行多路重建，得到重建特征；利用训练好的语义分割模型中的融合层，对所述重建特征中个每个特征进行上采样，得到上采样特征，对所述上采样特征进行特征归一化处理，得到融合特征；利用训练好的语义分割模型中的链式残差池化层，计算所述融合特征的激活特征；对所述激活特征进行卷积处理和池化操作，得到池化卷积特征；将所述池化卷积特征求和，得到所述图像语义特征。4.如权利要求1所述的基于文本与图像之间的智能匹配方法，其特征在于，所述利用训练好的文本
‑
图像匹配模型中文本分类网络识别所述目标文本特征的文本类别，包括：利用所述文本分类网络中文本主题算法计算所述目标文本特征中每个文本特征的文本特征类别；利用所述文本分类网络中文本统计算法计算所述文本特征类别的文本类别频率；根据所述文本类别频率，确定所述目标文本特征对应的文本类别。5.如权利要求4所述的基于文本与图像之间的智能匹配方法，其特征在于，所述文本主题算法，包括：
其中，表示文本特征类别，表示文本特征对应的词语向量，表示文本特征对应的文本主题向量，α和β表示文本特征的分布参数，表示由α构成的向量，其形式为(α,α,
…
α)，...

【专利技术属性】
技术研发人员：唐小初，苏童，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：