图像轨迹确定方法技术

本申请涉及一种图像轨迹确定方法

【技术实现步骤摘要】
图像轨迹确定方法、装置、计算机设备和存储介质


[0001]本申请涉及人工智能
，特别是涉及一种图像轨迹确定方法
、
装置
、
计算机设备和存储介质
。

技术介绍

[0002]医学影像可以在临床诊断和治疗过程中起到重要的辅助作用，针对初级医生进行影像学知识的教育和培训，具有重要意义
。
[0003]目前，初级医生通常通过专业刊物与出版物
、
专家经验分享
、
临床实践
、
学术会议与研讨会
、
在线资源等方式学习影像学知识，这些方式多为经验总结或者典型案例，缺乏灵活性，例如，通过学术会议与研讨会可以与专家实时交流学习，但学习时间有限，学习内容受限，而通过在线资源可以根据自己的需求学习相应知识，但无法做到与专家及时沟通
。
而且，影像学知识的学习需要兼顾理论学习与实践操作，目前的学习方式也难以实现二者兼顾
。
[0004]因此，目前影像学知识的学习存在灵活性不足的问题
。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高学习灵活性的图像轨迹确定方法
、
装置
、
计算机设备
、
计算机可读存储介质和计算机程序产品
。
[0006]第一方面，本申请提供了一种图像轨迹确定方法
。
所述方法包括：
[0007]获取待识别图像和所述待识别图像对应的文本信息；
[0008]识别所述待识别图像的图像特征，以及所述文本信息的文本特征；
[0009]基于预先确定的图像知识图谱，根据所述图像特征和所述文本特征，从所述待识别图像中确定出感兴趣区域的目标轨迹
。
[0010]在其中一个实施例中，所述识别所述待识别图像的图像特征，以及所述文本信息的文本特征，包括：
[0011]将所述待识别图像输入至已训练的图像编码器，得到所述待识别图像的所述图像特征；
[0012]将所述文本信息输入至已训练的文本编码器，得到所述文本信息的所述文本特征
。
[0013]在其中一个实施例中，在获取待识别图像和所述待识别图像对应的文本信息之前，还包括：
[0014]获取图像样本，以及与所述图像样本相对应的轨迹样本和文本样本；
[0015]根据所述轨迹样本确定所述图像样本的样本融合特征，根据所述文本样本确定所述图像样本对应的文本样本特征；
[0016]根据所述样本融合特征和所述文本样本特征，对待训练的编码器进行训练，得到已训练的编码器；所述已训练的编码器包括已训练的轨迹编码器
、
所述已训练的图像编码
器和所述已训练的文本编码器
。
[0017]在其中一个实施例中，所述根据所述轨迹样本确定所述图像样本的样本融合特征，包括：
[0018]提取所述轨迹样本的轨迹样本特征；
[0019]将所述轨迹样本与所述图像样本进行配准，得到所述图像样本中的感兴趣区域样本，提取所述感兴趣区域样本的样本图像特征；
[0020]对所述轨迹样本特征和所述样本图像特征进行融合，得到所述图像样本的所述样本融合特征
。
[0021]在其中一个实施例中，所述根据所述样本融合特征和所述文本样本特征，对待训练的编码器进行训练，得到已训练的编码器，包括：
[0022]对所述样本融合特征和所述文本样本特征进行配对，得到正训练样本和负训练样本；
[0023]根据所述正训练样本和所述负训练样本，对待训练的轨迹编码器
、
待训练的图像编码器和待训练的文本编码器进行训练，得到所述已训练的轨迹编码器
、
所述已训练的图像编码器和所述已训练的文本编码器
。
[0024]在其中一个实施例中，所述根据所述正训练样本和所述负训练样本，对待训练的轨迹编码器
、
待训练的图像编码器和待训练的文本编码器进行训练，得到所述已训练的轨迹编码器
、
所述已训练的图像编码器和所述已训练的文本编码器，包括：
[0025]根据所述正训练样本和所述负训练样本进行对比学习，得到对比学习损失值；
[0026]根据所述对比学习损失值，对所述待训练的轨迹编码器
、
所述待训练的图像编码器和所述待训练的文本编码器进行参数调整，得到所述已训练的轨迹编码器
、
所述已训练的图像编码器和所述已训练的文本编码器
。
[0027]在其中一个实施例中，在根据所述样本融合特征和所述文本样本特征，对待训练的编码器进行训练，得到已训练的编码器之后，还包括：
[0028]根据所述已训练的编码器，确定区域特征实体以及所述区域特征实体对应的文本特征实体；
[0029]对所述区域特征实体和所述文本特征实体进行关系抽取，得到所述区域特征实体和所述文本特征实体之间的实体关系；
[0030]根据所述区域特征实体
、
所述文本特征实体和所述实体关系，确定所述图像知识图谱
。
[0031]第二方面，本申请还提供了一种图像轨迹确定装置
。
所述装置包括：
[0032]信息获取模块，用于获取待识别图像和所述待识别图像对应的文本信息；
[0033]特征识别模块，用于识别所述待识别图像的图像特征，以及所述文本信息的文本特征；
[0034]轨迹确定模块，用于基于预先确定的图像知识图谱，根据所述图像特征和所述文本特征，从所述待识别图像中确定出感兴趣区域的目标轨迹
。
[0035]第三方面，本申请还提供了一种计算机设备
。
所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0036]获取待识别图像和所述待识别图像对应的文本信息；
[0037]识别所述待识别图像的图像特征，以及所述文本信息的文本特征；
[0038]基于预先确定的图像知识图谱，根据所述图像特征和所述文本特征，从所述待识别图像中确定出感兴趣区域的目标轨迹
。
[0039]第四方面，本申请还提供了一种计算机可读存储介质
。
所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0040]获取待识别图像和所述待识别图像对应的文本信息；
[0041]识别所述待识别图像的图像特征，以及所述文本信息的文本特征；
[0042]基于预先确定的图像知识图谱，根据所述图像特征和所述文本特征，从所述待识别图像中确定出感兴趣区域的目标轨迹
。
[0043]第五方面，本申请还提供了一种计算机程序产品
。
所述计算机程序产品，包括计算机程序，该计算机程序被处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像轨迹确定方法，其特征在于，所述方法包括：获取待识别图像和所述待识别图像对应的文本信息；识别所述待识别图像的图像特征，以及所述文本信息的文本特征；基于预先确定的图像知识图谱，根据所述图像特征和所述文本特征，从所述待识别图像中确定出感兴趣区域的目标轨迹
。2.
根据权利要求1所述的方法，其特征在于，所述识别所述待识别图像的图像特征，以及所述文本信息的文本特征，包括：将所述待识别图像输入至已训练的图像编码器，得到所述待识别图像的所述图像特征；将所述文本信息输入至已训练的文本编码器，得到所述文本信息的所述文本特征
。3.
根据权利要求2所述的方法，其特征在于，在获取待识别图像和所述待识别图像对应的文本信息之前，还包括：获取图像样本，以及与所述图像样本相对应的轨迹样本和文本样本；根据所述轨迹样本确定所述图像样本的样本融合特征，根据所述文本样本确定所述图像样本对应的文本样本特征；根据所述样本融合特征和所述文本样本特征，对待训练的编码器进行训练，得到已训练的编码器；所述已训练的编码器包括已训练的轨迹编码器
、
所述已训练的图像编码器和所述已训练的文本编码器
。4.
根据权利要求3所述的方法，其特征在于，所述根据所述轨迹样本确定所述图像样本的样本融合特征，包括：提取所述轨迹样本的轨迹样本特征；将所述轨迹样本与所述图像样本进行配准，得到所述图像样本中的感兴趣区域样本，提取所述感兴趣区域样本的样本图像特征；对所述轨迹样本特征和所述样本图像特征进行融合，得到所述图像样本的所述样本融合特征
。5.
根据权利要求4所述的方法，其特征在于，所述根据所述样本融合特征和所述文本样本特征，对待训练的编码器进行训练，得到已训练的编码器，包括：对所述样本融合特征和所述文本样本特征进行配对，得到正训练样本和负训练样本；根据所述正训练样本和所述负训练样本，对待训练的轨迹编码器
、
待训练的图像编码器和待训练的文本编码器进行训练，得到所述已训练的轨迹编码器
、
所述已训练的...

【专利技术属性】
技术研发人员：崔景景，董昢，薛忠，
申请(专利权)人：联影智能医疗科技，
类型：发明
国别省市：