【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种应用于多模态的图像配准方法、装置和设备。
技术介绍
1、图像配准(image registration)技术，可以将不同时间、不同传感器，或者不同条件下的两幅或者多幅图像进行匹配、叠加，从而可以对多张图像同时进行分析处理。
2、目前，图像配准技术广泛应用于医学领域，例如，涉及疾病诊断、手术导航、治疗和研究等方面。因此，对图像配准的准确度具有较高的要求。
3、相关技术中，在对多模态的图像进行配准时，可以根据多模态图像间的相似性度量来确定图像配准是否完成，以及确定图像配准的效果。但是，常用的相似性度量为基于互信息的度量，在基于互信息进行图像配准时，在互信息的取值达到无穷大时表征图像配准完成，进而无法有效确定出，不同模态的图像配准是否已经达到最优，也无法定量评价图像配准的效果，进而容易影响图像配准的准确度。
技术实现思路
1、本申请提供一种应用于多模态的图像配准方法、装置和设备，用以解决现有的多模态图像配准方法，精度较低，且无法定量评价的技术问题。
2、第一方面，本申请提供一种应用于多模态的图像配准方法，包括：
3、获取配准图像对；其中，所述配准图像对中包括第一图像模态下的待配准图像，和第二图像模态下的配准参考图像；所述待配准图像为，与所述配准参考图像，进行图像配准的图像；
4、基于预先设置的第一损失函数、所述第一图像模态下的训练样本，以及所述第二图像模态下的训练样本，训练模态转换模型，得到训练好
5、将所述配准图像对中的待配准图像，输入至所述训练好的模态转换模型中进行处理，得到转换后的待配准图像；其中，所述转换后的待配准图像的图像模态与所述配准参考图像的图像模态相同；
6、基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，并基于所述目标损失值，对所述转换后的待配准图像，和所述配准参考图像进行图像配准处理，得到图像配准结果；其中，所述第二损失函数包括均方差损失函数；所述预先设置的第二损失函数还用于评价所述图像配准结果。
7、一个示例中，所述模态转换模型包括第一模型和第二模型，其中，所述第一模型用于将所述第一图像模态下的图像转换为所述第二图像模态下的图像，所述第二模型用于将所述第二图像模态下的图像转换为所述第一图像模态下的图像；
8、所述基于预先设置的第一损失函数、所述第一图像模态下的训练样本，以及所述第二图像模态下的训练样本，训练模态转换模型，得到训练好的模态转换模型，包括：
9、将所述第一图像模态下的训练样本，输入至所述模态转换模型中的第一模型中进行处理，得到第一模态转换结果，并将所述第一模态转换结果，输入至所述模态转换模型中的第二模型中进行处理，得到第二模态转换结果；
10、将所述第二图像模态下的训练样本，输入至所述模态转换模型中的第二模型中进行处理，得到第三模态转换结果，并将所述第三模态转换结果，输入至所述模态转换模型中的第一模型中进行处理，得到第四模态转换结果；
11、基于所述预先设置的第一损失函数、所述第一图像模态下的训练样本、所述第二图像模态下的训练样本、所述第一模态转换结果、所述第二模态转换结果、所述第三模态转换结果，以及所述第四模态转换结果，训练所述模态转换模型，得到所述训练好的模态转换模型。
12、一个示例中，所述预先设置的第一损失函数的数量为多个；所述基于所述预先设置的第一损失函数、所述第一图像模态下的训练样本、所述第二图像模态下的训练样本、所述第一模态转换结果、所述第二模态转换结果、所述第三模态转换结果，以及所述第四模态转换结果，训练所述模态转换模型，得到所述训练好的模态转换模型，包括：
13、基于所述预先设置的第一损失函数中的第一子损失函数，对所述第一模态转换结果、所述第二图像模态下的训练样本、所述第一图像模态下的训练样本，以及所述第三模态转换结果，进行损失计算处理，得到第一损失函数值；
14、基于所述预先设置的第一损失函数中的第二子损失函数，对所述第一图像模态下的训练样本、所述第二模态转换结果、所述第二图像模态下的训练样本，以及所述第四模态转换结果，进行损失计算处理，得到第二损失函数值；
15、在提取所述第一图像模态下的训练样本对应的图像边缘、所述第一模态转换结果对应的图像边缘、所述第二图像模态下的训练样本对应的图像边缘、以及所述第三模态转换结果对应的图像边缘之后，基于所述预先设置的第一损失函数中的第三子损失函数，进行损失计算处理，得到第三损失函数值；
16、对所述第一图像模态下的训练样本，进行旋转平移变换之后，输入至所述模态转换模型中的第一模型中进行处理，得到第五模态转换结果，并对所述第五模态转换结果进行旋转平移反变换之后，基于所述预先设置的第一损失函数中的第四子损失函数，进行损失计算处理，得到第四损失函数值；
17、对所述第二图像模态下的训练样本，进行旋转平移变换之后，输入至所述模态转换模型中的第二模型中进行处理，得到第六模态转换结果，并对所述第六模态转换结果进行旋转平移反变换之后，基于所述预先设置的第一损失函数中的第四子损失函数，进行损失计算处理，得到第五损失函数值；
18、对所述第一损失函数值、所述第二损失函数值、所述第三损失函数值、所述第四损失函数值，以及所述第五损失函数值，进行第一加权求和处理，得到第一总损失函数值，并基于所述第一总损失函数值，训练所述模态转换模型，得到所述训练好的模态转换模型。
19、一个示例中，所述预先设置的第二损失函数为所述均方差损失函数；所述基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，包括：
20、计算所述转换后的待配准图像和所述配准参考图像中的，各个相对应位置点的差值的平方，并将所述各个相对位置点的差值的平方，进行求和后求均值处理，得到所述目标损失值。
21、一个示例中，所述预先设置的第二损失函数包括所述均方差损失函数和互信息函数；所述基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，包括：
22、基于所述均方差损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的第一损失值，并基于所述互信息函数，计算所述转换后的待配准图像和所述配准参考图像之间的第二损失值；
23、对所述第一损失值和所述第二损失值的相反数，进行第二加权求和处理，得到所述目标损失值。
24、一个示例中，所述预先设置的第二损失函数包括所述均方差损失函数、互信息函数，以及梯度相关函数；所述基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，包括：
25、基于所述均方差损失函数，本文档来自技高网...
【技术保护点】
1.一种应用于多模态的图像配准方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述模态转换模型包括第一模型和第二模型，其中，所述第一模型用于将所述第一图像模态下的图像转换为所述第二图像模态下的图像，所述第二模型用于将所述第二图像模态下的图像转换为所述第一图像模态下的图像；
3.根据权利要求2所述的方法，其特征在于，所述预先设置的第一损失函数的数量为多个；所述基于所述预先设置的第一损失函数、所述第一图像模态下的训练样本、所述第二图像模态下的训练样本、所述第一模态转换结果、所述第二模态转换结果、所述第三模态转换结果，以及所述第四模态转换结果，训练所述模态转换模型，得到所述训练好的模态转换模型，包括：
4.根据权利要求1所述的方法，其特征在于，所述预先设置的第二损失函数为所述均方差损失函数；所述基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，包括：
5.根据权利要求1所述的方法，其特征在于，所述预先设置的第二损失函数包括所述均方差损失函数和互信息函数；所述基于预先设置的第二损失
6.根据权利要求1所述的方法，其特征在于，所述预先设置的第二损失函数包括所述均方差损失函数、互信息函数，以及梯度相关函数；所述基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，包括：
7.根据权利要求1-6中任一项所述的方法，其特征在于，在得到图像配准结果之后，所述方法还包括：
8.一种应用于多模态的图像配准装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的应用于多模态的图像配准方法。
...【技术特征摘要】
1.一种应用于多模态的图像配准方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述模态转换模型包括第一模型和第二模型，其中，所述第一模型用于将所述第一图像模态下的图像转换为所述第二图像模态下的图像，所述第二模型用于将所述第二图像模态下的图像转换为所述第一图像模态下的图像；
3.根据权利要求2所述的方法，其特征在于，所述预先设置的第一损失函数的数量为多个；所述基于所述预先设置的第一损失函数、所述第一图像模态下的训练样本、所述第二图像模态下的训练样本、所述第一模态转换结果、所述第二模态转换结果、所述第三模态转换结果，以及所述第四模态转换结果，训练所述模态转换模型，得到所述训练好的模态转换模型，包括：
4.根据权利要求1所述的方法，其特征在于，所述预先设置的第二损失函数为所述均方差损失函数；所述基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，包括：
5.根据权利要求1所述...
【专利技术属性】
技术研发人员：郭延恩，杨杰，徐少康，唐文彬，邵明昊，宓海，蔡宁，
申请(专利权)人：上海极睿医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。