图像配准模型训练方法及装置、图像处理方法制造方法及图纸

本公开提供了一种图像配准模型训练方法，涉及图像处理技术领域，包括：利用形变学习子模型，对待配准眼底图像样本进行处理，获得形变图像样本；获得形变图像关键点信息和参考图像关键点信息；基于形变图像关键点信息和参考图像关键点信息，获得第一损失值；基于第一损失值，调整形变学习子模型的参数；利用第二损失值，调整逆形变学习子模型；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件且第二损失值满足第二收敛条件，获得训练好的形变学习子模型；将训练好的形变学习子模型确定为图像配准模型。通过图像配准模型训练方法获得的图像配准模型可以针对不同模态图像进行配准，实现了提高多模态眼底图像配准结果的精度的目的。度的目的。度的目的。

【技术实现步骤摘要】
图像配准模型训练方法及装置、图像处理方法


[0001]本公开属于图像处理
，具体涉及一种图像配准模型训练方法及装置、图像处理方法。

技术介绍

[0002]医学眼底图像已经广泛用于记录和检查多种疾病的临床表现，眼底图像配准是眼底图像处理与分析的基本的手段之一。眼底图像配准能够使得两幅或多幅眼底图像在空间上对齐，从而辅助医生进行眼科诊断和治疗，因此，眼底图像配准具有重要的临床应用价值。
[0003]由于单一模态眼底图像信息单一，临床应用上通常会对普通眼底相机图像、眼底荧光血管造影图像以及光学相干断层扫描血管成像(Optical Coherence Tomography Angiography，OCTA)图像等不同模态的眼底图像进行综合分析，然而，传统的图像配准方法无法适配多模态的眼底图像配准，导致多模态眼底图像的配准结果精度低，极大的限制了眼底图像在临床应用的发展。

技术实现思路

[0004]有鉴于此，本公开提供一种图像配准模型训练方法及装置、图像处理方法、计算机可读存储介质及电子设备，以解决传统眼底图配准方法无法适配多模态眼底图像配准，导致多模态眼底图像的配准结果精度低的问题。
[0005]第一方面，本公开一实施例提供了一种图像配准模型训练方法，包括：利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，待配准眼底图像样本的模态和参考图像样本的模态不同；利用第一特征点提取子模型，提取形变图像样本的关键点，获得形变图像关键点信息；利用第一特征点提取子模型，提取参考图像样本的关键点，获得参考图像关键点信息；基于形变图像关键点信息和参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；基于第一损失值，调整形变学习子模型的参数；利用逆形变学习子模型，基于待配准眼底图像样本和参考图像样本，对参考图像样本进行逆形变处理，获得逆形变参考图像样本；基于逆形变参考样本和待配准眼底样本，获得第二损失值；利用第二损失值，调整逆形变学习子模型的参数，并循环迭代逆形变学习子模型；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型，图像配准模型用于基于待配准眼底图像和参考图像，对待配准眼底图像进行形变，得到形变图像，并将形变图像确定为待配准眼底图像对应的配准图像。
[0006]结合第一方面，在第一方面的某些实现方式中，形变学习子模型包括第一卷积神经网络层、第二卷积神经网络层、第三卷积神经网络层、第一transformer层和第二transformer层，形变处理包括第一形变处理和第二形变处理，利用形变学习子模型，基于
待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，包括：利用第一卷积神经网络层，基于待配准眼底图像样本和参考图像样本，确定第一形变场；利用第二卷积神经网络层，提取待配准眼底图像样本的局部特征；利用第三卷积神经网络层，基于第一形变场对待配准眼底图像样本的局部特征进行第一形变处理，确定待配准眼底图像样本的局部特征形变结果；利用第一transformer层，基于待配准眼底图像样本，提取待配准眼底图像样本的全局特征；利用第二transformer层，基于第一形变场、待配准眼底图像样本的局部特征形变结果和待配准眼底图像样本的全局特征，进行第二形变处理，获得形变图像样本。
[0007]结合第一方面，在第一方面的某些实现方式中，基于逆形变参考样本和待配准眼底样本，确定第二损失值，包括：利用第二特征点提取子模型，提取逆形变参考图像样本的关键点，获得逆形变参考图像关键点信息；利用第二特征点提取子模型，提取待配准眼底图像样本的关键点，获得待配准眼底图像关键点信息；基于逆形变参考图像关键点信息和待配准眼底图像关键点信息，利用第二损失函数，进行损失计算，获得第二损失值。
[0008]结合第一方面，在第一方面的某些实现方式中，该方法还包括：利用逆形变学习子模型，基于形变图像样本和待配准眼底图像样本，并对形变图像样本进行逆形变处理，获得逆形变图像样本；基于逆形变图像样本和待配准眼底图像样本，利用第三损失函数，进行损失计算，获得第三损失值；基于第三损失值，调整形变学习子模型的参数；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，包括：循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，获得训练好的形变学习子模型。
[0009]结合第一方面，在第一方面的某些实现方式中，该方法还包括：利用形变学习子模型，基于逆形变参考图像样本与参考图像样本，对逆形变参考图像样本进行形变处理，获得形变参考图像样本；基于形变参考图像样本与参考图像样本，利用第四损失函数，进行损失计算，获得第四损失值；基于第四损失值，调整形变学习子模型的参数；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，获得训练好的形变学习子模型，包括：循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足所述第三收敛条件，且第四损失值满足第四收敛条件，获得训练好的形变学习子模型。
[0010]结合第一方面，在第一方面的某些实现方式中，在利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本之前，该方法还包括：基于初始参考图像样本和待配准眼底图像样本，利用区域定位子模型，对初始参考图像样本进行裁剪，获得参考图像样本，其中，初始参考图像样本的拍摄视野与待配准眼底图像样本的拍摄视野不一致，参考图像样本包括的眼底图像区域与待配准眼底图像样本包括的眼底图像区域相对应。
[0011]第二方面，本公开一实施例提供了一种图像处理方法，包括：获取不同模态的多幅眼底图像；将不同模态的多幅眼底图像中的一幅眼底图像确定为参考图像，将不同模态的多幅眼底图像中除参考图像之外的眼底图像确定为至少一幅待配准眼底图像；基于参考图像和至少一幅待配准眼底图像，利用图像配准模型，对至少一幅待配准眼底图像进行配准，
得到至少一幅待配准眼底图像各自的配准图像，其中，图像配准模型基于上述第一方面所提及的图像配准模型训练方法确定。
[0012]第三方面，本公开一实施例提供了一种图像配准模型训练装置，包括：形变模块，用于利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，待配准眼底图像样本的模态和参考图像样本的模态不同；第一特征提取模块，用于利用第一特征点提取子模型，提取形变图像样本的关键点，获得形变图像关键点信息；第一特征提取模块，还用于利用第一特征点提取子模型，提取参考图像样本的关键点，获得参考图像关键点信息；损失计算模块，用于基于形变图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像配准模型训练方法，其特征在于，包括：利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对所述待配准眼底图像样本进行处理，获得形变图像样本，所述待配准眼底图像样本的模态和所述参考图像样本的模态不同；利用第一特征点提取子模型，提取所述形变图像样本的关键点，获得形变图像关键点信息；利用所述第一特征点提取子模型，提取所述参考图像样本的关键点，获得参考图像关键点信息；基于所述形变图像关键点信息和所述参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；基于所述第一损失值，调整所述形变学习子模型的参数；利用逆形变学习子模型，基于所述待配准眼底图像样本和所述参考图像样本，对所述参考图像样本进行逆形变处理，获得逆形变参考图像样本；基于所述逆形变参考样本和所述待配准眼底样本，获得第二损失值；利用所述第二损失值，调整所述逆形变学习子模型的参数，并循环迭代所述逆形变学习子模型；循环迭代所述形变学习子模型，直到所述第一损失值满足第一收敛条件，且所述第二损失值满足第二收敛条件，获得训练好的形变学习子模型，并将所述训练好的形变学习子模型确定为图像配准模型，所述图像配准模型用于基于待配准眼底图像和参考图像，对所述待配准眼底图像进行形变，得到形变图像，并将所述形变图像确定为所述待配准眼底图像对应的配准图像。2.根据权利要求1所述的方法，其特征在于，所述形变学习子模型包括第一卷积神经网络层、第二卷积神经网络层、第三卷积神经网络层、第一transformer层和第二transformer层，所述形变处理包括第一形变处理和第二形变处理，所述利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对所述待配准眼底图像样本进行处理，获得形变图像样本，包括：利用所述第一卷积神经网络层，基于所述待配准眼底图像样本和所述参考图像样本，确定第一形变场；利用所述第二卷积神经网络层，提取所述待配准眼底图像样本的局部特征；利用所述第三卷积神经网络层，基于所述第一形变场对所述待配准眼底图像样本的局部特征进行所述第一形变处理，确定所述待配准眼底图像样本的局部特征形变结果；利用所述第一transformer层，基于所述待配准眼底图像样本，提取所述待配准眼底图像样本的全局特征；利用所述第二transformer层，基于所述第一形变场、所述待配准眼底图像样本的局部特征形变结果和所述待配准眼底图像样本的全局特征，进行所述第二形变处理，获得所述形变图像样本。3.根据权利要求1所述的方法，其特征在于，所述基于所述逆形变参考样本和所述待配准眼底样本，获得第二损失值，包括：利用第二特征点提取子模型，提取所述逆形变参考图像样本的关键点，获得逆形变参
考图像关键点信息；利用所述第二特征点提取子模型，提取所述待配准眼底图像样本的关键点，获得待配准眼底图像关键点信息；基于所述逆形变参考图像关键点信息和所述待配准眼底图像关键点信息，利用第二损失函数，进行损失计算，获得所述第二损失值。4.根据权利要求3所述的方法，其特征在于，还包括：利用逆形变学习子模型，基于所述形变图像样本和所述待配准眼底图像样本，并对所述形变图像样本进行逆形变处理，获得逆形变图像样本；基于所述逆形变图像样本和所述待配准眼底图像样本，利用第三损失函数，进行损失计算，获得第三损失值；基于所述第三损失值，调整所述形变学习子模型的参数；所述循环迭代所述形变学习子模型，直到所述第一损失值满足第一收敛条件，且所述第二损失值满足所述第二收敛条件，获得训练好的形变学习子模型，包括：循环迭代所述形变学习子模型，直到所述第一损失值满足所述第一收敛条件，且所述第二损失值满足第二收敛条件，且所述第三损失值满足第三收敛条件，获得所述训练好的形变学习子模型。5.根据权利要求4所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：周登继，凌赛广，
申请(专利权)人：依未科技北京有限公司，
类型：发明
国别省市：