一种视网膜眼底图像配准方法及系统技术方案

本发明专利技术涉及一种视网膜眼底图像配准方法及系统。该方法包括获取待配准的视网膜眼底图像对；根据所述待配准的视网膜眼底图像对和关键点检测模型，确定所述待配准的视网膜眼底图像对中配对的关键点；根据所述配对的关键点确定所述待配准的视网膜眼底图像对的仿射变换矩阵；根据仿射变换矩阵对视网膜眼底图像对进行变换，确定视网膜眼底图像配准结果。本发明专利技术能够提高关键点检测和图像配准结果的准确性、稳定性。稳定性。稳定性。

【技术实现步骤摘要】
一种视网膜眼底图像配准方法及系统


[0001]本专利技术涉及视网膜眼底图像配准领域，特别是涉及一种视网膜眼底图像配准方法及系统。

技术介绍

[0002]视网膜眼底图像配准任务是在两幅图像中找到配准的关键点，将测试图像变换到参考图像的坐标系，以便同一点在两个图像中的相同坐标处。利用图像配准，不同角度拍摄的视网膜眼底图像可以进行拼接合成，从而获得更大的观测范围。此外，对不同时间拍摄的视网膜眼底图像进行配准，可以辅助检查不同阶段的视网膜眼底图像，以检测疾病的发展情况。
[0003]针对视网膜眼底图像配准问题，传统方法依赖人工设计特征(比如SIFT、SURF)进行关键点检测和关键点的配准。但传统方法难以适应复杂的视网膜眼底图像实际应用场景。此外，由于视网膜眼底图像内部纹理、形状等模式复杂多变，不同成像角度视觉特性差异很大，使得配准视网膜眼底图像时同一关键点难配准、不同关键点易混淆。可见，现有的配准方法难以得到有效、稳定的关键点检测及配准结果。
[0004]基于上述问题，亟需提供一种新的视网膜眼底图像配准方法，能够提高关键点检测和图像配准结果的准确性、稳定性。

技术实现思路

[0005]本专利技术的目的是提供一种视网膜眼底图像配准方法及系统，能够提高关键点检测和图像配准结果的准确性、稳定性。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种视网膜眼底图像配准方法，包括：
[0008]获取待配准的视网膜眼底图像对；
[0009]根据所述待配准的视网膜眼底图像对和关键点检测模型，确定所述待配准的视网膜眼底图像对中配对的关键点；所述配对的关键点为所述待配准的视网膜眼底图像对中配对的血管交叉点与分叉点；所述关键点检测模型包括：编码器、空间上下文特征增强模块以及解码器；所述编码器的输入为待配准的视网膜眼底图像对；所述编码器的多个卷积层将待配准的视网膜眼底图像对进行多尺度的特征提取，并将最深层特征输入所述空间上下文特征增强模块；所述空间上下文特征增强模块包括：卷积核预测子模块和上下文信息聚合子模块；所述卷积核预测子模块通过矩阵乘法形式，建模特征任意空间像素的长距离、短距离的语义和空间位置关系，生成空间自适应的上下文卷积核；所述上下文信息聚合子模块用于将空间自适应的上下文卷积核卷积作用于编码器的最深层特征上，生成聚合上下文增强的特征；聚合上下文增强的特征通过解码器的多层级网络层，与编码器的多层级特征进行逐层级的融合，进而输出所述待配准的视网膜眼底图像对中配对的关键点；
[0010]根据所述配对的关键点确定所述待配准的视网膜眼底图像对的仿射变换矩阵；
[0011]根据仿射变换矩阵对视网膜眼底图像对进行变换，确定视网膜眼底图像配准结果。
[0012]可选地，所述关键点检测模型采用三元组排序损失函数。
[0013]可选地，所述三元组排序损失函数为：
[0014][0015]其中，L为三元组排序损失函数，P和N分别为正样例和负样例集合，f
i
、f
p
、f
j
、f
l
分别代表像素i、像素p、像素j、像素l的特征向量，m表示锚点的特征向量与正负样例点特征向量的距离的间隔；[]+表示若[]中的原始数值小于0，则取值为0，若[]中的原始数值大于或等于0，则取值为原始数值。
[0016]一种视网膜眼底图像配准系统，包括：
[0017]待配准的视网膜眼底图像对获取单元，用于获取待配准的视网膜眼底图像对；
[0018]配对的关键点确定单元，用于根据所述待配准的视网膜眼底图像对和关键点检测模型，确定所述待配准的视网膜眼底图像对中配对的关键点；所述配对的关键点为所述待配准的视网膜眼底图像对中配对的血管交叉点与分叉点；所述关键点检测模型包括：编码器、空间上下文特征增强模块以及解码器；所述编码器的输入为待配准的视网膜眼底图像对；所述编码器的多个卷积层将待配准的视网膜眼底图像对进行多尺度的特征提取，并将最深层特征输入所述空间上下文特征增强模块；所述空间上下文特征增强模块包括：卷积核预测子模块和上下文信息聚合子模块；所述卷积核预测子模块通过矩阵乘法形式，建模特征任意空间像素的长距离、短距离的语义和空间位置关系，生成空间自适应的上下文卷积核；所述上下文信息聚合子模块用于将空间自适应的上下文卷积核卷积作用于编码器的最深层特征上，生成聚合上下文增强的特征；聚合上下文增强的特征通过解码器的多层级网络层，与编码器的多层级特征进行逐层级的融合，进而输出所述待配准的视网膜眼底图像对中配对的关键点；
[0019]仿射变换矩阵确定单元，用于根据所述配对的关键点确定所述待配准的视网膜眼底图像对的仿射变换矩阵；
[0020]视网膜眼底图像配准结果确定单元，用于根据仿射变换矩阵对视网膜眼底图像对进行变换，确定视网膜眼底图像配准结果。
[0021]可选地，所述关键点检测模型采用三元组排序损失函数。
[0022]可选地，所述三元组排序损失函数为：
[0023][0024]其中，L为三元组排序损失函数，P和N分别为正样例和负样例集合，f
i
、f
p
、f
j
、f
l
分别代表像素i、像素p、像素j、像素l的特征向量，m表示锚点的特征向量与正负样例点特征向量的距离的间隔；[]+表示若[]中的原始数值小于0，则取值为0，若[]中的原始数值大于
或等于0，则取值为原始数值。
[0025]一种视网膜眼底图像配准系统，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现所述的一种视网膜眼底图像配准方法。
[0026]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0027]本专利技术所提供的一种视网膜眼底图像配准方法及系统，通过选取待配准的视网膜眼底图像对的所有血管交叉点、分叉点作为配准的关键点，基于关键点检测模型，利用深度神经网络有效检测关键点；为了有效地检测配准关键点和学习特征描述向量，同时需要视网膜眼底图像的浅层级空间位置信息和深层级语义判别信息，本专利技术中的关键点检测模型利用编码器
‑
解码器结构作为基础网络架构，有效融合视网膜眼底图像的多层级、多尺度信息。此外，由于关键点有效特征微弱，不配准的关键点容易混淆，需要对关键点的空间上下文信息进行建模。然而，现有编码器
‑
解码器结构，比如U
‑
Net，并没有引入空间上下文信息。为此，基于传统U
‑
Net，本专利技术提出的空间上下文特征增强模块基于空间自适应机制的空间上下文建模方法，空间上下文特征增强模块能够更有效地实现配准关键点的定位和鲁棒特征描述向量的学习。本专利技术提高了检测关键点的准确性，进而提高了视网膜眼底图像配准结果的准确性。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视网膜眼底图像配准方法，其特征在于，包括：获取待配准的视网膜眼底图像对；根据所述待配准的视网膜眼底图像对和关键点检测模型，确定所述待配准的视网膜眼底图像对中配对的关键点；所述配对的关键点为所述待配准的视网膜眼底图像对中配对的血管交叉点与分叉点；所述关键点检测模型包括：编码器、空间上下文特征增强模块以及解码器；所述编码器的输入为待配准的视网膜眼底图像对；所述编码器的多个卷积层将待配准的视网膜眼底图像对进行多尺度的特征提取，并将最深层特征输入所述空间上下文特征增强模块；所述空间上下文特征增强模块包括：卷积核预测子模块和上下文信息聚合子模块；所述卷积核预测子模块通过矩阵乘法形式，建模特征任意空间像素的长距离、短距离的语义和空间位置关系，生成空间自适应的上下文卷积核；所述上下文信息聚合子模块用于将空间自适应的上下文卷积核卷积作用于编码器的最深层特征上，生成聚合上下文增强的特征；聚合上下文增强的特征通过解码器的多层级网络层，与编码器的多层级特征进行逐层级的融合，进而输出所述待配准的视网膜眼底图像对中配对的关键点；根据所述配对的关键点确定所述待配准的视网膜眼底图像对的仿射变换矩阵；根据仿射变换矩阵对视网膜眼底图像对进行变换，确定视网膜眼底图像配准结果。2.根据权利要求1所述的一种视网膜眼底图像配准方法，其特征在于，所述关键点检测模型采用三元组排序损失函数。3.根据权利要求2所述的一种视网膜眼底图像配准方法，其特征在于，所述三元组排序损失函数为：其中，L为三元组排序损失函数，P和N分别为正样例和负样例集合，f
i
、f
p
、f
j
、f
l
分别代表像素i、像素p、像素j、像素l的特征向量，m表示锚点的特征向量与正负样例点特征向量的距离的间隔；[]
+
表示若[]中的原始数值小于0，则取值为0，若[]中的原始数值大于或等于0，则取值为原始数值。4.一种视网膜眼底图像配准系统，其特征在于，包括：待配准的视网膜眼底图像对获取单元，用于获取待配准的视网膜眼底图像对；配对的关键点确定单元，用于根据所述待配准的视网膜眼底图像对和关键点检...

【专利技术属性】
技术研发人员：代黎明，张冬冬，杨康，
申请(专利权)人：湖南至真明扬技术服务有限公司，
类型：发明
国别省市：