一种多模态眼底图像配准和融合方法及系统技术方案

本发明专利技术公开一种多模态眼底图像配准和融合方法及系统，包括：获取眼底图像集；对眼底图像集进行预处理，得到处理眼底图像集；对处理眼底图像集的大血管进行分割，得到大血管特征；对大血管特征进行特征标记；对特征标记进行配准和融合，得到眼底图像融合结果。有效地融合了源图像与待配准图像，呈现了更加自然的融合图像且有效提高了融合图像的信噪比；将同种检测模式的不同厂家、规格、型号的机器所得的同模式影像进行兼容，可用于对比不同设备的优劣，具有显著的现实意义。具有显著的现实意义。具有显著的现实意义。

【技术实现步骤摘要】
一种多模态眼底图像配准和融合方法及系统


[0001]本专利技术涉及图像处理
，特别涉及一种多模态眼底图像配准和融合方法及系统。

技术介绍

[0002]眼底疾病种类繁多,常见的眼底疾病有视网膜血管病变,炎症性病变,黄斑性病变,视网膜病变等。眼底疾病十分影响人们的日常生活，给人们日常生活带来了极大的不便。
[0003]各种眼底影像各有优势和局限，其中，普通眼底照相和宽视野眼底照相中眼底血管和背景的对比度较大，适合用来检测视网膜表层结构。光学相干断层扫描图像可以将眼底的视网膜和脉络膜各层结构进行分层显示，光学相干断层血流成像还可以分层显示各层结构的微血流状态以及新生血管等信息。荧光素钠眼底血管造影图像和吲哚菁绿眼底血管造影图像是分别通过向病人的静脉注射荧光素钠和吲哚菁绿后拍摄得到的。在血液循环时，荧光素钠和吲哚菁绿流动到眼底血管从而使眼底不同层面的血管发出荧光，根据荧光注射时间的长短，可将荧光眼底血管造影图分为前期，中期和晚期，其中中期荧光分布最多，最能观察眼底结构形态，判断有无新生血管，由各个时期动态的荧光形态变化也可以诊断眼底血管血液流动是否正常，诊断如眼底血管出血，渗漏等一些无法从其他眼底影像上观察到的病灶信息。单一的眼底影像模态存在各自不同的固有局限性，面对复杂的眼底疾病，难以满足精准诊疗的高标准，高要求。单一的眼底影像所携带的信息有限，而综合多种图像的信息能更全面的诊断眼底疾病，将不同优势信息互补。然而目前在诊断时，临床医生采用的方式是通过脑海“人工剪影”的方式融合同模态和多模态的眼底图像信息，来诊断病灶类型和病灶位置。这种方式对医生的要求很高，而且效率不高，也容易发生误诊，漏诊等情况。融合影像技术将多种医学影像相互叠加、覆盖，在精准配准的基础上，例如：一方面利用OCT，OCTA清晰度高的优势，有效克服了眼底荧光造影存在无法分层检查，分辨力低的缺点。另一方面，基于眼底荧光造影的动态性的优势，实现OCT，OCTA从静态到实时动态的飞跃。通过优势互补，带来颠覆性的医学成像效果，为实施精准的微创治疗和评估提供有利条件。
[0004]其次，目前临床上同一类型的检查机器还有多种规格和型号，不同规格和型号的检测仪器得到的眼底图像也有不同差异。

技术实现思路

[0005]为解决上述现有技术中所存在的问题，本专利技术提供一种多模态眼底图像配准和融合方法及系统，通过同一眼眼底血管的相同形状和走形特征，将不同模式的影像进行融合，呈现了更加自然的融合图像且有效提高了融合图像的信噪比；将同种检测模式的不同厂家、规格、型号的机器所得的同模式影像进行兼容，可用于对比不同设备的优劣，具有显著的现实意义。
[0006]为了实现上述技术目的，本专利技术提供了一种多模态眼底图像配准和融合方法，包括：
[0007]获取眼底图像集；
[0008]对所述眼底图像集进行预处理，得到处理眼底图像集；
[0009]对所述处理眼底图像集的大血管进行分割，得到大血管特征；
[0010]对所述大血管特征进行特征标记；
[0011]对所述特征标记进行配准和融合，得到眼底图像融合结果。
[0012]可选地，所述眼底图像集包括同一眼睛不同模态的眼底图像和相同模态不同检测时间点的眼底图像。
[0013]可选地，所述预处理包括滤波和增强。
[0014]可选地，采用改进的DNNS血管分割网络和像素取反法对所述处理眼底图像集的大血管进行分割。
[0015]可选地，采用SIFT方法和D2net
‑
Reject方法对所述特征标记进行配准和融合。
[0016]可选地，所述SIFT方法包括：
[0017]检测所述特征标记，得到特征点；
[0018]基于所述特征点，建立特征点描述子；
[0019]根据所述特征点描述子的相似程度匹配所述特征标记，得到匹配结果；
[0020]对所述匹配结果的误匹配点对进行剔除，并基于剔除所述误匹配点对后的所述匹配结果构建变换矩阵；
[0021]采用所述变换矩阵对待配准眼底图像进行空间变换，基于空间变换后的所述待配准眼底图像和源眼底图像，采用双线性插值法，得到眼底图像融合结果。
[0022]可选地，所述D2net
‑
Reject方法包括：
[0023]采用D2net特征提取网络提取所述特征标记，得到特征点和特征描述符；
[0024]基于所述特征点和所述特征描述符，采用最近邻匹配法，得到匹配对；
[0025]采用平均距离匹配对粗筛选法对所述匹配对进行匹配对粗筛选；
[0026]采用Reject匹配对筛选网络剔除误匹配点对，结合变换模型，得到最终匹配点对；
[0027]基于所述最终匹配点对计算模型参数矩阵，结合透视变换模型，得到待配准图像和源图像的坐标映射关系；
[0028]基于所述坐标映射关系，采用双线性插值法，得到变换图像；
[0029]将所述变换图像与所述源图像进行融合，得到眼底图像融合结果。
[0030]可选地，所述大血管特征包括血管形态、走行特征以及血管交叉点位。
[0031]为了实现上述技术目的，本专利技术还提供了一种多模态眼底图像配准和融合系统，包括：
[0032]获取模块、预处理模块、分割模块、特征标记模块、配准融合模块；
[0033]所述获取模块用于获取眼底图像集；
[0034]所述预处理模块用于对所述眼底图像集进行预处理，得到处理眼底图像集；
[0035]所述分割模块用于对所述处理眼底图像集的大血管进行分割，得到大血管特征；
[0036]所述特征标记模块用于对所述大血管特征进行特征标记；
[0037]所述配准融合模块用于对所述特征标记进行配准和融合，得到眼底图像融合结
果。
[0038]本专利技术具有如下技术效果：
[0039]本专利技术通过同一眼眼底血管的相同形状和走形特征，将不同模式的影像进行融合，呈现了更加自然的融合图像且有效提高了融合图像的信噪比；将同种检测模式的不同厂家、规格、型号的机器所得的同模式影像进行兼容，可用于对比不同设备的优劣，具有显著的现实意义。
附图说明
[0040]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本专利技术实施例一多模态眼底图像配准和融合方法的流程框图；
[0042]图2为本专利技术实施例一经过直方图规定化之后的眼底图像；
[0043]图3为本专利技术实施例一经过滤波后的眼底图像；
[0044]图4为本专利技术实施例一DNNS血管分割网络框架示意图；
[0045]图5为本专利技术实施例一同模态眼底图像特征点匹配结果示意图；
[0046]图6为本专利技术实施例一同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态眼底图像配准和融合方法，其特征在于，包括以下步骤：获取眼底图像集；对所述眼底图像集进行预处理，得到处理眼底图像集；对所述处理眼底图像集的大血管进行分割，得到大血管特征；对所述大血管特征进行特征标记；对所述特征标记进行配准和融合，得到眼底图像融合结果。2.根据权利要求1所述的多模态眼底图像配准和融合方法，其特征在于，所述眼底图像集包括同一眼睛不同模态的眼底图像和相同模态不同检测时间点的眼底图像。3.根据权利要求1所述的多模态眼底图像配准和融合方法，其特征在于，所述预处理包括滤波和增强。4.根据权利要求1所述的多模态眼底图像配准和融合方法，其特征在于，采用改进的DNNS血管分割网络和像素取反法对所述处理眼底图像集的大血管进行分割。5.根据权利要求1所述的多模态眼底图像配准和融合方法，其特征在于，采用SIFT方法和D2net
‑
Reject方法对所述特征标记进行配准和融合。6.根据权利要求5所述的多模态眼底图像配准和融合方法，其特征在于，所述SIFT方法包括：检测所述特征标记，得到特征点；基于所述特征点，建立特征点描述子；根据所述特征点描述子的相似程度匹配所述特征标记，得到匹配结果；对所述匹配结果的误匹配点对进行剔除，并基于剔除所述误匹配点对后的所述匹配结果构建变换矩阵；采用所述变换矩阵对待配准眼底图像进行空间变换，基于空间变换后的所述待配准眼底图像和源...

【专利技术属性】
技术研发人员：白建豪，晚忠琪，彭清，
申请(专利权)人：白建豪，
类型：发明
国别省市：