本发明专利技术属于图像匹配技术领域，涉及一种基于深度学习的眼底图像匹配方法、系统和可读介质，包括：将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的深度神经网络模型，该模型包括一个编码器网络和两个解码器网络；将待测眼底图像输入训练好的模型，生成关键点概率图和描述特征图；获得关键点坐标集合和关键点特征集合；将两张待匹配眼底图像对应的将关键点坐标集合和关键点特征集合进行匹配，获得匹配集；根据匹配集计算仿射变换的参数，实现图像配准，确定匹配的外点和内点，并根据内点的数量进行身份验证。其简单有效，只需要训练部分特征，大幅度减少了计算量，允许输入更大尺寸的图像，更适用于医疗眼底图像场景。医疗眼底图像场景。医疗眼底图像场景。
【技术实现步骤摘要】
一种基于深度学习的眼底图像匹配方法、系统和可读介质
[0001]本专利技术涉及一种眼底图像匹配方法、系统和可读介质，属于图像匹配
技术介绍
[0002]眼底图像匹配(retinal image matching)技术旨在根据图像内容自动判断两张给定的眼底图像的匹配程度。其匹配程度的定义取决于具体任务。在眼底图像配准(retina image registration)任务中，两张图像的匹配依赖计算二者之间对应像素点的仿射变换。而在基于眼底图像的身份验证(retinal image based identity verification)任务中，当且仅当两张图来自同一只眼时二者应被认为是匹配的。
[0003]以往的眼底图像匹配技术受限于有限的标注数据，通常采用传统数字图像处理技术实现，且依赖复杂的人工设计特征。人工特征在设计时往往需要很强的先验知识，而图像配准和身份验证这两个不同任务要求的匹配特征并不一致，所以现有的技术通常只能应用于一个特定任务。比如一个现有用于身份验证的技术采取了利用血管叉点空间特征构造匹配模板的策略。为了加速身份验证，每个图只生成一个提取主成分后的特征向量，因此该技术无法用于图像配准。而另一个现有技术中利用相机内参和球状模型在3D空间中对眼底图的特征点进行配准，但速度和效率远远无法满足身份验证的要求。因此，传统技术很难同时在图像配准和身份验证等多个任务中取得高性能。
技术实现思路
[0004]针对上述问题，本专利技术的目的是提供了一种基于深度学习的眼底图像匹配方法、系统和可读介质，其简单有效，并且只需要训练部分特征而非全部的特征图，大幅度减少了计算量，允许输入更大尺寸的图像，适用于处理分辨率较高的眼底图像。
[0005]为实现上述目的，本专利技术提出了以下技术方案：一种基于深度学习的眼底图像匹配方法，包括：将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的深度神经网络模型，深度神经网络模型包括一个编码器网络和两个解码器网络；将待测眼底图像输入训练好的深度神经网络模型的编码器网络提取特征，再将该特征分别输入到两个编码器网络，生成一个关键点概率图和一个描述特征图；根据关键点概率图和描述特征图获得关键点坐标集合和关键点特征集合；将两张待匹配眼底图像对应的关键点坐标集合和关键点特征集合进行匹配，获得匹配集；根据匹配集计算仿射变换的参数，实现图像配准；根据匹配集确定匹配的外点和内点，并根据内点的数量进行身份验证，若该数量超过特定阈值，则通过验证。
[0006]进一步，编码器网络负责提取眼底图像特征，两个解码器网络包括关键点检测解码器和特征描述解码器，关键点检测解码器负责完成图像关键点检测；特征描述解码器负责完成关键点特征描述。
[0007]进一步，眼底图像只需要部分带有关键点标注信息，将眼底图像输入深度眼底图像模型，如果眼底图像带有关键点标注信息，则将关键点标注信息作为Y0输入到关键点检
测解码器中。
[0008]进一步，关键点概率图的生成方法为：通过对关键点检测解码器中的高层特征进行上采样，获得与关键点检测解码器中的低层特征相同的高宽尺寸后，将高层特征与低层特征沿通道维度进行拼接，再将拼接后的特征经卷积和上采样获得与输入图像尺寸相同且通道数为1的输出图，并经sigmoid激活后生成关键点概率图。
[0009]进一步，描述特征图直接采用二次插值的方法获得，且其尺寸与原图像一致。
[0010]进一步，关键点检测解码器采用渐进式关键点扩增技术进行关键点的提取，其提取的关键点不包括关键点标注信息。
[0011]进一步，关键点的提取采用两阶段过滤方法进行筛选：第一阶段是基于几何的筛选，要求在眼底图像中出现的关键点也应在变换图中出现；第二阶段是基于内容的筛选，要求在眼底图像中检测到的关键点特征与变换图中的关键点特征之间满足最优的KNN匹配。
[0012]进一步，特征描述解码器根据关键点检测解码器得到的关键点集在描述特征图上进行采样，得到特征集，然后依据随机仿射变换矩阵构造三元组损失函数进行训练。
[0013]进一步，匹配集使用RANSAC算法或中值方法计算匹配的外点和内点，以剩余内点的数量作为身份验证的指标，若指标小于预设阈值，则拒绝身份验证，否则接收身份验证；或RANSAC算法或中值方法直接求解得到描述眼底图像变化的仿射矩阵，通过仿射矩阵获得图像配准。
[0014]本专利技术还公开了一种基于深度学习的眼底图像匹配系统，包括下列4个模块：
[0015]模型训练模块，用于将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的深度神经网络模型，深度眼底图像模型包括一个编码器网络和两个解码器网络；
[0016]模型输出模块，用于将待测眼底图像输入同时实现关键点检测和特征提取的深度神经网络模型，生成关键点概率图和描述特征图；
[0017]特征集合提取模块，用于根据关键点概率图和描述特征获得关键点坐标集合和关键点特征集合；
[0018]匹配集生成模块，用于将两张待匹配眼底图像对应的将关键点坐标集合和关键点特征集合进行匹配，获得匹配集；身份验证模块，用于根据匹配集计算仿射变换的参数，实现图像配准，根据匹配集确定匹配的外点和内点，并根据内点的数量进行身份验证。
[0019]本专利技术还公开了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行根据上述任一项深度学习的眼底图像匹配方法。
[0020]本专利技术由于采取以上技术方案，其具有以下优点：
[0021]1、本专利技术中方案简单有效地同时实现了图像配准和身份验证。
[0022]2、本专利技术只需要训练部分特征而非全部的特征图，大幅度减少了计算量，允许输入更大尺寸的图像，更适用于医疗眼底图像场景。
[0023]3、本专利技术提出了用于训练关键点检测模型的PKE技术，以半监督方式渐进扩增高可重复性和高可靠性的关键点，解决人工标注数据不足的问题，有效增强图像匹配的性能。
[0024]4、本专利技术设计了深度眼底图像模型，更适合于眼底图像匹配，具有比以往特征描述器更好的性能。
附图说明
[0025]图1是本专利技术一实施例中基于深度学习的眼底图像匹配方法的流程图；
[0026]图2是本专利技术一实施例中神经网络模型的结构图，每个特征图下的数字代表了这个特征图的输出尺寸，其中，h,w分别是输入图像的高宽尺寸，d值通常取256；
[0027]图3是本专利技术一实施例中关键点检测解码器的训练流程图；
[0028]图4是本专利技术一实施例中渐进式关键点扩增技术关键点筛选示意图，空心点表示未匹配上的点，需要过滤。
具体实施方式
[0029]为了使本领域技术人员更好的理解本专利技术的技术方案，通过具体实施例对本专利技术进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本专利技术，它们不应该理解成对本专利技术的限制。在本专利技术的描述中，需要理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的眼底图像匹配方法，其特征在于，包括：将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的深度神经网络模型，所述深度眼底图像模型包括一个编码器网络和两个解码器网络；将待测眼底图像输入同时实现关键点检测和特征提取的深度神经网络模型，生成关键点概率图和描述特征图；根据所述关键点概率图和描述特征图获得关键点坐标集合和关键点特征集合；将两张待匹配眼底图像对应的所述关键点坐标集合和关键点特征集合进行匹配，获得匹配集；根据所述匹配集计算仿射变换的参数，实现图像配准，根据所述匹配集确定匹配的外点和内点，并根据所述内点的数量进行身份验证。2.如权利要求1所述的眼底图像匹配方法，其特征在于，所述编码器网络负责提取眼底图像特征，所述两个解码器网络包括关键点检测解码器和特征描述解码器，所述关键点检测解码器负责完成图像关键点检测；所述特征描述解码器负责完成关键点特征描述。3.如权利要求2所述的眼底图像匹配方法，其特征在于，所述眼底图像只需要部分带有关键点标注信息，将眼底图像输入深度眼底图像模型，如果所述眼底图像带有关键点标注信息，则将所述关键点标注信息作为Y0输入到关键点检测解码器中。4.如权利要求3所述的眼底图像匹配方法，其特征在于，所述关键点概率图的生成方法为：通过对所述关键点检测解码器中的高层特征进行上采样，获得与所述关键点检测解码器中的低层特征相同的高宽尺寸后，将高层特征与低层特征沿通道维度进行拼接，再将拼接后的特征经卷积和上采样获得与输入图像尺寸相同的输出图，并经sigmoid激活后生成关键点概率图；所述描述特征图直接采用二次插值的方法获得，且其尺寸与原图像一致。5.如权利要求4所述的眼底图像匹配方法，其特征在于，所述关键点检测解码器采用渐进式关键点扩增技术进行关键点的提取，其提取的所述关键点不包括关键点标注信息。6.如权利要求5所述的眼底图像匹配方法，其特征在于，所述关键点的提取采用两阶段过滤方法...
【专利技术属性】
技术研发人员：李锡荣，刘家真，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。