婴幼儿眼底视网膜全景影像生成采集反馈方法及系统技术方案

本发明专利技术公开了一种婴幼儿眼底视网膜全景影像生成采集反馈方法及系统，利用深度学习技术分别实现了配准模型和融合模型的建模设计和训练流程。通过实现影像文件监测，多图像持续配准，多图像持续融合以及全景影像图谱提示等模块功能，设计了一种婴幼儿眼底视网膜全景影像生成和反馈系统，能够在使用者采集数据过程中实时显示已采集数据的拼接图，提示已采集影像范围、未采集区域以及生成并显示视网膜全景影像。景影像。景影像。

【技术实现步骤摘要】
婴幼儿眼底视网膜全景影像生成采集反馈方法及系统


[0001]本专利技术涉及图像拼接融合领域，更具体地，涉及一种婴幼儿眼底视网膜全景影像生成采集反馈方法及系统。

技术介绍

[0002]近年来，国家对于儿童视力情况的关注不断加强，2021年6月24日，国家卫生健康委办公厅发布了《0～6岁儿童眼保健及视力检查服务规范(试行)》，目的是进一步规范0～6岁儿童眼保健及视力检查服务，早期发现儿童常见眼病、视力不良及远视储备量不足，及时转诊干预，减少和控制儿童可控性眼病及视力不良的发展；其中对于婴幼儿眼底影像的检查是确认幼儿眼底视网膜健康情况的必须环节，尤其是早产儿以及低体重儿，是规定必须要做的检查内容之一。
[0003]随着数字成像技术的发展，幼儿眼底检查手段从直接镜/间接镜到目前应用最普遍的数字广角眼底成像设备如RetCam成像系统，单张影像最高可达130
°
的视野范围。然而即便如此，对于整个视网膜而言也还是远远不够的，眼科医生在检查婴幼儿的时候，仍需要手持设备拍摄多达几十张的影像来确保完整的检查到整个视网膜区域。眼科医生在采集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，包括以下步骤：S1：采集婴幼儿眼底影像并将采集到的婴幼儿眼底影像送入至保存路径中；S2：自动监测保存路径中的是否有新的婴幼儿眼底影像，当有新的婴幼儿眼底影像时，将新的婴幼儿眼底影像送入至缓冲队列；S3：判断缓冲队列中的队列长度是否大于两个婴幼儿眼底影像，小于两个婴幼儿眼底影像时，继续等待；不小于两个婴幼儿眼底影像的话开始进行拼接和融合；S4：将缓冲队列中的两个婴幼儿眼底影像分别经过预训练的配准模型和融合模型得到拼接图；S5：监测拼接图中的视盘，以视盘为中心，将拼接图更新至预先准备的视网膜全景图谱图上；S6：根据所述视网膜全景图谱图和拼接图盘评估当前采集的影像范围和质量，决定是否继续采集数据，当确认采集完毕时，执行步骤S8；若需要继续采集数据，执行步骤S7：S7：将缓冲队列中新增的婴幼儿眼底影像与拼接图分别经过预训练的配准模型和融合模型得到新的拼接图，返回步骤S5；S8：输出当前的拼接图作为全景视网膜影像结果。2.根据权利要求1所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述步骤S4中配准模型基于深度学习建模，利用通过自动配准生成的训练数据，结合了栅格点偏移估计、单映矩阵估计以及刚性变换对配准模型进行监督训练，在训练时还进行随机增强操作。3.根据权利要求2所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述通过自动配准生成的训练数据，具体包括以下步骤：S401：导出大量的以病例ID和拍摄数据序号为文件名的图像文件，按照病例ID进行分组；S402：对每一组内的图像文件进行两两组合，进行配准操作并评估配准效果；S403：将配准效果为可靠的集合作为训练数据，配准效果为不可靠的集合作为验证数据。4.根据权利要求3所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述步骤S402中对每一组内的图像文件进行两两组合，进行配准操作，具体为：S4021：对于两两组合的图像A和图像B，遍历检索图像A和图像B中的关键点集合KA和KB；S4022：对集合KA和KB中的点的局部进行特征统计，得到每个特征点对应的局部特征向量集合FA和FB；S4023：对两个局部特征向量集合FA和FB中的两两向量计算欧式距离，遍历检索从集合FA中到集合FB中所有最短的距离配对，再以同样的方式遍历检索从集合FB中到集合FA中所有最短的距离配对，两次配对中筛选重复的配对，完成交叉验证，得到粗匹配特征点对PPs；S4024：利用配对筛选算法对粗匹配特征点对PPs进一步筛选出可靠配对PPsR。5.根据权利要求4所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述步骤S402中评估配准效果，具体为：S4025：对得到的可靠配对PPsR统计其点对数量Nps，分别统计每个配对点在x和y方向
上的偏移距离Lx和Ly以及对应的所有点在x和y方向的平均偏移距离Lax和Lay，同时设置配对点数量阈值Nlevel和两个方向上的位移离群点阈值Xlevel、Ylevel，具体判定方式为：只有当Nps<Nlevel且所有的Lx和Ly分别跟Lax和Lay都是同向的情况就是可靠配准，其余为不可靠配准，同向指同时是正数或同时负数。6.根据权利要求5所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述配准模型的训练过程，具体为：S411：通过配准操作生成的训练数据为成对的影像数据和对应的匹配点对关系信息，其配对点关系信息为InA
‑
B，即图像A中的特征点坐标对应在图像B中的坐标信息，可拆分为PAs和PBs，通过阈值分割获取图像A和图像B的通用视野范围掩膜M；S412：利用随机变换矩阵Hr对图像B及其配对点PBs进行随机角度、随机尺度以及x、y方向上随机偏移的处理，利用此时的转换后的配对点rPBs和PAs，通过SVD奇异值分解的方式可以求得由变换后图像rB向图像A进行配准的转换矩阵Hrba，利用转换矩阵Hrba对掩膜M进行转换后得到转换后的目标掩膜MB；S413：在图像A中按照设置好的栅格数目进行均匀取点，得到栅格点坐标集合GAs，利用PAs和PBs进行SVD求解，得到由图像A向图像B左边转换的转换矩阵Hba，利用Hba得到栅格点集合GAs对应在图像B中的点集合GBs，再根据随机变换矩阵Hr，再次对点集合GBs进行同样的转换得到转换图像B对应的栅格点集合rGBs，其中点集合rGBs中的坐标是每一个点集合GBs中的坐标利用随机变换矩阵Hr转换过来；S414：利用上述流程中的点集合rGBs和点集合GAs，两个集合中的坐标是一一对应的，逐元素相减得到由n个坐标对的偏移位移组成的集合Offs{[dx1,dy1],[dx2,dy2],
…
,[dxn,dyn]}；S415：将转换矩阵Hrba、目标掩膜MB、集合Offs作为配准模型的训练标签，训练损失包括计算回归误差的损失函数和重合区域计算损失，分别选择smooth
‑
L1 Loss损失和Dice Loss损失两种，具体对应关系是smooth
‑
L1 Loss来约束配准模型对转换矩阵和偏移量的预测估计与标签...

【专利技术属性】
技术研发人员：谢志，周昊，何尧，
申请(专利权)人：中山大学中山眼科中心，
类型：发明
国别省市：