修改用于深度学习模型的视网膜眼底图像的方法技术

公开了一种修改用于深度学习模型的视网膜眼底图像的方法100。在所描述的实施例中，方法100包括：通过将视网膜眼底图像111的像素172转换为0二值图像131的低强度经修改像素和高强度经修改像素来将视网膜眼底图像111转换为二值图像131，以及确定在二值图像131的低强度经修改像素与高强度经修改像素之间的第一边界151。该方法进一步包括：从第一边界151移除离群边界值162，根据剩余边界值163构建第二边界161，标识视网膜眼底图像在第二边界161之内的的像素172，以及5构建用于深度学习模型的经修改的视网膜眼底图像171，该经修改的视网膜眼底图像包含所标识的像素172。

【技术实现步骤摘要】
修改用于深度学习模型的视网膜眼底图像的方法本申请是国际申请号为PCT/SG2018/050363、国际申请日为2018年7月24日、专利技术名称为“修改用于深度学习模型的视网膜眼底图像的方法”的PCT国际申请于2020年1月15日进入中国国家阶段后申请号为201880047123.7的中国国家阶段专利申请的分案申请。
本公开涉及用于深度学习技术的图像处理，并且更具体地但是非排他性地涉及一种修改用于深度学习模型的视网膜眼底图像的方法。背景在全球范围内，糖尿病性视网膜病变(DR)是引起视力丧失的主要原因。筛查DR并及时进行转诊和治疗是预防视力受损的普遍接受的策略。当前，由评估人员针对DR进行的临床眼底镜检查或者视网膜照片评估是最常用的DR筛查方法。然而，此类DR筛查项目受到实施问题、评估人员的提供和训练以及长期财务可持续性的挑战。随着全球糖尿病患病率的增加，需要可持续的、具有成本效益的DR筛查项目。已提出了深度学习系统(DLS)，作为用于通过分析视网膜图像来进行大规模DR筛查的一种选择。DLS利用人工智能和表示学习法来处理自然原始数据，以识别高维信息中错综复杂的结构。与用于检测特定图像、图案和病变的传统模式识别型软件不同，DLS使用大型数据集来实现对有意义的图案或特征的挖掘、提取和机器学习。DLS的性能部分取决于用于训练和/或验证模型的数据集。例如，两项先前的DLS研究显示出具有用于DR筛查的巨大潜力，从而证明在从视网膜照片中检测可转诊DR方面具有高灵敏度和特异性(>90％)。然而，所使用的性能指标基于从两个可公开获得的数据库中检索到的、而且在很大程度上局限于单个族群的高质量视网膜图像。在“现实世界”DR筛查项目中，所捕获的、用于进行筛查的视网膜图像可能存在很大的可变性。例如，可能会使用不同的相机型号，从而导致图像差异。各个筛查中心之间的捕获标准也可能不同，这导致视网膜图像具有不同的质量(例如，很差的瞳孔扩张、很差的对比度/对焦)。各患者也可能具有不同的族裔，从而导致所捕获的视网膜图像具有不同的眼底色素沉着。这些可变因素将对在具有低可变性的高质量视网膜图像上训练的DLS的性能具有影响。为了将DLS在测试环境中的性能转变为在“现实世界”中的性能，应该使用“现实世界”DR筛查项目对DLS进行训练和验证，在“现实世界”DR筛查项目中，用于训练的视网膜图像会受到“现实世界”可变因素的影响。此外，在任何DR筛查项目中，都期望包括对偶发但是常见的威胁视力的病症(诸如可疑青光眼(GS)和年龄相关性黄斑变性(AMD))的检测。这进一步拓宽了要纳入DLS的训练数据集中的视网膜图像的可变性。因此，期望提供一种通过各种各样的视网膜图像来训练DLS的方法，以便解决现有技术中提到的问题和/或为公众提供有用的选择。概述现在将描述本公开的各个方面，以便提供本公开的总体概述。这些方面决不界定本专利技术的范围。根据第一方面，提供了一种修改用于深度学习模型的视网膜眼底图像的方法。该方法包括：通过将视网膜眼底图像的像素转换为二值图像的低强度经修改像素和高强度经修改像素来将视网膜眼底图像转换为二值图像，以及确定在二值图像的低强度经修改像素与高强度经修改像素之间的第一边界。该方法进一步包括：从第一边界移除离群边界值；根据剩余边界值构建第二边界；标识视网膜眼底图像的在第二边界之内的像素；以及构建用于所述深度学习模型的经修改的视网膜眼底图像，所述经修改的视网膜眼底图像包括所标识的像素。所描述的实施例用于在由经过训练的DLS进行筛查之前，将所捕获的视网膜眼底图像标准化。此外，所描述的实施例允许大规模使用从筛查项目捕获的“现实世界”视网膜眼底图像来训练深度学习模型。所训练的模型或者DLS在其在“现实世界”中的性能方面具有转化影响。视网膜眼底图像可以是灰度图像。该方法可以进一步包括：在将视网膜眼底图像转换为二值图像之前，使用绿色通道值将彩色视网膜眼底图像转换为灰度视网膜眼底图像。将视网膜眼底图像转换为二值图像可以包括：将视网膜眼底图像的对应强度值低于预定强度阈值的像素分类为低强度经修改像素，并且将视网膜眼底图像的对应强度值高于预定强度阈值的像素分类为高强度修改像素。低强度经修改像素中的每一者的强度值可以为“0”，并且高强度经修改像素中的每一者的强度值可以为“255”。将视网膜眼底图像转换为二值图像可以使用二分类大津算法来执行。该方法可以进一步包括在将视网膜眼底图像转换为二值图像之前，将视网膜眼底图像的像素强度的上限设定为预设的最大强度。最大强度可以预设为“50”。该方法可以进一步包括：在确定第一边界之前，根据极坐标来限定二值图像。高强度经修改像素可以位于第一边界之内，并且低强度经修改像素可以位于第一边界之外。确定第一边界可以包括根据用极坐标表示的边界值来限定第一边界。移除离群边界值可以包括：根据边界值计算平均径向值，以及移除径向值未限定或者偏离所述平均径向值的边界值。偏离平均径向值超过10个单位的边界值可以被移除。该方法可以进一步包括对剩余边界值应用二次回归以构建第二边界。该方法可以进一步包括在标识视网膜眼底图像的在第二边界之内的像素之前，以笛卡尔坐标限定第二边界。构建经修改的视网膜眼底图像可以包括：将所标识的像素复制到第二边界中，以及用经修改的视网膜眼底图像的背景来填充第二边界内的未占用像素。该方法可以进一步包括将经修改的视网膜眼底图像重新调节为512×512像素。应当理解，该方法可以由专门配置的计算机或者计算系统来实现。然后，这形成第二方面，其中提供了一种存储有可执行指令的非暂时性计算机可读介质，该可执行指令在由处理器执行时，使得处理器执行第一方面的方法。该方法具有许多用途，并且在一个特定的应用中，根据第三方面，提供了一种用于筛查眼部疾病的深度学习系统，其中该深度学习系统包括依据第一方面的方法的视网膜眼底图像训练的数据集。附图简述将参考附图描述示例性实施例，在附图中：图1是示出根据优选实施例的修改用于深度学习模型的视网膜眼底图像的方法的流程图；图2是从来自图1中的方法的彩色视网膜眼底图像转换而来的灰度图像的图片；图3示出了其中设定了像素强度的上限的图2的灰度图像；图4是从图3的灰度图像转换而来的二值图像；图5描绘了用极坐标表示的图4的二值图像；图6描绘了用极坐标表示的图5的二值图像的第一边界；图7描绘了用极坐标表示的在从图6的第一边界中移除了离群边界值之后的剩余边界值；图8是具有根据图7的剩余边界值构建的第二边界的模板；图9是使用图8的模板构建的经修改的视网膜眼底图像；图10是从图9的经修改的视网膜眼底图像得到的局部对比度归一化(LCN)图像；图11A-图11B是呈现关于在DR、GS和AMD训练和验证数据集的每一者中(将使用图1的方法100进行修改的)视网本文档来自技高网...

【技术保护点】
1.一种修改用于深度学习模型的视网膜眼底图像的方法，所述方法包括：/n获取具有人类视网膜盘的彩色视网膜眼底图像；/n通过仅提取并保留所述彩色视网膜眼底图像中的绿色通道值并将所述绿色通道值表示为灰度级，将所述彩色视网膜底图像转换为灰度视网膜底图像；/n将所述灰度视网膜眼底图像的像素强度的上限设置到预设的最大强度50；/n将所述灰度视网膜眼底图像中具有强度值低于预定强度阈值的像素分类为低强度经修改像素，并且将所述灰度视网膜眼底图像中具有强度值高于所述预定强度阈值的像素分类为高强度经修改像素；/n通过向所述低强度经修改像素分配低强度值0并且向所述高强度经修改像素分配高强度值255，将所述灰度视网膜眼底图像转换为二值图像；/n根据极坐标限定所述二值图像；/n确定所述低强度经修改像素和所述高强度经修改像素之间的第一边界并且根据极坐标中的边界值限定所述第一边界，其中所述高强度经修改像素位于所述第一边界内，所述低强度经修改像素位于所述第一边界外；/n通过从所述第一边界的边界值计算平均径向值并且移除具有未限定或者偏离所述平均径向值超过10个单位的边界值，从所述第一边界移除离群边界值；/n在移除离群值之后通过对剩余边界值应用二次回归，从所述剩余边界值构造第二边界；/n标识所述第二边界内的所述彩色视网膜眼底图像的像素；/n将标识出的像素复制到所述第二边界中；/n通过进一步用RGB值为[255,0,255]的经修改的视网膜眼底图像的背景色填充所述第二边界内的未占用像素，构建所述经修改的视网膜眼底图像；/n将所述经修改的视网膜眼底图像重新调节为512x512像素；以及/n通过在所有三个RGB通道上对所述经修改的视网膜眼底图像的视网膜盘内的所有像素应用内核尺寸为26x26像素的大均值滤波器，对重新调节后的所述经修改的视网膜眼底图像应用局部对比度归一化LCN；其中，将每个像素的值设置为其原始值减去均值滤波值，然后使用所有有效像素在每个通道内的均值和标准差统计值对该通道进行归一化。/n...

【技术特征摘要】
20170728 SG 10201706186V1.一种修改用于深度学习模型的视网膜眼底图像的方法，所述方法包括：
获取具有人类视网膜盘的彩色视网膜眼底图像；
通过仅提取并保留所述彩色视网膜眼底图像中的绿色通道值并将所述绿色通道值表示为灰度级，将所述彩色视网膜底图像转换为灰度视网膜底图像；
将所述灰度视网膜眼底图像的像素强度的上限设置到预设的最大强度50；
将所述灰度视网膜眼底图像中具有强度值低于预定强度阈值的像素分类为低强度经修改像素，并且将所述灰度视网膜眼底图像中具有强度值高于所述预定强度阈值的像素分类为高强度经修改像素；
通过向所述低强度经修改像素分配低强度值0并且向所述高强度经修改像素分配高强度值255，将所述灰度视网膜眼底图像转换为二值图像；
根据极坐标限定所述二值图像；
确定所述低强度经修改像素和所述高强度经修改像素之间的第一边界并且根据极坐标中的边界值限定所述第一边界，其中所述高强度经修改像素位于所述...

【专利技术属性】
技术研发人员：许为宁，李梦莉，林勇山，黄天荫，张书维，
申请(专利权)人：新加坡国立大学，新加坡保健服务集团私人有限公司，
类型：发明
国别省市：新加坡;SG