使用机器学习模型处理眼底图像制造技术

一种用于使用眼底图像处理机器学习模型处理眼底图像的方法、系统和设备，所述方法、系统和设备包括编码在计算机存储介质上的计算机程序。所述方法中的一个包括：获得包括一个或多个眼底图像的模型输入，每个眼底图像是患者的眼睛的眼底的图像；使用眼底图像处理机器学习模型处理所述模型输入，其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入，以生成模型输出；以及处理所述模型输出以生成健康分析数据。

Using Machine Learning Model to Processing Eye Fundus Image

A method, system and device for processing fundus images using a machine learning model of fundus image processing includes a computer program encoded on a computer storage medium. One of the methods includes: obtaining a model input comprising one or more fundus images, each of which is an image of the patient's eyes; processing the model input using the fundus image processing machine learning model, which is configured to process the model input comprising one or more fundus images for generating. Model output; and processing the model output to generate health analysis data.

【技术实现步骤摘要】
【国外来华专利技术】使用机器学习模型处理眼底图像
本说明书涉及使用机器学习模型处理图像。
技术介绍
机器学习模型接收输入并且基于接收的输入生成输出，例如预测的输出。一些机器学习模型是参数模型，并且基于接收的输入和模型的参数值生成输出。一些机器学习模型是深度模型，所述深度模型采用多层模型来为接收的输入生成输出。例如，深度神经网络是深度机器学习模型，所述深度机器学习模型包括输出层和一个或多个隐藏层，所述输出层和一个或多个隐藏层各自对接收的输入应用非线性转变以生成输出。一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从所述输入序列生成输出序列的神经网络。特别地，在从所述输入序列中的当前输入生成输出中，在处理输入序列中的前一个输入之后，递归神经网络使用网络的内部状态中的一些或全部。
技术实现思路
本说明书总体上描述一种通过使用眼底图像处理机器学习模型处理包括患者的一个或多个眼底图像的数据来生成有关患者的健康分析数据的系统。可以实现本说明书中所描述的主题的特定实施例，以便实现以下优点中的一个或多个。健康分析系统可以仅使用患者的眼睛的眼底的一个或多个图像以及最少或没有其它患者数据来有效地分析患者的健康。特别地，健康分析系统可以使用眼底图像有效地分析特定身体状况的存在或可能的进展。替代地或另外，健康分析系统可以有效地预测在治疗身体状况的过程中哪些治疗或后续举措将是最有效的。替代地或另外，健康分析系统可以准确地评估患者出现不期望的健康事件的风险，或者使用眼底图像准确地评估患者的整体健康。替代地或另外，健康分析系统可以使用眼底图像准确地预测导致患者会出现特定一组健康事件的风险的一组因素的值。在一些实现方式中，系统可以向系统的用户呈现数据，所述数据解释针对由系统生成的预测值的基础，即机器学习模型所专注的以生成特定预测的眼底图像部分。在执行该操作时，所述系统可以允许医师或其他用户洞察预测过程。附图和下面的描述中阐述了本说明书的主题的一个或多个实施例的细节。根据描述、附图和权利要求，所述主题的其它特征、方面和优点将变得显而易见。附图说明图1示出示例眼底图像分析系统。图2A是用于生成健康分析数据的示例过程的流程图。图2B示出通过眼底图像处理机器学习模型处理示例眼底图像。图3是用于生成特定于特定身体状况的健康分析数据的示例过程的流程图。图4是用于生成识别患者后续举措的健康分析数据的示例过程的流程图。图5是用于生成预测身体状况的可能进展的健康分析数据的示例过程的流程图。图6是用于生成预测针对给定患者的身体状况的适当治疗的健康分析数据的示例过程的流程图。图7是用于生成包括预测的眼底图像的健康分析数据的示例过程的流程图。图8是用于生成预测健康事件发生的风险的健康分析数据的示例过程的流程图。图9是用于生成表征患者的整体健康的健康分析数据的示例过程的流程图。图10是用于生成包括有关一个或多个风险因素的预测值的健康分析数据的示例过程的流程图。图11是用于生成包括识别眼底图像中的位置的数据的健康分析数据的示例过程的流程图，当生成模型输出时所述眼底图像被机器学习模型所专注。各种附图中的相同参考编号和名称指示相同的元件。具体实施方式本说明书总体上描述一种可以从包括患者的一个或多个眼底图像和可选地其它患者数据的输入生成健康分析数据的系统。眼底图像是患者的眼睛中的一个的眼底的照片。眼睛的眼底是眼睛的与透镜相对的内部表面，并且除其他之外包括视网膜和视神经盘。一般而言，为了生成针对给定患者的健康分析数据，系统使用眼底图像处理机器学习模型处理一个或多个眼底图像和可选地其它患者数据，以生成有关患者的模型输出，并且然后从所述模型输出生成健康分析数据。图1示出示例眼底图像分析系统100。眼底图像分析系统100是实现为一个或多个位置处的一个或多个计算机上的计算机程序的系统的示例，其中可以实现下面所描述的系统、组件和技术。对于给定患者，眼底图像分析系统100接收包括患者的眼睛的一个或多个眼底图像的眼底图像数据122，并且生成表征患者的健康的健康分析数据142。在一些实现方式中，眼底图像分析系统100包括眼底图像捕获系统110或与其通信，眼底图像捕获系统110生成眼底图像并且将所述眼底图像作为输入眼底图像数据122提供给眼底图像分析系统。特别地，眼底图像捕获系统110包括例如图像捕获装置120的一个或多个图像捕获装置，所述一个或多个图像捕获装置被配置成捕获患者的眼底的图像。一般而言，图像捕获装置120是专用眼底相机，所述专用眼底相机被配置成捕获合适类型的眼底图像，例如使用彩色眼底照相、立体照相术、广域或超广域照相术或扫描激光检眼镜(SLO)。在一些情况下，图像捕获系统110包括捕获不同类型的眼底图像的多个图像捕获装置。在其它实现方式中，眼底图像分析系统100例如通过数据通信网络从外部系统接收输入眼底图像数据122。眼底图像分析系统100使用眼底图像处理机器学习模型130处理输入眼底图像数据122和可选的有关给定患者的其它数据。眼底图像处理机器学习模型130是被配置成处理输入眼底图像数据122和可选地其它患者数据124以生成表征患者的健康的模型输出132的机器学习模型。眼底图像数据122中有多少眼底图像，系统100是否接收其它患者数据124和如果接收，那么接收的其它患者数据124是什么性质，以及模型输出132的组成取决于眼底图像处理机器学习模型130的配置。下面参考图2到图9更加详细地描述眼底图像数据、机器学习模型130的示例配置和模型输出132的示例组成。眼底图像分析系统100还包括患者健康分析子系统140，所述患者健康分析子系统140接收模型输出132并且生成患者健康分析数据142。一般而言，患者健康分析子系统140以可以呈现给系统用户的方式生成表征模型输出的健康分析数据。患者健康分析子系统140然后可以提供健康分析数据142以便在例如在患者的用户计算机上或者在医学专家的计算机上的用户界面中呈现给用户，存储健康分析数据142供未来使用，或者出于一些其它直接目的提供健康分析数据142供使用。在一些实现方式中，眼底图像分析系统100通过数据通信网络从用户计算机的远程用户接收对患者健康分析数据142的请求。例如，上面实现了眼底图像捕获系统110的计算机的用户计算机可以能够通过数据通信网络向眼底图像分析系统100提交请求，做法是提供眼底图像数据作为对眼底图像分析系统100进行应用程序编程接口(API)调用的一部分。响应于API调用，眼底图像分析系统100可以生成健康分析数据142，并且通过数据通信网络将健康分析数据传输给用户计算机。另外，在一些实现方式中，机器学习模型130通过远离眼底图像分析系统100的一个或多个计算机实现。在这些实现方式中，眼底图像分析系统100可以访问机器学习模型130，做法是通过网络做出包括对机器学习模型130的输入的API调用，并且可以响应于API调用接收模型输出132。虽然本说明书中的描述总体上描述生成特定模型输出的单个机器学习模型130，但是在一些情况下，系统100包括给定类别的模型输出的多个机器学习模型的集合或与其通信。每个机器学习模型130生成相同类别的模型输出，并且系统100或其它系统可以将由所述集合生成的模型输出加以组合，例如通过计算模本文档来自技高网...

【技术保护点】
1.一种方法，包括：获得包括一个或多个眼底图像的模型输入，每个眼底图像是患者的眼睛的眼底的图像；使用眼底图像处理机器学习模型处理所述模型输入，其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入，以生成表征所述患者关于青光眼的健康的模型输出；以及处理所述模型输出以生成健康分析数据，所述健康分析数据对所述患者关于青光眼的所述健康的方面进行分析。

【技术特征摘要】
【国外来华专利技术】2016.08.18 US 62/376,8601.一种方法，包括：获得包括一个或多个眼底图像的模型输入，每个眼底图像是患者的眼睛的眼底的图像；使用眼底图像处理机器学习模型处理所述模型输入，其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入，以生成表征所述患者关于青光眼的健康的模型输出；以及处理所述模型输出以生成健康分析数据，所述健康分析数据对所述患者关于青光眼的所述健康的方面进行分析。2.根据权利要求1所述的方法，其中所述模型输入还包括其它患者数据，所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。3.根据权利要求1或2中任一项所述的方法，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。4.根据权利要求1或2中任一项所述的方法，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括多个眼底图像，所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。5.根据权利要求1或2中任一项所述的方法，其中所述眼底图像处理机器学习模型是递归机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。6.根据权利要求1到5中任一项所述的方法，其中所述模型输出包括表示所述患者具有青光眼的可能性的状况状态分值。7.根据权利要求1到5中任一项所述的方法，其中所述模型输出包括多个状况状态分值，每个状况状态分值对应于青光眼的相应可能的等级，并且每个状况状态分值表示青光眼的所述对应可能的等级是针对所述患者的当前青光眼等级的相应可能性。8.根据权利要求1到5中任一项所述的方法，其中所述模型输出包括多个后续分值，每个后续分值对应于可以被所述患者采取来治疗所述青光眼的相应可能的后续举措，并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述青光眼的适当举措的相应可能性。9.根据权利要求1到5中任一项所述的方法，其中所述模型输出包括多个进展分值，每个进展分值对应于所述青光眼的相应可能等级，并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述青光眼的所述等级的相应可能性。10.一种系统，包括一个或多个计算机和存储指令的一个或多个存储装置，所述指令当被所述一个或多个计算机实行时致使所述一个或多个计算机执行操作，所述操作包括：获得包括一个或多个眼底图像的模型输入，每个眼底图像是患者的眼睛的眼底的图像；使用眼底图像处理机器学习模型处理所述模型输入，其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入，以生成表征所述患者关于青光眼的健康的模型输出；以及处理所述模型输出以生成健康分析数据，所述健康分析数据对所述患者关于青光眼的所述健康的方面进行分析。11.根据权利要求10所述的系统，其中所述模型输入还包括其它患者数据，所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。12.根据权利要求10或11中任一项所述的系统，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。13.根据权利要求10或11中任一项所述的系统，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括多个眼底图像，所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。14.根据权利要求10或11中任一项所述的系统，其中所述眼底图像处理机器学习模型是递归机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。15.根据权利要求10到14中任一项所述的系统，其中所述模型输出包括表示所述患者具有青光眼的可能性的状况状态分值。16.根据权利要求10到14中任一项所述的系统，其中所述模型输出包括多个状况状态分值，每个状况状态分值对应于青光眼的相应可能的等级，并且每个状况状态分值表示青光眼的所述对应可能的等级是针对所述患者的当前青光眼等级的相应可能性。17.根据权利要求10到14中任一项所述的系统，其中所述模型输出包括多个后续分值，每个后续分值对应于可以被所述患者采取来治疗所述青光眼的相应可能的后续举措，并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述青光眼的适当举措的相应可能性。18.根据权利要求10到14中任一项所述的系统，其中所述模型输出包括多个进展分值，每个进展分值对应于所述青光眼的相应可能等级，并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述青光眼的所述等级的相应可能性。19.一种编码有指令的计算机存储介质，所述指令当被一个或多个计算机实行时致使所述一个或多个计算机执行操作，所述操作包括：获得包括一个或多个眼底图像的模型输入，每个眼底图像是患者的眼睛的眼底的图像；使用眼底图像处理机器学习模型处理所述模型输入，其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入，以生成表征所述患者关于青光眼的健康的模型输出；以及处理所述模型输出以生成健康分析数据，所述健康分析数据对所述患者关于青光眼的所述健康的方面进行分析。20.根据权利要求19所述的计算机存储介质，其中所述模型输入还包括其它患者数据，所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。21.根据权利要求19或20中任一项所述的计算机存储介质，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。22.根据权利要求19或20中任一项所述的计算机存储介质，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括多个眼底图像，所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。23.根据权利要求19或20中任一项所述的计算机存储介质，其中所述眼底图像处理机器学习模型是递归机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。24.根据权利要求19到23中任一项所述的计算机存储介质，其中所述模型输出包括表示所述患者具有青光眼的可能性的状况状态分值。25.根据权利要求19到23中任一项所述的计算机存储介质，其中所述模型输出包括多个状况状态分值，每个状况状态分值对应于青光眼的相应可能的等级，并且每个状况状态分值表示青光眼的所述对应可能的等级是针对所述患者的当前青光眼等级的相应可能性。26.根据权利要求19到23中任一项所述的计算机存储介质，其中所述模型输出包括多个后续分值，每个后续分值对应于可以被所述患者采取来治疗所述青光眼的相应可能的后续举措，并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述青光眼的适当举措的相应可能性。27.根据权利要求19到23中任一项所述的计算机存储介质，其中所述模型输出包括多个进展分值，每个进展分值对应于所述青光眼的相应可能等级，并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述青光眼的所述等级的相应可能性。28.一种方法，包括：获得包括一个或多个眼底图像的模型输入，每个眼底图像是患者的眼睛的眼底的图像；使用眼底图像处理机器学习模型处理所述模型输入，其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入，以生成表征所述患者关于年龄相关的黄斑变性的健康的模型输出；以及处理所述模型输出以生成健康分析数据，所述健康分析数据对所述患者关于年龄相关的黄斑变性的所述健康的方面进行分析。29.根据权利要求28所述的方法，其中所述模型输入还包括其它患者数据，所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。30.根据权利要求28或29中任一项所述的方法，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。31.根据权利要求28或29中任一项所述的方法，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括多个眼底图像，所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。32.根据权利要求28或29中任一项所述的方法，其中所述眼底图像处理机器学习模型是递归机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。33.根据权利要求28到32中任一项所述的方法，其中所述模型输出包括表示所述患者具有年龄相关的黄斑变性的可能性的状况状态分值。34.根据权利要求28到32中任一项所述的方法，其中所述模型输出包括多个状况状态分值，每个状况状态分值对应于年龄相关的黄斑变性的相应可能的等级，并且每个状况状态分值表示年龄相关的黄斑变性的所述对应可能的等级是针对所述患者的当前年龄相关的黄斑变性等级的相应可能性。35.根据权利要求28到32中任一项所述的方法，其中所述模型输出包括多个后续分值，每个后续分值对应于可以被所述患者采取来治疗所述年龄相关的黄斑变性的相应可能的后续举措，并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述年龄相关的黄斑变性的适当举措的相应可能性。36.根据权利要求28到32中任一项所述的方法，其中所述模型输出包括多个进展分值，每个进展分值对应于所述年龄相关的黄斑变性的相应可能等级，并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述年龄相关的黄斑变性的所述等级的相应可能性。37.一种系统，包括一个或多个计算机和存储指令的一个或多个存储装置，所述指令当被所述一个或多个计算机实行时致使所述一个或多个计算机执行操作，所述操作包括：获得包括一个或多个眼底图像的模型输入，每个眼底图像是患者的眼睛的眼底的图像；使用眼底图像处理机器学习模型处理所述模型输入，其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入，以生成表征所述患者关于年龄相关的黄斑变性的健康的模型输出；以及处理所述模型输出以生成健康分析数据，所述健康分析数据对所述患者关于年龄相关的黄斑变性的所述健康的方面进行分析。38.根据权利要求37所述的系统，其中所述模型输入还包括其它患者数据，所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。39.根据权利要求37或38中任一项所述的系统，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。40.根据权利要求37或38中任一项所述的系统，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括多个眼底图像，所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。41.根据权利要求37或38中任一项所述的系统，其中所述眼底图像处理机器学习模型是递归机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。42.根据权利要求37到41中任一项所述的系统，其中所述模型输出包括表示所述患者具有年龄相关的黄斑变性的可能性的状况状态分值。43.根据权利要求37到41中任一项所述的系统，其中所述模型输出包括多个状况状态分值，每个状况状态分值对应于年龄相关的黄斑变性的相应可能的等级，并且每个状况状态分值表示年龄相关的黄斑变性的所述对应可能的等级是针对所述患者的当前年龄相关的黄斑变性等级的相应可能性。44.根据权利要求37到41中任一项所述的系统，其中所述模型输出包括多个后续分值，每个后续分值对应于可以被所述患者采取来治疗所述年龄相关的黄斑变性的相应可能的后续举措，并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述年龄相关的黄斑变性的适当举措的相应可能性。45.根据权利要求37到41中任一项所述的系统，其中所述模型输出包括多个进展分值，每个进展分值对应于所述年龄相关的黄斑变性的相应可能等级，并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述年龄相关的黄斑变性的所述等级的相应可能性。46.一种编码有指令的计算机存储介质，所述指令当被一个或多个计算机实行时致使所述一个或多个计算机执行操作，所述操作包括：获得包括一个或多个眼底图像的模型输入，每个眼底图像是患者的眼睛的眼底的图像；使用眼底图像处理机器学习模型处理所述模型输入，其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入，以生成表征所述患者关于年龄相关的黄斑变性的健康的模型输出；以及处理所述模型输出以生成健康分析数据，所述健康分析数据对所述患者关于年龄相关的黄斑变性的所述健康的方面进行分析。47.根据权利要求46所述的计算机存储介质，其中所述模型输入还包括其它患者数据，所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。48.根据权利要求46或47中任一项所述的计算机存储介质，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。49.根据权利要求46或47中任一项所述的计算机存储介质，其中所述眼底图像处理机器学习模型是前馈机器学习模型，并且其中所述一个或多个眼底图像包括多个眼底图像，所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。50.根据权利要求46或47中任一项所述的计算机存储介质，其中所述眼底图像处理机器学习模型是递归机器学习模型，并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。51.根据权利要求46到50中任一项所述的计算机存储介质，其中所述模型输出包括表示所述患者具有年龄相关的黄斑变性的可能性的状况状态分值。52.根据权利要求46到50中任一项所述的计算机存储介质，其中所述模型输出包括多个状况状态分值，每个状况状态分值对应于年龄相关的黄斑变性的相应可能的等级，并且每个状况状态分值表示年龄相关的黄斑变性的所述对应可能的等级是针对所述患者的当前年龄相关的黄斑变性等级的相应可能性。53.根据权利要求46到50中任一项所述的计算机存储介质，其中所述模型输出包括多个后续分值，每个后续分值对应于可以被所述患者采取来...

【专利技术属性】
技术研发人员：丽莉·浩·义·彭，达莱·R·韦伯斯特，菲利普·查尔斯·内尔松，瓦伦·古尔尚，马克·阿德莱·科拉姆，马丁·克里斯蒂安·施通佩，德里克·詹梅·吴，阿鲁纳沙拉姆·纳拉亚那斯瓦米，阿维纳什·维迪亚纳坦·瓦拉达拉扬，凯瑟琳·布卢默，刘韵，瑞安·波普兰，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US