眼底图像识别方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:22330824 阅读:29 留言:0更新日期:2019-10-19 12:24
本发明专利技术公开了一种眼底图像识别方法、装置、计算机设备及存储介质,属于图像技术领域。本发明专利技术通过目标识别模型对眼底图像进行特征提取,获取该眼底图像对应的第一特征图,对该第一特征图进行可形变卷积,使该目标识别模型可以全面捕捉到尺寸和形状差异较大的病灶,该目标识别模型基于可形变卷积后的第一特征图生成第二特征图,基于注意力机制对第二特征图中的关键信息进行提取,使该目标识别模型更加关注病灶所在的区域,从而可以准确识别出该眼底图像中的至少一个病灶。这种眼底图像识别方法提高了目标识别模型对不同尺寸和形状的病灶的识别能力,而且通过注意力机制使该目标识别模型更加关注重要的病灶所在区域,从而提高识别结果的准确率。

【技术实现步骤摘要】
眼底图像识别方法、装置、计算机设备及存储介质本申请是申请日为2019年6月10日、申请号为201910497448.1、专利技术名称为“图像识别方法、装置、计算机设备及计算机可读存储介质”的分案申请。
本专利技术涉及图像
,特别涉及一种眼底图像识别方法、装置、计算机设备及存储介质。
技术介绍
近年来,机器学习技术被广泛应用于临床医学领域,计算机设备可以基于深度神经网络构建目标识别模型,对眼底图像中包含的病灶进行识别。目前,在眼底图像识别任务中,通常采用YOLO(youonlylookonce,你只看一次)目标识别模型,对眼底图像进行特征提取,获取眼底图像对应的特征图,基于该特征图预测眼底图像中的病灶的位置信息、类别信息等。但是,在眼底图像中通常会存在大小和形状差异较大的病灶,YOLO目标识别模型对于这些尺寸和形状悬殊巨大的病灶的信息提取能力较差,导致检测结果的准确率较低。
技术实现思路
本专利技术实施例提供了一种眼底图像识别方法、装置、计算机设备及存储介质,可以解决相关技术中眼底图像识别准确率低的问题。该技术方案如下:一方面,提供了一种眼底图像识别方法,该方法包括:获取待识别的眼底图像;将该眼底图像输入目标识别模型中;由该目标识别模型对该眼底图像进行特征提取,得到第一特征图,将该第一特征图与多个不同的可形变卷积核分别进行卷积运算,得到多个中间特征图;由该目标识别模型根据该多个不同的可形变卷积核的通道权重和该多个中间特征图进行加权运算,得到第二特征图;由该目标识别模型基于该第二特征图进行关键信息提取,得到第三特征图,基于该第三特征图输出该眼底图像的至少一个病灶的位置信息以及置信度;根据该至少一个病灶的位置信息以及置信度,在该眼底图像中突出显示该至少一个病灶。一方面,提供了一种眼底图像识别装置,该装置包括:第一获取单元,用于获取待识别的眼底图像;输入单元,用于将该眼底图像输入目标识别模型中;第二获取单元,用于由该目标识别模型对该眼底图像进行特征提取,得到第一特征图,将该第一特征图与多个不同的可形变卷积核分别进行卷积运算,得到多个中间特征图;第三获取单元,用于由该目标识别模型根据该多个不同的可形变卷积核的通道权重和该多个中间特征图进行加权运算,得到第二特征图;输出单元,用于由该目标识别模型基于该第二特征图进行关键信息提取,得到第三特征图,基于该第三特征图输出该眼底图像的至少一个病灶的位置信息以及置信度;病灶显示单元,用于根据该至少一个病灶的位置信息以及置信度,在该眼底图像中突出显示该至少一个病灶。在一种可能实现方式中,该装置还包括:置信度显示单元,用于当检测到对任一病灶的点击操作时,在该病灶的预设范围内显示该病灶的置信度。一方面,提供了一种计算机设备,该计算机设备包括一个或多个处理器和一个或多个存储器,该一个或多个存储器中存储有至少一条指令,该指令由该一个或多个处理器加载并执行以实现该眼底图像识别方法所执行的操作。一方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该指令由处理器加载并执行以实现该眼底图像识别方法所执行的操作。本专利技术实施例提供的技术方案,通过目标识别模型对眼底图像进行特征提取,获取该眼底图像对应的第一特征图,对该第一特征图进行可形变卷积,使该目标识别模型可以全面捕捉到尺寸和形状差异较大的病灶,该目标识别模型基于可形变卷积后的第一特征图生成第二特征图,基于注意力机制对第二特征图中的关键信息进行提取,使该目标识别模型更加关注病灶所在的区域,从而可以准确识别出该眼底图像中的至少一个病灶。这种眼底图像识别方法提高了目标识别模型对不同尺寸和形状的病灶的识别能力,而且通过注意力机制使该目标识别模型更加关注重要的病灶所在区域,从而提高识别结果的准确率。附图说明为了更清楚地说明本专利技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种图像识别系统的结构框图;图2是本专利技术实施例提供的一种图像识别方法的流程图;图3是本专利技术实施例提供的一种可形变卷积核的示意图;图4是本专利技术实施例提供的一种可形变卷积核与特征图进行卷积运算的示意图;图5是本专利技术实施例提供的一种目标区域标注的对比示意图;图6是本专利技术实施例提供的一种目标识别模型的示意图;图7是本专利技术实施例提供的一种目标识别模型训练方法的流程图;图8是本专利技术实施例提供的一种图像识别装置的结构示意图;图9是本专利技术实施例提供的一种终端的结构示意图;图10是本专利技术实施例提供的一种服务器的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚,下面将结合附图对本专利技术实施方式作进一步地详细描述。注意力机制(AttentionMechanism):是利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段。视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像,获得需要重点关注的目标区域,也就是一般所说的注意力焦点,而后对这一区域投入更多注意力资源,以获取更多所需要关注目标的细节信息,而抑制其他无用信息。注意力机制被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一。具体地,在深度学习技术中可以通过掩码来形成注意力机制,掩码本质上是一组权重数值,使用掩码可以对不同特征赋予不同权重,对关键特征赋予较高的权重,使深度神经网络更加关注这些权重较高的关键特征,也就形成了注意力机制。当然,深度神经网络需要通过对大量样本数据的学习训练,才能确定具有哪些特性的特征是关键特征,从而在实际应用过程中,对具有该特性的特征赋予较高的权重。综上,注意力机制主要有两个方面:一是决定需要关注输入的哪部分;二是分配有限的信息处理资源给重要的部分。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似,核心目标也是从众多信息中选择出对当前任务更关键的信息。图1是本专利技术实施例提供的一种图像识别系统的结构框图。该图像识别系统100包括:终端110和图像识别平台140。终端110通过无线网络或有线网络与图像识别平台110相连。终端110可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3播放器、MP4播放器和膝上型便携计算机中的至少一种。终端110安装和运行有支持图像识别的应用程序。该应用程序可以是检测类应用程序等。示例性的,终端110是第一用户使用的终端,终端110中运行的应用程序内登录有用户账号。终端110通过无线网络或有线网络与图像识别平台140相连。图像识别平台140包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。图像识别平台140用于为支持图像识别的应用程序提供后台服务。可选地,图像识别平台140承担主要识别工作,终端110承担次要识别工作;或者,图像识别平台140承担次要识别工作,终端110承担主要识别工作;或者,图像识别平台140或终端110分别可以单独承担识别工作。可选地,图像识别平台140包括:接入服务器、图像识别服务器和数据库。接入本文档来自技高网...

【技术保护点】
1.一种眼底图像识别方法,其特征在于,所述方法包括:获取待识别的眼底图像;将所述眼底图像输入目标识别模型中;由所述目标识别模型对所述眼底图像进行特征提取,得到第一特征图,将所述第一特征图与多个不同的可形变卷积核分别进行卷积运算,得到多个中间特征图;由所述目标识别模型根据所述多个不同的可形变卷积核的通道权重和所述多个中间特征图进行加权运算,得到第二特征图;由所述目标识别模型基于所述第二特征图进行关键信息提取,得到第三特征图,基于所述第三特征图输出所述眼底图像的至少一个病灶的位置信息以及置信度;根据所述至少一个病灶的位置信息以及置信度,在所述眼底图像中突出显示所述至少一个病灶。

【技术特征摘要】
1.一种眼底图像识别方法,其特征在于,所述方法包括:获取待识别的眼底图像;将所述眼底图像输入目标识别模型中;由所述目标识别模型对所述眼底图像进行特征提取,得到第一特征图,将所述第一特征图与多个不同的可形变卷积核分别进行卷积运算,得到多个中间特征图;由所述目标识别模型根据所述多个不同的可形变卷积核的通道权重和所述多个中间特征图进行加权运算,得到第二特征图;由所述目标识别模型基于所述第二特征图进行关键信息提取,得到第三特征图,基于所述第三特征图输出所述眼底图像的至少一个病灶的位置信息以及置信度;根据所述至少一个病灶的位置信息以及置信度,在所述眼底图像中突出显示所述至少一个病灶。2.根据权利要求1所述的方法,其特征在于,所述将所述第一特征图与多个不同的可形变卷积核分别进行卷积运算,得到多个中间特征图包括:在任一个可形变卷积核与所述第一特征图的运算过程中,当扫描窗口扫描至所述第一特征图的子图上,基于所述子图中的各个第一特征点的位置,在所述子图中确定各个第一特征点进行偏移后的第二特征点,将各个第二特征点与所述可形变卷积核中对应的权重进行点乘运算,输出所述中间特征图中的一个特征点。3.根据权利要求1所述的方法,其特征在于,所述由所述目标识别模型基于所述第二特征图进行关键信息提取,得到第三特征图包括:当扫描窗口扫描至所述第二特征图的任一个子图上时,获取位于所述扫描窗口内的最大值,将获取到的最大值输出为所述第三特征图的一个特征点。4.根据权利要求1所述的方法,其特征在于,所述基于所述第三特征图输出所述眼底图像的至少一个病灶的位置信息以及置信度包括:基于所述第三特征图生成至少一个特征向量,每个特征向量用于指示一个区域的位置信息、类别置信度以及区域置信度。5.根据权利要求4所述的方法,其特征在于,所述根据所述至少一个病灶的位置信息以及置信度,在所述眼底图像中突出显示所述至少一个病灶包括:将类别置信度以及区域置信度符合目标条件的至少一个区域确定为所述至少一个病灶;根据所述至少一个病灶的位置信息,在所述眼底图像中突出显示所述至少一个病灶。6.根据权利要求1所述的方法,其特征在于,所述在所述眼底图像中突出显示所述至少一个病灶包括:根据所述至少一个病灶的位置信息,确定所述至少一个病灶的边框;将所述眼底图像中的所述至少一个病灶的边框显示为目标颜色。7.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个病灶的位置信息以及置信度,在所述眼底图像中突出显示所述至少一个病灶之后,所述方法还包括:当检测到对任一病灶的点击操作时,在所述病灶的预设范围内显示所述病灶的置信...

【专利技术属性】
技术研发人员:龚丽君
申请(专利权)人:腾讯医疗健康深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1