当前位置: 首页 > 专利查询>南通大学专利>正文

可分享的半自动糖尿病眼底病变标注方法技术

技术编号:22057891 阅读:43 留言:0更新日期:2019-09-07 16:11
一种可分享的半自动糖尿病眼底病变标注方法,基于深度学习预训练模型的糖尿病眼底图像内容识别与分割,然后进行迁移学习,并根据眼底不同的解剖结构采取不同的标注方法。对血管采取语义分割,而对视神经盘采取定位和语义分割两种方式输出结果。而对于糖尿病眼底病灶,则对血管瘤采取定位、对渗出和出血采取语义分割的结果输出。将通过深度学习自动识别出病灶的轮廓和定位以叠加图层的方式覆盖在原来的眼底图像上,并将置信度分数最高的片段标注出,呈现给标记者。对于标注结果进行人工审核,采用DICOM标准对人工审核后的标注数据进行存储,以便于在标准化医疗图像系统中的互操作。

Sharable Semiautomatic Marking Method for Diabetic Fundus Lesions

【技术实现步骤摘要】
可分享的半自动糖尿病眼底病变标注方法
本专利技术涉及人工智能技术辅助糖尿病患者眼底改变筛查领域,特别涉及一种利用深度学习技术实现一个可分享的半自动糖尿病眼底病变标注方法。
技术介绍
眼底能够反映身体的健康状况,同时也是临床不同科室对患者实施疾病诊疗效果的重要判断依据,因此医学图像处理领域中,眼底图像的处理和分析一直是一个重要的研究内容。临床上眼底图像异常的判断需要经过专门的训练,有经验的阅片医生相对较少,导致医疗资源相对不足。很多患者由于疾病未能得到及时的诊断和治疗,导致不可逆的眼底改变(diabeticretinopathy,DR),甚至对于糖尿病患者而言可能导致失明。通过人工智能方法,自动处理与分析彩色眼底图像,尽早发现眼底改变,对于眼底疾病乃至慢病的防治具有深远的意义。除了判断出DR等眼底改变,在真实的临床诊疗过程中,医生对眼底图像中解剖结构如血管、视神经盘(opticdisk,OD),以及潜在患病区域如渗出物(Exudates,EX)、微动脉瘤(Microaneurysm,MA)、眼底出血(Hemorrhage,HEM)等也会进行仔细地检查并记录,从而对患者的病情进行评估,提出相应治疗对策。因此,对眼底图像上解剖结构和病灶的识别与提取对于后续的定量分析具有重要意义。随着移动互联网的发展,医院眼科或者内分泌科存在着大量由用户上传的糖尿病患者眼底图像。除了储存和处理大量医疗数据的各种问题,比如安全性和可访问性,一个最常见的问题是缺乏对数据的良好标注。和普通图像的标注不一样,生物医学图像的内容辨别是复杂的,需要专家专门从事收集、分析和解释。传统的图像数据集的标注标准都是人工进行制作的,只有经过培训的专家才能借助数据标记工具,需要标记者仔细观察图像内的结构,结合自己的认知来划定图像中的每个对象,非常耗时耗力。尤其注释大型数据集既昂贵又耗时。现有的DR公开数据集也不具备完整的标注信息。如E-ophtha数据集(http://www.adcis.net/en/Download-Third-Party/E-Ophtha.html)和DiaretDB数据集(http://www.it.lut.fi/project/imageret/diaretdb1)只有病灶标注却缺失糖网诊断信息,而MESSIDOR数据集(http://messidor.crihan.fr/index-en.php)只提供了糖网的诊断信息,并没有提供出血病灶的标注。MESSIDOR数据集作为目前国际公开的最大眼底图像数据集,由法国国防研究部在2004年资助研究的TECHNO-VISION项目中建立,共1200幅眼底图像,分别来自于3个不同的眼科机构,标注的缺失和大量的假阳性样本导致传统的监督学习很难有效地进行糖网诊断,而标注结果的准确性对于深度学习网络的训练都具有重要的意义。尽管最近在发展无人监督学习方面取得了进展,数据标注仍然对于发展和检测自动化算法必不可少的原料。如何有效地对这些图像进行挖掘,找出其中的有价值信息或危害信息是人工智能临床应用方向重要的研究问题。需要自动化图像处理和计算机视觉工具。而现有的自动标注软件,大多基于像素,因此不够智能,特别是在颜色接近的相邻物体上表现不好。大型的有标注数据集训练后的卷积神经网络能够准确地识别图像上的内容,然而在生物医学成像领域,需要专业技能人员标注生物医学图像,枯燥费力和费时,而且成本巨大。虽然基于众包的标注方法可以通过为大型医疗数据集建立一个平台让一群人来进行标注,但不同的标注团体之前无法有效的分享标注的成果,使得创建大型的有标注数据集是非常艰难。
技术实现思路
本专利技术针对现有技术存在的问题和不足,提供一种可分享的半自动糖尿病眼底病变标注方法。本专利技术是通过下述技术方案来解决上述技术问题的:本专利技术提供一种可分享的半自动糖尿病眼底病变标注方法,其特点在于,其包括以下步骤:步骤1:通过数字化眼底照相机获取糖尿病患者或体检者的眼底数字图像,进行DICOM封装后导入眼底图像PACS系统中;步骤2:基于深度学习预训练模型进行糖尿病眼底图像内容识别与分割,然后进行迁移学习,并根据眼底不同的解剖结构采取不同的标注方法;其中,对于眼底图像中的血管采取语义分割方式并获得眼底图像中每一个像素点隶属于血管的置信度,对于眼底图像中的视神经盘采取定位和语义分割方式并获得眼底图像中每一个像素点隶属于视神经盘的置信度;在眼底图像中存在糖尿病眼底病灶现象时,对眼底图像中的血管瘤采取定位分割方式并获得眼底图像中每一个像素点隶属于血管瘤的置信度,对眼底图像中的渗出和出血采取语义分割方式并获得眼底图像中每一个像素点隶属于渗出和出血的置信度;步骤3:将通过深度学习自动识别出的病灶的轮廓和定位以叠加图层的方式覆盖在原来的眼底图像上,并将置信度分数最高的片段标注出,并采用DICOM标准进行人工审核后,并将人工审核后的标注数据进行存储。较佳地,对于视神经盘、血管瘤定位框输出结果采取将位置坐标的位置作为DICOM结构化报告(SR)中的计算机输入信息保存。较佳地,存储的标注数据可存储到第三方PACS中,可转换到其他深度学习模型所需要的数据集格式。较佳地,对于视神经盘、血管、渗出语义分割的结果则采取灰阶图像显示状态(GSPS)形式存储。在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本专利技术各较佳实例。本专利技术的积极进步效果在于:为了大幅降低标注成本,本专利技术采用机器学习驱动的标注界面,结合眼底图像及其糖尿病患者眼底图像病灶的特点,从迁移学习的目标检测、语义分割模型的自动输出结果开始,其中目标检测是识别并定位输入眼底图像中已知特定的某个或多个成分,而语义分割是将眼底图像上的解剖成分或病灶的像素识别出来,结合预训练的深度神经网络模型进行迁移学习,自动获得眼底内容的定位和分割结果。人工标记者可以使用自然用户界面,通过机器辅助编辑操作进行修改,开发的界面可以让标记者选择要修改的内容和顺序,即时的在线反馈精确审核修改图像中每个目标的轮廓和背景,让标记数据集的生成速度提高,能够具备自我学习能力,产生的精确标记结果可以进一步作为训练集,提升模型的质量。本专利技术提出的可分享式标注数据存储方式,将通过深度学习自动识别出病灶的轮廓和定位以叠加图层的方式覆盖在原来的眼底图像上,并将置信度分数最高的片段标注出,呈现给标记者。对于标注结果进行人工审核,本专利技术采用DICOM标准对人工审核后的标注数据进行存储,提升了标注结果的质量。存储的标注数据可以方便的存储到第三方PACS中,也可以方便地转换到其他深度学习模型所需要的数据集格式,从而又可以进一步提升预训练深度神经网络模型的质量,对后续的半自动分割过程形成正反馈,提升效率。附图说明图1是本专利技术的学习型糖尿病眼底病变标注流程图。图2是眼底血管的语义分割预训练CNN模型框架图。图3是眼底OD的定位预训练CNN模型框架图。图4是眼底OD的语义分割预训练CNN模型框架图。图5是眼底血管瘤的定位预训练CNN模型框架图。图6是眼底渗出的语义分割预训练CNN模型框架图。图7是眼底出血的语义分割预训练CNN模型框架图。图8眼底图像内容标注叠加层次示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实本文档来自技高网
...

【技术保护点】
1.一种可分享的半自动糖尿病眼底病变标注方法,其特征在于,其包括以下步骤:步骤1:通过数字化眼底照相机获取糖尿病患者或体检者的眼底数字图像,进行DICOM封装后导入眼底图像PACS系统中;步骤2:基于深度学习预训练模型进行糖尿病眼底图像内容识别与分割,然后进行迁移学习,并根据眼底不同的解剖结构采取不同的标注方法;其中,对于眼底图像中的血管采取语义分割方式并获得眼底图像中每一个像素点隶属于血管的置信度,对于眼底图像中的视神经盘采取定位和语义分割方式并获得眼底图像中每一个像素点隶属于视神经盘的置信度;在眼底图像中存在糖尿病眼底病灶现象时,对眼底图像中的血管瘤采取定位分割方式并获得眼底图像中每一个像素点隶属于血管瘤的置信度,对眼底图像中的渗出和出血采取语义分割方式并获得眼底图像中每一个像素点隶属于渗出和出血的置信度;步骤3:将通过深度学习自动识别出的病灶的轮廓和定位以叠加图层的方式覆盖在原来的眼底图像上,并将置信度分数最高的片段标注出,并采用DICOM标准进行人工审核后,并将人工审核后的标注数据进行存储。

【技术特征摘要】
1.一种可分享的半自动糖尿病眼底病变标注方法,其特征在于,其包括以下步骤:步骤1:通过数字化眼底照相机获取糖尿病患者或体检者的眼底数字图像,进行DICOM封装后导入眼底图像PACS系统中;步骤2:基于深度学习预训练模型进行糖尿病眼底图像内容识别与分割,然后进行迁移学习,并根据眼底不同的解剖结构采取不同的标注方法;其中,对于眼底图像中的血管采取语义分割方式并获得眼底图像中每一个像素点隶属于血管的置信度,对于眼底图像中的视神经盘采取定位和语义分割方式并获得眼底图像中每一个像素点隶属于视神经盘的置信度;在眼底图像中存在糖尿病眼底病灶现象时,对眼底图像中的血管瘤采取定位分割方式并获得眼底图像中每一个像素点隶属于血管瘤的置信度,对眼底图像中的渗出和出血采取语义分割方式并获得眼底图像中每一...

【专利技术属性】
技术研发人员:吴辉群赵晟辉韦华根王磊施李丽董建成蒋葵
申请(专利权)人:南通大学南通医数信息科技有限公司
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1