利用胃内窥镜图像的深度学习诊断胃病变的装置及方法制造方法及图纸

本发明专利技术涉及一种从内窥镜图像中诊断胃病变的方法，从内窥镜图像中诊断胃病变的方法，包括：获得多个胃病变图像的步骤；连接上述多个胃病变图像和患者信息生成数据集的步骤；预处理上述数据集以可用于深度学习算法的步骤；通过将经过预处理过程的上述数据集作为输入，将关于胃病变诊断结果的项目作为输出的学习构建人工神经网络的步骤。

【技术实现步骤摘要】
【国外来华专利技术】利用胃内窥镜图像的深度学习诊断胃病变的装置及方法
本专利技术主张对2018年10月2日申请的韩国专利申请号第10-2018-0117823号的优先权，公开于该申请的说明书及附图的所有内容通过引用包含在本专利技术中。本专利技术涉及利用胃内窥镜图像的深度学习诊断胃病变的装置及方法。
技术介绍
作为构成人体的最小单位的细胞，在正常细胞的情况下，通过细胞内调节功能，经分裂成长，死亡消灭等维持细胞数的均衡。因某种原因细胞受损时，经过治疗得到回复，就可起到正常细胞的作用，但无法回复时，将自我消亡。但是，因各种原因无法调节上述增值和抑制的非正常的细胞过多增值，而且，侵入周围的组织和脏器导致肿块的形成及正常组织的破坏的状态定义为癌症(cancer)。癌症因上述无法抑制的细胞的增值，破坏正常的细胞和脏器的结构和功能，因此其诊断和治疗的重要性非常高。癌症是因细胞的无限增值妨碍正常细胞的功能的疾病，代表性的有肺癌、胃癌(gastriccancer，GC)、乳腺癌(breastcancer，BRC)、大肠癌(colorectalcancer，CRC)等，但任何组织上都可以发生癌症。初期的癌症诊断基于因癌细胞的生长导致的活体组织的外部变化完成，但近来尝试利用血液、糖链(lycolchain)、脱氧核糖核酸(DNA)等生物的组织或存在于细胞的微量的活体分子的诊断及检测。但是，最普遍采用的癌症诊断方法是利用通过活体组织检查获得的组织样本的诊断或利用影像的诊断。在胃癌的情况下，在全世界范围内，韩国、日本等发生得多，但在在美国、欧洲等西方的发病率低。在韩国的情况下，胃癌的发病率第一，而死亡率仅次于肺癌位于第二。从胃癌的分类可知，全部的95％为在胃壁的黏膜的腺细胞中发生的腺癌。另外，还有在淋巴系统中发生的淋巴瘤、在间质组织中发生的胃肠道间质瘤。其中，活体组织检查给患者带来很大的痛苦，价格昂贵，而且直至诊断位置消耗很长的时间。另外，在患者实际患癌的情况下，存在在活体组织检查过程中诱发癌症转移的危险，在无法通过活体组织检查获得组织样本的部位的情况下，存在在通过外科手术摘除可疑组织之前，无法进行疾病诊断的缺点。在利用影像的诊断中，基于X射线(X-ray)影像、使用附着有疾病标的物质的造影剂获得的核磁共振(nuclearmagneticresonance，NMR)影像等判定癌症。但是，上述影像诊断根据临床的或解读的熟练度存在误诊的可能性，存在很大程度上以来获得影像的仪器的精度的缺点。进一步地，最精密的仪器也不能检测出小于数mm的肿瘤，存在发病初期阶段难以检测的缺点。另外，为获得影像，患者或有可能患病的人员暴露于可能诱发基因突变的高能量的电磁波中，从而引起其他疾病，而且，存在通过影像的诊断次数受到限制的缺点。早期胃癌(ECG)的大部分没有临床症状或征兆，发生没有筛查策略的话难以及时检查和治疗的问题。与此同时，患有胃的异型增生等癌前病变的患者患胃癌的危险相当高。在现有技术中，在胃中产生的赘生物，医生通过胃内窥镜根据包含于内窥镜图像中的胃内部的形状及大小初步判断胃癌与否，再通过组织检查进行确诊。但是，上述方法因每个医生的经验不同而得到不同的诊断，而在没有医生的地区，存在无法准确诊断的问题。另外，通过内窥镜装置获得的非正常病变的发现，一般取决于病变的异常形状或黏膜的颜色变化，而诊断准确度通过训练及光学技术及色素内镜(chromoendoscopy)得到改善。窄带成像(narrowbandimaging)、共焦成像(confocalimaging)及放大技术(所谓图像增强内窥镜)等内窥镜成像技术的使用，能够提高诊断准确度。但是，只通过白色内窥镜的检查是最常见的检查方式，在影响增强内窥镜检查中，需要用于解决服务器间及内窥镜内变动性的步骤及解析流程的标准化。作为本专利技术的背景的技术公开于韩国公开专利公报第10-2018-0053957号。
技术实现思路
专利技术要解决的问题本专利技术的目的在于克服现有技术之不足而提供一种可收集从内窥镜拍摄装置获得的白色光胃内窥镜图像(影像)，使用深度学习算法诊断胃病变的胃病变诊断装置。本专利技术的目的在于克服现有技术之不足而提供一种可提供基于胃内窥镜影像自动分类胃肿瘤的深度学习模型的胃病变诊断装置。本专利技术的目的在于克服现有技术之不足而提供一种可实时评价医生(使用者)利用内窥镜装置检查胃肿瘤时获得的多个图像数据，从而可诊断有可能忽略的胃肿瘤的胃病变诊断装置。本专利技术的目的在于克服现有技术之不足而提供一种基于实时获得的胃内窥镜图像自动分类胃赘生物，从而可诊断及预测胃癌或胃异型增生等的胃病变诊断装置。但是，本专利技术及本专利技术的实施例所要实现的技术课题不限于上述技术课题，还可存在其他的技术课题。解决问题的方法作为解决上述技术课题的技术方案，根据本专利技术一实施例的从内窥镜图像中诊断胃病变的方法，可包括：获得多个胃病变图像的步骤；连接上述多个胃病变图像和患者信息生成数据集的步骤；预处理上述数据集以可用于深度学习算法的步骤；通过将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络的步骤。根据本专利技术的一实施例的从内窥镜图像中诊断胃病变的方法，还包括对新数据集经过上述预处理过程之后，通过上述人工神经网络执行胃病变诊断的步骤。根据本专利技术一实施例的上述数据集生成步骤可将上述数据集分为上述人工神经网络的学习所需的学习用数据集及用于验证上述人工神经网络的学习的进行程度的验证用数据集生成上述数据集。根据本专利技术一实施例的上述验证用数据集可为不与上述学习用数据集重复的数据集。根据本专利技术一实施例的上述验证用数据集在新数据集经过上述预处理过程之后成为人工神经网络的输入时，可为用于上述人工神经网络的性能评价的数据。根据本专利技术的一实施例的上述图像获得步骤可接收从具备于内窥镜装置的拍摄装置获得的胃病变图像。根据本专利技术一实施例的上述预处理步骤，可包括：利用包含于上述数据集的胃病变图像，以上述胃病变为中心裁切不包含上述胃病变的图像的周边部区域，裁切(crop)为可用于上述深度学习算法的大小的步骤；沿上下左右方向平行移动(shift)上述胃病变图像的步骤；旋转(rotation)上述胃病变图像的步骤；翻转(flipping)上述胃病变图像的步骤；及对上述胃病变图像进行色彩调整(coloradjustment)的步骤；执行多个预处理过程中的至少一个，将上述胃病变图像预处理为可用于上述深度学习算法的状态。根据本专利技术一实施例的上述预处理步骤，还可包括：放大用于增加胃病变图像的数据数的图像数据的步骤；上述放大图像数据的步骤使用上述胃病变图像的旋转、翻转、裁切及增噪中的至少一个放大上述胃病变图像数据。根据本专利技术一实施例的上述人工神经网络构建步骤通过上述将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的卷积神经网络(ConvolutionalNeuralNetworks)及全连接神经本文档来自技高网...

【技术保护点】
1.一种病变诊断方法，在从内窥镜图像中诊断胃病变的方法中，包括：/n获得多个胃病变图像的步骤；/n连接上述多个胃病变图像和患者信息生成数据集的步骤；/n预处理上述数据集以可用于深度学习算法的步骤；/n通过将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络的步骤。/n

【技术特征摘要】
【国外来华专利技术】20181002 KR 10-2018-01178231.一种病变诊断方法，在从内窥镜图像中诊断胃病变的方法中，包括：
获得多个胃病变图像的步骤；
连接上述多个胃病变图像和患者信息生成数据集的步骤；
预处理上述数据集以可用于深度学习算法的步骤；
通过将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络的步骤。


2.根据权利要求1所述的病变诊断方法，其特征在于：
还包括对新数据集经过上述预处理过程之后，通过上述人工神经网络执行胃病变诊断的步骤。


3.根据权利要求1所述的病变诊断方法，其特征在于：
上述数据集生成步骤将上述数据集分为上述人工神经网络的学习所需的学习用数据集及用于验证上述人工神经网络的学习的进行程度的验证用数据集生成上述数据集。


4.根据权利要求3所述的病变诊断方法，其特征在于：
上述验证用数据集为不与上述学习用数据集重复的数据集。


5.根据权利要求3所述的病变诊断方法，其特征在于：
上述验证用数据集在新数据集经过上述预处理过程之后成为人工神经网络的输入时，为用于上述人工神经网络的性能评价的数据。


6.根据权利要求1所述的病变诊断方法，其特征在于：
上述图像获得步骤接收从具备于内窥镜装置的拍摄装置获得的胃病变图像。


7.根据权利要求1所述的病变诊断方法，其特征在于：
上述预处理步骤，包括：
利用包含于上述数据集的胃病变图像，以上述胃病变为中心裁切不包含上述胃病变的图像的周边部区域，裁切为可用于上述深度学习算法的大小的步骤；
沿上下左右方向平行移动上述胃病变图像的步骤；
旋转上述胃病变图像的步骤；
翻转上述胃病变图像的步骤；及
对上述胃病变图像进行色彩调整的步骤；
执行多个预处理过程中的至少一个，将上述胃病变图像预处理为可用于上述深度学习算法的状态。


8.根据权利要求7所述的病变诊断方法，其特征在于：
上述预处理...

【专利技术属性】
技术研发人员：赵凡柱，方昌锡，朴世雨，李在浚，崔在镐，洪锡焕，刘容倬，
申请(专利权)人：翰林大学产学合作团，
类型：发明
国别省市：韩国;KR