胸部X线图像的异常显示控制方法、异常显示控制程序、异常显示控制装置以及服务器装置制造方法及图纸

一种异常显示控制方法，异常显示控制装置的计算机：取得对象胸部X线图像(S50)，使用预先机器学习过的模型，在对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成(S100)，算出用于从结构物判定异常状态的指标，将指标与预先求出的基准指标进行比较，基于比较结果判定结构物是否为异常状态(S200)，在判定为结构物是异常状态时，将对象胸部X线图像中的包含判定为是异常状态的结构物的区域的图像、和结构物的异常状态的内容显示于显示器(S300)。

【技术实现步骤摘要】
【国外来华专利技术】胸部X线图像的异常显示控制方法、异常显示控制程序、异常显示控制装置以及服务器装置
本公开涉及医用图像的处理技术，更详细而言是涉及胸部X线(X射线)图像的异常判定技术。
技术介绍
近年来，开发了通过对医用图像进行解析处理来检测病变区域的装置、软件等。这种装置、软件或者使用它们进行的诊断被称为计算机辅助检测(CAD)，可期待能够减轻医生(医师)的读片(射线图判读)工作的负担。另外，在医用图像中，胸部X线图像因拍摄设备价格低以及拍摄成本低，普及率也高，已成为诊断胸部疾病时的首选方法。作为胸部X线图像的CAD技术，例如在非专利文献1中公开的那样，对要检测的疾病的病变图像进行机器学习的方法已成为主流。然而，在胸部X线图像中，沿进深方向重叠地描画出多个解剖结构(解剖学结构)。因此，在这些解剖学结构物与病变重叠的情况下，会发生无法明确地视觉识别病变这一事态。作为也对应病变与解剖结构重叠而无法明确地视觉识别的病症的技术，提出了专利文献1。专利文献1是着眼于由肋骨包围的肺野区域(即肋间区域)并将如果左右的肋间距离有差异则怀疑有病变的可能性这一医生的见解进行工程实现的技术。根据该技术，即使病变本身无法被明确视觉识别，通过检测由病变引起的解剖结构的变化(也即是说左右的肋间距离的差异)，也能够推定异常。现有技术文献非专利文献非专利文献1：X.Wang,Y.Peng,L.Lu,Z.Lu,M.Bagheri,R.Summers,ChestX-Ray8:Hospital-ScaleChestX-rayDatabaseandBenchmarksonWeakly-SupervisedClassificationandLocalizationofCommonThoraxDiseases,CVPR2017.非专利文献2：O.Ronneberger,P.Fischer,andT.Brox,U-Net:ConvolutionalNetworksforBiomedicalImageSegmentation,MedicalImageComputingandComputer-AssistedIntervention(MICCAI),Springer,LNCS,Vol.9351:234-241,2015.非专利文献3：J.Long,E.Shelhamer,T.Darrell,FullyConvolutionalNetworksforSemanticSegmentation,InCVPR,2015.非专利文献4：JinwonAn,SungzoonCho,VariationalAutoencoderbasedAnomalyDetectionusingReconstructionProbability,December27,2015SNUDataMiningCenter2015-2SpecialLectureonIE.专利文献专利文献1：国际公开第2010/035517号
技术实现思路
然而，在上述现有技术中，关于不依赖于特定的解剖结构而以统一的构架判定多样的异常状态这一点，需要进一步的改善。本公开的一个技术方案是一种胸部X线图像的异常显示控制方法，从作为读片对象的胸部X线图像的对象胸部X线图像判定异常状态并显示于显示器的异常显示控制装置的计算机：取得所述对象胸部X线图像；使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；算出用于从所述结构物判定异常状态的指标，将所述指标与预先求出的基准指标进行比较，基于比较结果判定所述结构物是否为异常状态；在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容显示于显示器。该总括性的或者具体的技术方案既可以通过装置、系统、集成电路、计算机程序或者计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序以及计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(CompactDiscReadOnlyMemory)等非易失性的记录介质。根据上述技术方案，能够实现进一步的改善。从说明书及附图可知晓本公开的一个技术方案中的进一步的优点及效果。上述优点和/或效果分别由若干个实施方式和说明书及附图所记载的特征提供，但无需为了获得一个或一个以上相同的特征而提供所有的实施方式和特征。附图说明图1是第1实施方式中的异常显示控制装置的框图。图2是第1实施方式中的院内网络结构的框图。图3是第1实施方式中的流程图。图4A是表示包含降主动脉的阴影的胸部X线图像的图。图4B是表示降主动脉的阴影的掩模图像(蒙片)的图。图4C是表示将掩模图像重叠在胸部X线图像上的图像的图。图5A是表示包含右背侧横膈膜的阴影的胸部X线图像的图。图5B是表示右背侧横膈膜的阴影的掩模图像的图。图5C是表示将掩模图像重叠在胸部X线图像上的图像的图。图6A是表示包含第一胸椎的胸部X线图像的图。图6B是表示第一胸椎的掩模图像的图。图6C是表示将掩模图像重叠在胸部X线图像上的图像的图。图7是概略地表示U-Net的架构的图。图8A是表示第1实施方式中的异常判定处理的流程图。图8B是表示第1实施方式中的异常判定处理的流程图。图9是表示定义了按各结构物所执行的步骤的执行信息的图。图10是概略地表示作为正常模型的一例的概率密度分布的图。图11是对基于降维(维数削减)的异常显示控制方法进行说明的图。图12是表示堆叠自编码器的网络结构的图。图13是表示变分自编码器的网络结构的图。图14A是表示结构物的位置正常的例子的图。图14B是表示结构物的位置异常的例子的图。图15是对两个线结构的角度计算进行说明的图。图16A是表示两个线结构的角度正常的例子的图。图16B是表示两个线结构的角度异常的例子的图。图17A是表示两个线结构之间的距离正常的例子的图。图17B是表示两个线结构之间的距离异常的例子的图。图18A是表示线结构的面积正常的例子的图。图18B是表示线结构的面积异常的例子的图。图19A是表示线结构的宽度正常的例子的图。图19B是表示线结构的宽度异常的例子的图。图20A是表示对象胸部X线图像的样本图像的图。图20B是表示结构物的掩模图像的图。图20C是表示结构物的掩模图像的图。图20D是表示将掩模图像重叠在对象胸部X线图像上的图像的图。图20E是表示重叠了结构本文档来自技高网...

【技术保护点】
1.一种胸部X线图像的异常显示控制方法，从作为读片对象的胸部X线图像的对象胸部X线图像判定异常状态并显示于显示器的异常显示控制装置的计算机：/n取得所述对象胸部X线图像；/n使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；/n算出用于从所述结构物判定异常状态的指标，将所述指标与预先求出的基准指标进行比较，基于比较结果判定所述结构物是否为异常状态；/n在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容显示于显示器。/n

【技术特征摘要】
【国外来华专利技术】20180516 JP 2018-0947381.一种胸部X线图像的异常显示控制方法，从作为读片对象的胸部X线图像的对象胸部X线图像判定异常状态并显示于显示器的异常显示控制装置的计算机：
取得所述对象胸部X线图像；
使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
算出用于从所述结构物判定异常状态的指标，将所述指标与预先求出的基准指标进行比较，基于比较结果判定所述结构物是否为异常状态；
在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容显示于显示器。


2.根据权利要求1所述的胸部X线图像的异常显示控制方法，
所述预先机器学习过的模型是使用以像素为单位进行预测的神经网络以在学习用胸部X线图像中检测出所述结构物的方式进行了学习的模型，所述学习用胸部X线图像是正常状态的胸部X线图像。


3.根据权利要求2所述的胸部X线图像的异常显示控制方法，
在所述检测中，
将所述对象胸部X线图像变换为比所述对象胸部X线图像的分辨率低的第1分辨率从而制作第1X线图像，
将所述对象胸部X线图像变换为比所述第1分辨率高且在所述对象胸部X线图像的分辨率以下的第2分辨率从而制作第2X线图像，
从所述第1X线图像检测第1尺寸的所述结构物，
基于所述第1尺寸的所述结构物的检测结果，在所述第2X线图像中设定比所述第2X线图像小的搜索区域，
从所述搜索区域检测比所述第1尺寸小的第2尺寸的所述结构物。


4.根据权利要求3所述的胸部X线图像的异常显示控制方法，
在所述第1尺寸的所述结构物的检测中，从所述第1X线图像检测解剖结构作为所述第1尺寸的所述结构物，
在所述第2尺寸的所述结构物的检测中，从所述第2X线图像的所述搜索区域检测所述线结构作为所述第2尺寸的所述结构物。


5.根据权利要求3或4所述的胸部X线图像的异常显示控制方法，
在所述搜索区域的设定中，使用从预先保存有所述第1尺寸的所述结构物与所述第2尺寸的所述结构物的相对位置关系的位置存储器读出的所述相对位置关系，设定所述搜索区域。


6.根据权利要求1至5中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出所述线结构的位置作为所述指标。


7.根据权利要求1至5中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出两个所述线结构间形成的角度作为所述指标。


8.根据权利要求1至5中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出两个所述线结构之间的距离作为所述指标。


9.根据权利要求1至5中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出所述线结构的面积作为所述指标。


10.根据权利要求1至5中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出所述线结构的宽度作为所述指标。


11.根据权利要求1至5中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出夹在两个以上的所述线结构间的区域的图像模式作为所述指标。

<...

【专利技术属性】
技术研发人员：近藤坚司，小泽顺，木村浩彦，伊藤春海，藤本真一，
申请(专利权)人：松下电器产业株式会社，
类型：发明
国别省市：日本;JP