医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序制造方法及图纸

本发明专利技术提供一种医用图像处理装置、处理器装置、医用图像处理方法、及程序，可抑制当在医用图像中报知关注区域的强调显示和分类等时妨碍用户等对观察对象的观察，并利用诊断辅助。所述医用图像处理装置具备：识别部(42)，其从医用图像(38)中检测关注区域，并对关注区域进行分类；显示控制部(44)，其使关注区域的强调显示及关注区域的分类显示在显示观察对象的画面上；以及变更判定部(48)，其判定是否变更强调显示的显示方式和是否变更分类的显示方式中的至少任一个，显示控制部在判定为变更强调显示的显示方式的情况下，变更强调显示的强调方式，在判定为变更分类的显示方式的情况下，变更分类的显示方式。变更分类的显示方式。变更分类的显示方式。

【技术实现步骤摘要】
【国外来华专利技术】医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序


[0001]本专利技术涉及一种医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序，特别是涉及画面显示。

技术介绍

[0002]一般的内窥镜系统从内窥镜的插入部的顶端照射照明光，使用摄像元件对观察对象进行摄像，获取观察对象的图像信息。所拍摄的图像显示在监视器上。医生等用户观察显示在监视器上的图像，并进行检查。
[0003]近年来，能够进行应用了深度学习的高度的自动识别。非专利文献1记载了与应用了深度学习的图像识别相关的技术。在内窥镜系统中，也考虑使用应用深度学习而制作的识别器，自动地进行病变等的检测以及病变等的分类。其中，已知有非专利文献2中记载的被称为SSD(Single Shot multi box Detector)的方法，能够汇总进行检测和分类等。此外，病变等的分类有时可被称为鉴别。
[0004]专利文献1记载了一种图像处理装置，该图像处理装置根据使用内窥镜系统获取的内窥镜图像来特定应强调的被摄体即生物体粘膜，并对所特定的生物体粘膜进行强调处理。
[0005]专利文献2记载了基于使用内窥镜系统获取的内窥镜图像来自动地判别及分类病变的种类的内窥镜诊断辅助装置。该文献中记载的装置在内窥镜图像中设定ROI(Region Of Interest)，对每个ROI计算特征量，并实施使用了特征量的判别分类处理。在该文献中，作为判别分类处理的例子记载有神经网络。
[0006]专利文献3记载了构成为能够切换普通光观察和特殊光观察的内窥镜系统。该文献中记载的装置根据特殊光图像特定病变部的位置，并根据所特定的位置信息对普通光图像进行加工来提高病变部的可见性。在该文献中，作为普通光图像的加工例，记载有目标色的重叠处理、使用目标色包围病变部的周缘的处理、以及对病变部的普通光图像和特殊光图像进行合成的处理。
[0007]以往技术文献
[0008]专利文献
[0009]专利文献1：日本专利第6176979号公报
[0010]专利文献2：日本专利第4451460号公报
[0011]专利文献3：日本专利第5658873号公报
[0012]非专利文献
[0013]非专利文献1：A.Krizhevsky，I.Sutskever，and G.Hinton著、《ImageNet classification with deep convolutional neural networks.》、NIPS(Neural Information Processing Systems conference)，2012
[0014]非专利文献2：Pierre Sermanet，David Eigen，Xiang Zhang，Michael Mathieu，
Rob Fergus，Yann LeCun著《OverFeat：Integrated Recognition，Localization and Detectionusing Convolutional Networks》、ICLR(International Conference on Learning Representations)，2014

技术实现思路

[0015]专利技术要解决的技术课题
[0016]但是，在内窥镜图像等医用图像中，在检测关注区域，将关注区域显示在画面上，对关注区域进行分类，并将分类显示在画面上的情况下，关注区域及分类的报知有可能妨碍医生等实施的观察对象的观察。
[0017]专利文献1中记载的装置具备用户进行强调处理的接通关闭指示的开关。该装置通过用户操作开关，实施对从摄像图像特定的生物体粘膜区域的强调处理的关闭。
[0018]在强调处理妨碍生物体粘膜区域的观察的情况下，用户能够关闭强调处理，但如果关闭强调处理，则难以利用应用了强调处理的诊断辅助。
[0019]在专利文献2记载的装置中，打开报告显示窗来显示包含判断分类结果的诊断辅助信息，因此在打开报告显示窗的情况下，无法观察内窥镜图像中的ROI。
[0020]在专利文献3记载的装置中，提高了病变部的可见性的结果是，可抑制漏看病变部，但在显示方式不合适的情况下，提高病变部的可见性的显示可能会妨碍病变部的观察。
[0021]本专利技术是鉴于这样的情况而完成的，其目的在于提供一种可抑制当在医用图像中报知关注区域的强调显示和分类等时妨碍用户等对观察对象的观察，并利用诊断辅助的医用图像处理装置、处理器装置、医用图像处理方法、及程序。
[0022]用于解决技术课题的手段
[0023]为了达成上述目的，提供以下的专利技术方式。
[0024]第一方式所涉及的医用图像处理装置是如下的一种医用图像处理装置，具备：识别部，其从获取的医用图像中检测关注区域，并对关注区域进行分类；显示控制部，其使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面；以及变更判定部，其判定在显示有强调显示的情况下是否变更强调显示的显示方式、和在显示有分类的情况下是否变更分类的显示方式中的至少任一个，显示控制部在由变更判定部判定为变更强调显示的显示方式的情况下，实施减弱强调显示的强调程度的变更，在由变更判定部判定为变更分类的显示方式的情况下，实施减弱分类的可见性的变更。
[0025]根据第一方式，在用户观察观察对象时，可抑制强调显示和分类中的至少任一个妨碍观察。另外，用户在观察观察对象时，可利用强调显示和分类中的至少任一个。
[0026]关注区域的强调可应用在视觉上强调关注区域的方式。
[0027]第二方式可以构成为，在第一方式的医用图像处理装置中，具备指令信号获取部，其获取操作部被操作时所发送的指令信号，变更判定部在指令信号获取部获取了表示变更强调显示的显示方式的指令信号的情况下，判定为变更强调显示的显示方式，在指令信号获取部获取了表示变更分类的显示方式的指令信号的情况下，判定为变更分类的显示方式。
[0028]根据第二方式，在操作部被操作时，可实施关注区域的显示方式的变更以及关注
区域的分类的显示方式的变更。
[0029]第三方式可以构成为，在第一方式或第二方式的医用图像处理装置中，具备分类实施信号获取部，其获取表示是否实施了关注区域的分类的分类实施信号，变更判定部在分类实施信号获取部获取了表示正在实施关注区域的分类的分类实施信号的情况下，判定为变更强调显示的显示方式。
[0030]根据第三方式，在实施了关注区域的分类时，可实施关注区域的显示方式的变更以及分类的显示方式的变更。
[0031]第四方式可以构成为，在第一方式至第三方式中的任一方式中，具备处置器具动作判定部，其判定处置器具是否正在动作，变更判定部在处置器具动作判定部判定为处置器具正在动作的情况下，判定为变更强调显示的显示方式，或者判定为变更分类的显示方式，或者判定为变更强调显示及分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种医用图像处理装置，具备：识别部，其从获取的医用图像检测关注区域，并对检测到的所述关注区域进行分类；显示控制部，其使对所述关注区域进行强调的强调显示及所述关注区域的分类显示在与显示所述医用图像中所包含的观察对象的画面相同的画面；以及变更判定部，其判定在显示有所述强调显示的情况下是否变更所述强调显示的显示方式、和在显示有所述分类的情况下是否变更所述分类的显示方式中的至少任一个，所述显示控制部在由所述变更判定部判定为变更所述强调显示的显示方式的情况下，实施减弱所述强调显示的强调程度的变更，在由所述变更判定部判定为变更所述分类的显示方式的情况下，实施减弱所述分类的可见性的变更。2.根据权利要求1所述的医用图像处理装置，其中，所述医用图像处理装置具备指令信号获取部，所述指令信号获取部获取操作部被操作时所发送的指令信号，所述变更判定部在所述指令信号获取部获取了表示变更所述强调显示的显示方式的所述指令信号的情况下，判定为变更所述强调显示的显示方式，在所述指令信号获取部获取了表示变更所述分类的显示方式的所述指令信号的情况下，判定为变更所述分类的显示方式。3.根据权利要求1或2所述的医用图像处理装置，其中，所述医用图像处理装置具备分类实施信号获取部，所述分类实施信号获取部获取表示是否正在实施所述关注区域的分类的分类实施信号，所述变更判定部在所述分类实施信号获取部获取了表示正在实施所述关注区域的分类的所述分类实施信号的情况下，判定为变更所述强调显示的显示方式。4.根据权利要求1至3中任一项所述的医用图像处理装置，其中，所述医用图像处理装置具备处置器具动作判定部，其判定处置器具是否正在动作，所述变更判定部在所述处置器具动作判定部判定为所述处置器具正在动作的情况下，判定为变更所述强调显示的显示方式，或者判定为变更所述分类的显示方式，或者判定为变更所述强调显示及所述分类的显示方式。5.根据权利要求1至4中任一项所述的医用图像处理装置，其中，所述识别部具备：多个小型化处理部，其实施使输入图像的尺寸阶段性地缩小的处理；以及特征图生成部，其根据所述多个小型化处理部的各自的输出图像生成特征图。6.根据权利要求5所述的医用图像处理装置，其中，所述小型化处理部具备对输入图像实施池化处理的池化处理部、和对输入图像实施卷积处理的卷积处理部的至少任一个。7.根据权利要求5或6所述的医用图像处理装置，其中，所述识别部具备关注区域识别部，所述关注区域识别部根据使用所述特征图生成部生成的多个所述特征图，实施所述关注区域的特定和所述关注区域的分类中的至少任一个。8.根据权利要求7所述的医用图像处理装置，其中，所述关注区域识别部基于所述多个特征图的重叠程度实施所述关注区域的检测及所述关注区域的分类。
9.根据权利要求1至8中任一项所述的医用图像处理装置，其中，所述识别部具备参数存储部，所述参数存储部存储对至少一个图像汇总地学习了关注区域的检测及关注区域的分类而得到的参数。10.根据权利要求1至9中任一项所述的医用图像处理装置，其中，所述显示控制部在所述强调显示中应用包围所述关注区域的闭合曲线，在变更所述强调显示的显示方式时，变更所述闭合曲线的色彩、浓度以及线的种类中的至少任一个。11.根据权利要求1至10中任一项所述的医用图像处理装置，其中，所述显示控制部在变更所述强调显示的显示方式时，使所述强调显示移动到减弱所述强调显示的可见性的位置。12.根据权利要求1至11中任一项所述的医用图像处理装置，其中，所述显示控制部应用表示分类内容的文字信息作为表示所述关注区域的分类的分类信息，在变更所述关注区域的分类的显示方式时，使所述文字信息移动到减弱所述文字信息的可见性的位置。13.根据权利要求12...

【专利技术属性】
技术研发人员：大酒正明，加门骏平，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：