处理系统、图像处理方法以及学习方法技术方案

处理系统(100)包含：取得部(110)，其取得由内窥镜装置拍摄到的检测对象图像；控制部(130)，其根据控制信息来控制内窥镜装置；以及处理部(120)，其根据已学习模型和检测对象图像，检测包含于检测对象图像中的关注区域，计算与检测到的关注区域相关的估计概率信息。处理部(120)根据检测对象图像来确定用于提高估计概率信息的控制信息，控制部(130)根据所确定的控制信息来控制内窥镜装置。定的控制信息来控制内窥镜装置。定的控制信息来控制内窥镜装置。

【技术实现步骤摘要】
【国外来华专利技术】处理系统、图像处理方法以及学习方法


[0001]本专利技术涉及处理系统、图像处理方法以及学习方法等。

技术介绍

[0002]以往，在辅助医生进行的内窥镜图像的诊断的图像诊断辅助装置中，已知有通过使用机器学习来检测病变的方法、以及求出表示检测的或然性的估计概率的方法。作为通过机器学习生成的已学习模型，已知有神经网络。例如在专利文献1中公开了如下系统：根据卷积神经网络(CNN：Convolutional Neural Network)来估计病变的名称和位置以及其或然性的信息，并将估计出的信息重叠于内窥镜图像，由此提示辅助信息。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：国际公开第2019/088121号

技术实现思路

[0006]专利技术所要解决的课题
[0007]在专利文献1等现有方法中，在估计概率低的情况下进行不显示辅助信息等对策。但是，由于未加入提高估计概率的对策，因此有时无法提供具有充分的可靠度的辅助信息。
[0008]根据本申请的几个实施方式，能够提供能够取得可靠度高的信息的处理系统、图像处理方法以及学习方法等。
[0009]用于解决课题的手段
[0010]本申请的一个方式涉及处理系统，该处理系统包含：取得部，其取得由内窥镜装置拍摄到的检测对象图像；控制部，其根据控制信息控制所述内窥镜装置；以及处理部，其基于所述检测对象图像和通过机器学习而取得的、用于计算表示输入图像内的关注区域的或然性的估计概率信息的已学习模型，检测所述检测对象图像中包含的所述关注区域，计算与检测出的所述关注区域相关的所述估计概率信息，所述处理部基于所述检测对象图像，确定用于提高与所述检测对象图像内的所述关注区域相关的所述估计概率信息的所述控制信息，所述控制部根据所确定的所述控制信息来控制所述内窥镜装置。
[0011]本申请的其他方式涉及一种图像处理方法，取得由内窥镜装置拍摄到的检测对象图像，基于通过机器学习而取得的、用于计算表示输入图像内的关注区域的或然性的估计概率信息的已学习模型和所述检测对象图像，检测所述检测对象图像中包含的所述关注区域，计算与检测出的所述关注区域相关的所述估计概率信息，在将用于所述内窥镜装置的控制的信息设为控制信息时，根据所述检测对象图像，确定用于提高与所述检测对象图像内的所述关注区域相关的所述估计概率信息的所述控制信息。
[0012]本申请的另一其他方式涉及一种学习方法，取得由内窥镜装置拍摄到的图像作为输入图像，在将用于所述内窥镜装置的控制的信息设为控制信息时，取得作为取得所述输入图像时的所述控制信息的第一控制信息，取得作为用于提高估计概率信息的所述控制信
息的第二控制信息，所述估计概率信息表示从所述输入图像检测到的关注区域的或然性，通过对所述输入图像、所述第一控制信息、所述第二控制信息的关系进行机器学习，生成已学习模型。
附图说明
[0013]图1是处理系统的结构例。
[0014]图2是内窥镜系统的外观图。
[0015]图3是内窥镜系统的结构例。
[0016]图4是控制信息的例子。
[0017]图5是学习装置的结构例。
[0018]图6的(A)、图6的(B)是神经网络的结构例。
[0019]图7的(A)是NN1用的训练数据的例子，图7的(B)是NN1的输入输出的例子。
[0020]图8是说明NN1的学习处理的流程图。
[0021]图9的(A)是NN2用的训练数据的例子，图9的(B)是训练数据取得用的数据例，图9的(C)是NN2的输入输出的例子。
[0022]图10是说明NN2的学习处理的流程图。
[0023]图11是说明检测处理以及控制信息的确定处理的流程图。
[0024]图12是显示图像和检测对象图像的取得时点的例子。
[0025]图13的(A)、图13的(B)是显示画面的例子。
[0026]图14的(A)是NN2用的训练数据的例子，图14的(B)是训练数据取得用的数据例，图14的(C)是NN2的输入输出的例子。
[0027]图15是说明检测处理以及控制信息的确定处理的流程图。
[0028]图16的(A)是NN2用的训练数据的例子，图16的(B)是NN2的输入输出的例子。
[0029]图17是说明检测处理以及控制信息的确定处理的流程图。
具体实施方式
[0030]在以下的公开中，提供用于实施所提示的主题的不同特征的多个不同的实施方式、实施例。当然，这些仅为示例，并不意图用于限定。此外，在本申请中，有时在各种示例中参考编号和/或字符重复。这样重复是为了简洁明了，其自身不需要与各种实施方式和/或说明的结构之间存在关系。进而，在记述为第一要素与第二要素“连接”或“连结”时，这样的记述包含第一要素和第二要素相互直接地连接或连结的实施方式，并且也包含第一要素和第二要素具有介于其间的1个以上的其他要素而相互间接地连接或连结的实施方式。
[0031]1.系统结构
[0032]在专利文献1等以往的系统中，进行表示使用了已学习模型的估计的或然性的估计概率的显示。另外，在估计概率低的情况下，通过不显示估计结果，抑制向用户提示精度低的信息。但是，在现有方法中，没有采取用于提高已学习模型的估计概率的对策。
[0033]例如，考虑由于在图像上病变部被拍摄得较暗的原因使得估计概率较低的案例。在该情况下，通过进行提高调光处理中的调光目标值等的应对，将病变部拍摄得较明亮，因此有可能能够提高估计概率。但是，现有方法中的控制只是显示估计概率、或者由于估计概
率低而省略显示本身的控制。因此，为了进行光源等的控制，用户自身需要基于显示图像等进行是否需要光源的光量变更的判断，需要基于该判断执行用于进行光量变更的具体的操作。即，现有方法中的系统仅提示针对所输入的图像的处理结果，是否能够拍摄对病变等的检测而言优选的图像则依赖于用户。
[0034]图1是表示本实施方式的处理系统100的结构的图。处理系统100包括取得部110、处理部120和控制部130。
[0035]取得部110是用于取得图像的接口。例如，取得部110是经由通用缆线310c所包含的信号线取得来自摄像元件312的信号的接口电路。或者，取得部110也可以包括使用图3后述的预处理部331。另外，处理系统100也可以包含在经由网络取得镜体部310输出的图像信号的信息处理装置中。该情况下的取得部110是通信芯片等通信接口。
[0036]处理部120以及控制部130由下述的硬件构成。硬件可以包括处理数字信号的电路和处理模拟信号的电路中的至少一方。例如，硬件能够由安装于电路基板的1个或多个电路装置、1个或多个电路元件构成。1个或多个电路装置例如是IC(Integrated Circuit：集成电路)、FPGA(field
‑
programmable gate array：现场可编程门阵列)等。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理系统，其特征在于，所述处理系统包括：取得部，其取得由内窥镜装置拍摄到的检测对象图像；控制部，其根据控制信息控制所述内窥镜装置；以及处理部，其基于所述检测对象图像和通过机器学习而取得的、用于计算表示输入图像内的关注区域的或然性的估计概率信息的已学习模型，检测所述检测对象图像中包含的所述关注区域，计算与检测出的所述关注区域相关的所述估计概率信息，所述处理部基于所述检测对象图像，确定用于提高与所述检测对象图像内的所述关注区域相关的所述估计概率信息的所述控制信息，所述控制部根据所确定的所述控制信息来控制所述内窥镜装置。2.根据权利要求1所述的处理系统，其特征在于，所述处理部根据基于使用了第一控制信息的控制而取得的第一检测对象图像和所述已学习模型，计算第一估计概率信息，所述处理部在判定为由所述第一估计概率信息表示的所述或然性低于给定的阈值的情况下，进行确定用于提高所述估计概率信息的所述控制信息即第二控制信息的处理。3.根据权利要求2所述的处理系统，其特征在于，所述处理部根据基于使用了所述第二控制信息的控制而取得的第二检测对象图像和所述已学习模型，计算第二估计概率信息，所述处理部在判定为由所述第二估计概率信息表示的所述或然性比所述给定的阈值低的情况下，进行确定用于提高所述估计概率信息的所述控制信息即第三控制信息的处理。4.根据权利要求1所述的处理系统，其特征在于，所述控制信息包含光源控制信息、拍摄控制信息和图像处理控制信息中的至少一项信息，所述光源控制信息用于控制对被摄体照射照明光的光源，所述拍摄控制信息用于控制拍摄所述检测对象图像的拍摄条件，所述图像处理控制信息用于控制针对所拍摄的图像信号的图像处理。5.根据权利要求4所述的处理系统，其特征在于，所述控制信息是表示与所述关注区域相关的色调、明亮度、画面内的位置中的至少一项的信息。6.根据权利要求2所述的处理系统，其特征在于，所述控制信息包含第一～第N(N为2以上的整数)参数类别，其中所述处理部通过变更所述第一控制信息所包含的所述第一～第N参数类别中的2项以上的参数类别，来确定所述第二控制信息。7.根据权利要求2所述的处理系统，其特征在于，所述控制信息包含第一～第N(N为2以上的整数)参数类别，所述处理部通过变更所述第一控制信息所包含的所述第一～第N参数类别中的第i(i是满足1≤i≤N以下的整数)参数类别来确定第二控制信息。8.根据权利要求7所述的处理系统，其特征在于，所述处理部根据基于使用了所述第二控制信息的控制而取得的第二检测对象图像和所述已学习模型，计算第二估计概率信息，
所述处理部在判定为由所述第二估计概率信息表示的所述或然性比所述给定的阈值低的情况下，通过变更所述第二控制信息所包含的所述第一～第N参数类别中的第j(j是满足1≤j≤N以下、j≠i的整数)参数类别来确定第三控制信息。9.根据权利要求1所述的处理系统，其特征在于，所述处理部根据基于使用了第一控制信息的控制而取得的第一检测对象图像和所述已学习模型，计算所述估计概率信息，所述处理部基于所述第一控制信息以及所述第一检测对象图像，进行确定用于提高所述估计概率信息的所述控制信息即第二控制信息的处理。10.根据权利要求1所述的处理系统，其特征在于，所述处理部能够执行：第一处理，基于第一已学习模型和所述检测对象图像，检测所述检测对象图像所包含的所述关注区域；以及第二处理，基于第二已学习模型和所述检测对象图像，检测所述检测对象图像所包含的所述关注区域，所述处理部进行从包含所述第一已学习模型和所述第二已学习模型的多个已学习模型中选择任意的所述已学习模型的处理，所述处理部在选择了所述第一已学习模型的情况下，进行如下处理：基于所述第一已学习模型和所述检测对象图像，进行所述第一处理并且计算所述估计概率信息，确定用于提高计算出的所述估计概率信息的所述控制信息，所述处理部在选择了所述第二已学习模型的情况下，进行如下处理：基于所述第二已学习模型和所述检测对象图像，进行所述第二处理并且计算所述估计概率信息，确定用于提高计算出的所述估计概率信息的所述控制信息。11.根据权利要求10所述的处理系统，其特...

【专利技术属性】
技术研发人员：大原聪，
申请(专利权)人：奥林巴斯株式会社，
类型：发明
国别省市：