超声波摄像装置以及图像处理装置制造方法及图纸

本发明专利技术提供一种超声波摄像装置以及图像处理装置，向用户提供成为判断由包含神经网络的处理生成的图像是否妥当的资料的信息。接受接收了来自被检体的超声波的超声波探头输出的接收信号，基于接收信号生成超声波图像。将接收信号或者超声波图像设为输入，通过学习完毕的神经网络输出推测接收信号或者推测超声波图像。妥当性信息生成部使用接收信号、超声波图像、推测接收信号、推测超声波图像以及神经网络的中间层的输出中的一个以上，生成表示推测接收信号或者推测超声波图像的妥当性的信息。

【技术实现步骤摘要】
超声波摄像装置以及图像处理装置
本专利技术涉及使用超声波对被检体内的图像进行拍摄的超声波摄像技术，涉及在图像的重建时使用通过机器学习的方法被训练的算法的技术。
技术介绍
超声波摄像技术是使用超声波(不希望听到的声波，通常为20kHz以上的高频率的声波)对以人体为代表的被检体的内部非介入性地进行图像化的技术。近年来，根据以神经网络、深度学习等技术为中心的机器学习技术的进展，在基于超声波摄像技术的图像化中，公开有多个使用机器学习技术的重建处理、画质改善处理的例子。使用向神经网络的输入数据与设为神经网络的输出的目标的训练数据的集合，进行神经网络的训练，由此即使对于未知的输入数据，也能够以高精度获得所希望的输出。若将图像化前的信号设为输入数据，将图像化后的数据设为训练数据，则神经网络进行图像重建的处理，若在输入数据与训练数据双方中使用图像化后的数据，则也能够使神经网络进行画质改善。例如，在专利文献1中公开了将超声波回波信号、基于回波信号被波束成形的信号或者其两方设为向神经网络的输入，从神经网络输出图像数据的超声波图像系统。神经网络通过机器学习的方法被训练，通过使用该神经网络，能够置换以往的超声波图像化处理，获得更高画质的图像，或者不提供明示的物理模型而获得组织性状的信息、血流信息等。神经网络通常通过基于大量数据的学习，而决定各节点处的运算所使用的权重，能够输出成为目标的高精度的图像、信号等，若将基于数据的处理与预先决定的模型库的处理比较，则存在难以直观地理解其行为的情况。特别是难以预测神经网络对于未知的输入的行为。因此，看到神经网络输出的图像、信号等的人也难以仅根据其输出来判断其是否是妥当的输出。专利文献1所记载的超声波摄像装置是由于在图像化过程中包含有通过机器学习而被训练的神经网络，所以神经网络根据作为未知的输入的接收信号生成图像的结构。因此，看到由神经网络生成并被显示的图像的用户难以判断该图像是否是妥当的图像。专利文献1：国际公开第2018/127497号
技术实现思路
本专利技术的目的在于，向用户提供成为判断由包含神经网络的处理生成的图像是否妥当的资料的信息。为了实现上述目的，本专利技术的超声波摄像装置具有：图像生成部，其接受接收了来自被检体的超声波的超声波探头输出的接收信号，基于接收信号生成超声波图像；学习完毕的神经网络，其将接收信号或者图像生成部生成的超声波图像设为输入，输出推测接收信号或者推测超声波图像；以及妥当性信息生成部，其使用接收信号、上述超声波图像、推测接收信号、推测超声波图像以及神经网络的中间层的输出中的一个以上，生成表示推测接收信号或者推测超声波图像的妥当性的信息。根据本专利技术，能够通过超声波摄像装置显示表示使用神经网络生成的图像的妥当性的信息，因此用户能够进行图像的妥当性的判断。附图说明图1A是本实施方式的超声波摄像装置整体的立体图，图1B是表示本实施方式的超声波摄像装置的简要结构的框图。图2是表示实施方式的超声波摄像装置整体的结构的框图。图3的(a)～(c)是表示实施方式的超声波摄像装置主体中的从接收信号处理部至图像处理部的数据的流动的细节的框图。图4的(a)以及(b)是表示预先决定的差分值的绝对值(特征量)与表示妥当性的值的关系的图表。图5是表示实施方式1的训练神经网络时的计算的流程的概念图。图6是表示实施方式1的动作的流程的流程图。图7是表示在实施方式1中图像处理部生成的超声波图像的例子的图。图8是表示在实施方式1中与用户的输入对应的图像处理部的动作的变更方法的流程图。图9是表示实施方式2的超声波摄像装置主体中的从接收信号处理部至图像处理部的结构与数据的流动的细节的框图。图10是表示实施方式2的神经网络的结构的一个例子的说明图。图11是对在实施方式3中根据发送的超声波的波长变更妥当性信息生成部的处理时的数据的流动进行说明的框图。图12是对在实施方式3中根据发送的超声波的波长变更妥当性信息生成部的处理时的数据的流动进行说明的概念图。图13是表示在实施方式4中图像处理部基于妥当性信息变更图像处理时的数据的流动的框图。图14是表示在实施方式4中图像处理部基于妥当性信息变更图像处理时的数据的流动的框图。附图标记的说明100-超声波摄像装置，101-超声波摄像装置主体，102-超声波探头，103-控制台，104-图像显示部，105-控制部，106-发送波束形成器，107-收发开关，108-图像生成部，109-神经网络，110-妥当性信息生成部，111-存储器，112-图像处理部，113-超声波元件，114-被检体，115-神经网络中间层，116-发送超声波，201-RF数据，202-超声波数据，203-推测图像，205-特征量与妥当性信息的关系，206-妥当性信息，207-超声波图像，210-正确数据，211-训练用输入数据，212-训练时输出数据，213-损失函数，214-权重的更新，215-中间层输出，301-妥当性信息的坐标网格，302-妥当性信息的x方向的图素尺寸，303-妥当性信息的y方向的图素尺寸，304-发送超声波的波形，305-发送超声波的波长。具体实施方式使用附图，对本专利技术的一个实施方式进行说明。如图1A、图1B所示，本实施方式的超声波摄像装置构成为具备图像生成部108、学习完毕的神经网络109和妥当性信息生成部110。图像生成部108接受超声波探头102输出的接收信号，基于接收信号生成超声波图像。神经网络109将接收信号或者图像生成部108生成的超声波图像设为输入，输出推测接收信号或者推测超声波图像。妥当性信息生成部110使用接收信号、超声波图像、推测接收信号、推测超声波图像以及神经网络109的中间层的输出中的一个以上，生成表示推测接收信号或者推测超声波图像的妥当性的信息。例如，妥当性信息生成部110是进行将接收信号、超声波图像、推测接收信号、推测超声波图像以及神经网络的中间层的输出中的2个以上进行比较的运算(例如，求差分的运算)，基于运算结果(差分)生成表示妥当性的信息的结构。作为其他例子，妥当性信息生成部110是从接收信号、超声波图像、推测接收信号、推测超声波图像以及神经网络的中间层的输出中的一个提取特征量，基于预先求得的特征量与表示妥当性的值的关系，求出与提取的特征量对应的表示妥当性的值的结构。由于是这样的结构，所以本实施方式的超声波摄像装置能够在图像显示部104中与推测超声波图像或者图像生成部根据推测接收信号生成的超声波图像一同显示表示它们的妥当性的信息。因此，用户容易进行神经网络109输出本文档来自技高网...

【技术保护点】
1.一种超声波摄像装置，其特征在于，具有：/n图像生成部，其接受接收了来自被检体的超声波的超声波探头输出的接收信号，基于所述接收信号生成超声波图像；/n学习完毕的神经网络，其将所述接收信号或者所述图像生成部生成的所述超声波图像设为输入，输出推测接收信号或者推测超声波图像；以及/n妥当性信息生成部，其使用所述接收信号、所述超声波图像、所述推测接收信号、所述推测超声波图像以及所述神经网络的中间层的输出中的一个以上，生成表示所述推测接收信号或者所述推测超声波图像的妥当性的信息。/n

【技术特征摘要】
20190404 JP 2019-0722911.一种超声波摄像装置，其特征在于，具有：
图像生成部，其接受接收了来自被检体的超声波的超声波探头输出的接收信号，基于所述接收信号生成超声波图像；
学习完毕的神经网络，其将所述接收信号或者所述图像生成部生成的所述超声波图像设为输入，输出推测接收信号或者推测超声波图像；以及
妥当性信息生成部，其使用所述接收信号、所述超声波图像、所述推测接收信号、所述推测超声波图像以及所述神经网络的中间层的输出中的一个以上，生成表示所述推测接收信号或者所述推测超声波图像的妥当性的信息。


2.根据权利要求1所述的超声波摄像装置，其特征在于，
所述妥当性信息生成部进行将所述接收信号、所述超声波图像、所述推测接收信号、所述推测超声波图像以及所述神经网络的中间层的输出中的2个以上进行比较的运算，基于所述运算的结果生成表示所述妥当性的信息。


3.根据权利要求1所述的超声波摄像装置，其特征在于，
所述妥当性信息生成部求出向所述神经网络输入的所述接收信号或者所述超声波图像与从所述神经网络输出的所述推测接收信号或者所述推测超声波图像的差分，基于所述差分生成表示所述妥当性的信息。


4.根据权利要求3所述的超声波摄像装置，其特征在于，
所述妥当性信息生成部参照预先决定的差分的值与表示妥当性的值的关系，求出与所求出的所述差分对应的表示妥当性的值。


5.根据权利要求4所述的超声波摄像装置，其特征在于，
所述预先决定的差分的值与表示妥当性的值的关系设定为在所述差分的值位于预定的范围内的情况下，与位于其他范围内的情况相比，对应的表示妥当性的值更高，
所述预定的范围是在将使所述神经网络学习时使用的多个学习用输入数据输入所述学习完毕的神经网络的情况下分别输出的多个输出数据与输入的所述多个学习用输入数据的差分的值的分布的范围。


6.根据权利要求1所述的超声波摄像装置，其特征在于，
所述神经网络将所述图像生成部生成的超声波图像设为输入，输出所述推测超声波图像，
所述妥当性信息生成部求出输入所述神经网络的所述超声波图像与从所述神经网络输出的所述推测超声波图像的差分，基于所述差分计算表示所述妥当性的信息。


7.根据权利要求1所述的超声波摄像装置，其特征在于，
所述神经网络将所述接收信号设为输入，输出所述推测超声波图像，
所述妥当性信息生成部求出所述图像生成部根据所述接收信号生成的所述超声波图像与从所述神经网络输出的所述推测超声波图像的差分，基于所述差分计算表示所述妥当性的信息。


8.根据权利要求1所述的超声波摄像装置，其特征在于，
所述神经网络将所述接收信号设为输入，输出所述推测接收信号，
所述妥当性信息生成部求出输入所述神经网络的所述接收信号与从所述神经网络输出的所述推测接收信号的差分，基于所述差分计算表示所述妥当性的信息，
所述图像生成部基于所述推测接收信号生成所述超声波图像。


9.根据权利要求1所述的超声波摄像装置，其特征在于，
所述妥当性信息生成部从所述接收信号、所述超声波图像、所述推测接收信号、所述推测超声波图像以及所述神经网络的中间层的输出中的一个提取特征量，基于预先求出的特...

【专利技术属性】
技术研发人员：山中一宏，田中宏树，盐川淳一，西浦朋史，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本;JP