图像处理装置、图像处理方法和程序制造方法及图纸

技术编号:28047038 阅读:24 留言:0更新日期:2021-04-09 23:34
一种图像处理装置,包括:图像质量改善单元,其被构造为通过使用学习模型从被检眼的第一图像生成与第一图像相比进行了降噪和对比度增强中的至少一项的第二图像;以及显示控制单元,其被构造为通过切换、并排布置或叠置第一图像和第二图像,在显示单元上显示第一图像和第二图像。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法和程序
本专利技术涉及图像处理装置、图像处理方法和程序。
技术介绍
利用光学相干断层扫描(OCT)的装置(OCT装置),使用于无损且无创地获得诸如生物体等被检对象的断层图像的方法实用化。OCT装置尤其被广泛用作获取眼科诊断用图像的眼科装置。在OCT中,通过使从测量对象反射的光与从参考反射镜反射的光相互干涉并分析干涉光的强度(intensity),可以获得被检对象的断层图像。已知时域OCT(TD-OCT)是此类OCT中的一种。在TD-OCT中,通过连续改变参考反射镜的位置来获得被检对象的深度信息。还已知光谱域OCT(SD-OCT)和扫频源OCT(SS-OCT)。在SD-OCT中,将通过使用低相干光引起光干涉而获得的干涉光划分,并且用频率信息代替深度信息从而获取频率信息。在SS-OCT中,通过使用已预先利用波长扫描光源划分了波长的光来获取干涉光。请注意,SD-OCT和SS-OCT也统称为“傅里叶域OCT(FD-OCT)”。通过使用OCT,可以获取基于被检对象的深度信息的断层图像。此外,通过在深度方向上积分所获取的三维断层图像并将该积分后的图像投影到二维平面上,可以生成测量对象的正面图像。常规上,为了改善这些图像的图像质量,多次获取图像并进行平均处理。然而,在这种情况下,多次进行摄像需要花费时间。专利文献1公开了这样一种技术,即,为了应对医疗技术中的快速发展并且也符合紧急情况下的简单摄像,借助于人工智能(AI)引擎将先前获取的图像转换成具有更高分辨率的图像。根据该技术,例如,可以将通过进行较少次数的摄像而获取的图像转换成具有更高分辨率的图像。[引用列表][专利文献]专利文献1:日本特开第2018-5841号公报
技术实现思路
[技术问题]然而,即使图像具有高分辨率,在某些情况下也不能说该图像是适合图像诊断的图像。例如,即使当图像的分辨率高时,如果图像中存在大量噪声或对比度低等,则在某些情况下也不能适当地认定应当观察的对象。在这方面,本专利技术的一个目的是提供一种图像处理装置、图像处理方法和程序,该图像处理装置、图像处理方法和程序能够产生比常规技术更适合于图像诊断的图像。[解决问题的方案]根据本专利技术的一个实施例的图像处理装置包括:图像质量改善单元,其被构造为使用学习模型从被检眼的第一图像生成与第一图像相比经过了降噪和对比度增强中的至少一项的第二图像;以及显示控制单元,其被构造为使第一图像和第二图像切换、并置或叠置显示在显示单元上。根据本专利技术的另一实施例的图像处理装置包括:图像质量改善单元,其被构造为使用学习模型从第一图像生成第二图像,该第一图像是基于被检眼在深度方向上的范围内的信息而生成的正面图像,该第二图像与第一图像相比经过了降噪和对比度增强中的至少一项;以及选择单元,其被构造为基于用于生成第一图像的深度方向上的范围,从多个学习模型中选择图像质量改善单元要使用的学习模型。根据下面参照附图对示例性实施例的描述,本专利技术的进一步特征将变得显而易见。附图说明[图1]是示出根据实施例1的OCT装置的示意构造的图。[图2]是示出根据实施例1的控制单元的示意构造的图。[图3A]是示出根据实施例1的训练数据的示例的图。[图3B]是示出根据实施例1的训练数据的示例的图。[图4]是示出根据实施例1的学习模型的构造的示例的图。[图5]是示出根据实施例1的一系列图像处理操作的流程图。[图6A]是示出在图像质量改善处理之前和之后所获得的图像之间切换显示的报告画面的示例的图。[图6B]是示出在图像质量改善处理之前和之后所获得的图像之间切换显示的报告画面的示例的图。[图7]是示出将在图像质量改善处理之前和之后所获得的图像并置显示的报告画面的示例的图。[图8A]是示出将应用了图像质量改善处理的多个图像同时显示的报告画面的示例的图。[图8B]是示出将应用了图像质量改善处理的多个图像同时显示的报告画面的示例的图。[图9]是示出根据实施例2的控制单元的示意构造的图。[图10]是示出根据实施例2的一系列图像处理操作的流程图。[图11A]是示出改变图像质量改善处理的示例的图。[图11B]是示出改变图像质量改善处理的示例的图。[图12A]是示出将应用了图像质量改善处理的多个图像同时显示的报告画面的示例的图。[图12B]是示出将应用了图像质量改善处理的多个图像同时显示的报告画面的示例的图。[图13]是示出根据实施例3的一系列图像处理操作的流程图。[图14]是示出根据实施例4的控制单元的示意构造的图。[图15]是示出根据实施例4的一系列图像处理操作的流程图。[图16A]是示出根据变型例9的用作机器学习模型的神经网络的构造示例的图。[图16B]是示出根据变型例9的用作机器学习模型的神经网络的构造示例的图。[图17A]是示出根据变型例9的用作机器学习模型的神经网络的构造示例的图。[图17B]是示出根据变型例9的用作机器学习模型的神经网络的构造示例的图。[图18]是示出根据实施例5的用户界面的示例的图。[图19A]是示出多个OCTAen-face图像的示例的图。[图19B]是示出多个OCTAen-face图像的示例的图。[图20A]是示出根据实施例5的用户界面的示例的图。[图20B]是示出根据实施例5的用户界面的示例的图。具体实施方式在下文中,将参照附图详细地描述本专利技术的示例性实施例。然而,以下实施例中描述的部件的尺寸、材料、形状和相对位置是不确定的,并且可以根据应用本专利技术的装置的构造或根据各种条件而改变。此外,在不同附图中,相同或功能相似的元件由相同的附图标记标示。在以下的实施例中,虽然给出了被检眼作为被检对象的示例,但也可以将人的其它器官等作为被检对象。此外,将被检眼的OCTA(OCT血管造影)图像描述为使用与机器学习模型(机器学习引擎)有关的学习模型进行图像质量改善处理的图像的示例。请注意,术语“OCTA”是指使用OCT而不使用造影剂的血管造影。在OCTA中,通过对基于被检对象在深度方向上的深度信息获得的三维运动对比度数据进行积分并将该积分数据投影到二维平面上,来生成OCTA图像(正面血管图像)。这里,术语“运动对比度数据”是指通过对被检对象的大致相同的位置进行重复摄像并且在摄像期间检测该对象内随时间的变化而获得的数据。请注意,短语“大致相同的位置”是指相同程度达到可允许生成运动对比度数据的位置,并且包括与严格相同的位置略有偏离的位置。运动对比度数据是通过例如基于差、比率或相关性等来计算复杂OCT信号的相位、向量或强度随时间的变化而获得的。现在将提及与图像质量改善处理有关的要点,该图像质量改善处理使用与机器学习模型有关的学习模型。通过使用与机器学习模型有关的学习模本文档来自技高网
...

【技术保护点】
1.一种图像处理装置,包括:/n图像质量改善单元,其被构造为使用学习模型从被检眼的第一图像生成与第一图像相比经过了降噪和对比度增强中的至少一项的第二图像;以及/n显示控制单元,其被构造为使第一图像和第二图像切换、并置或叠置显示在显示单元上。/n

【技术特征摘要】
【国外来华专利技术】20180906 JP 2018-166817;20190329 JP 2019-0686631.一种图像处理装置,包括:
图像质量改善单元,其被构造为使用学习模型从被检眼的第一图像生成与第一图像相比经过了降噪和对比度增强中的至少一项的第二图像;以及
显示控制单元,其被构造为使第一图像和第二图像切换、并置或叠置显示在显示单元上。


2.根据权利要求1所述的图像处理装置,所述图像处理装置还包括:
选择单元,其被构造为从多个学习模型中选择图像质量改善单元要使用的学习模型。


3.根据权利要求2所述的图像处理装置,其中:
第一图像是基于被检眼在深度方向上的范围内的信息生成的正面图像;并且
选择单元基于用于生成第一图像的深度方向上的范围来选择图像质量改善单元要使用的学习模型。


4.根据权利要求3所述的图像处理装置,其中:
选择单元基于第一图像中的显示部位和用于生成第一图像的深度方向上的范围,选择图像质量改善单元要使用的学习模型。


5.根据权利要求4所述的图像处理装置,其中:
选择单元基于包括所述显示部位的摄像部位和用于生成第一图像的深度方向上的范围来选择图像质量改善单元要使用的学习模型。


6.根据权利要求2所述的图像处理装置,其中:
选择单元基于第一图像的摄像条件来选择图像质量改善单元要使用的学习模型。


7.根据权利要求2所述的图像处理装置,其中:
选择单元根据来自操作者的指令,选择图像质量改善单元要使用的学习模型。


8.根据权利要求2至7中任一项所述的图像处理装置,其中:
选择单元根据来自操作者的指令,改变图像质量改善单元要使用的学习模型。


9.根据权利要求1至8中任一项所述的图像处理装置,其中:
显示控制单元根据来自操作者的指令使第一图像和第二图像切换显示在显示单元上。


10.一种图像处理装置,包括:
图像质量改善单元,其被构造为使用学习模型从被检眼的第一图像生成第二图像,该第二图像是通过使第一图像经过图像质量改善处理而生成的;
显示控制单元,其被构造为根据来自操作者的指令使第一图像和第二图像切换显示在显示单元上。


11.根据权利要求1至10中任一项所述的图像处理装置,其中:
图像质量改善单元从多个第一图像生成多个第二图像;并且
显示控制单元使所述多个第一图像和所述多个第二图像切换显示在显示单元上。


12.根据权利要求1至11中任一项所述的图像处理装置,所述图像处理装置还包括:
获得单元,其被构造为获得第一图像,
其中,显示控制单元:
在获得单元获得第一图像之后立即使第一图像显示在显示单元上,并且
在图像质量改善单元生成第二图像之后,从显示的第一图像切换到第二图像,以使第二图像显示在显示单元上。


13.根据权利要求12所述的图像处理装置,其中:
第一图像是基于被检眼在深度方向上的范围内的运动对比度数据生成的正面图像;并且
显示控制单元:
在获得单元获得第一图像之前,显示第三图像,该第三图像是基于被检眼在深度方向上的断层数据生成的正面图像,并且
在获得单元获得第一图像之后,立即从显示的第三图像切换到第一图像,以使第一图像显示在显示单元上。


14.根据权利要求1至8中任一项所述的图像处理装置,其中:
第一图像是基于被检眼在深度方向上的范围内的信息生成的正面图像;并且
在根据来自操作者的指令改变第一图像在深度方向上的范围时,显示控制单元从在显示单元上显示正以并置方式显示的第一图像和第二图像改变为在显示单元上显示基于在深度方向上的改变后的范围的第一图像和从第一图像生成的第二图像。


15.根据权利要求1至8和14中任一项所述的图像处理装置,其中:
根据来自操作者的指令,显示控制单元使在显示单元上正以并置方式显示的第一图像和第二图像中的任一个放大显示。


16.根据权利要求1至8中任一项所述的图像处理装置,其中:
显示控制单元为第一图像和第二图像中的至少一个设置透明度,并且使第一图像和第二图像以叠置方式显示在显示单元上。

【专利技术属性】
技术研发人员:内田弘树岩濑好彦嵯峨野治富田律也
申请(专利权)人:佳能株式会社
类型:发明
国别省市:日本;JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1