图像处理装置、图像处理方法和程序制造方法及图纸

【技术问题】例如，为了提高使用诸如透明手术工具等的透明物体的手术的手术效率。【技术方案】当捕捉图像是通过捕捉对于第一波段的光是透明的并且对于第二波段的光是不透明的物体而获取时，以及当通过选择性接收第一波段的光而获取的捕捉图像作为第一捕捉图像，并且通过选择性接收第二波段的光而获取的捕捉图像作为第二捕捉图像时，基于第二捕捉图像检测其中存在物体的图像区域作为目标区域。随后，根据关于检测的目标区域的信息，在第一捕捉图像上叠加该物体的轮廓。

Image processing apparatus, image processing method, and program

For example, in order to improve the operation efficiency of the use of transparent objects, such as transparent surgical instruments. [] when the technical scheme is adopted to capture the image capture for the first band light is transparent and the second band light opaque object is obtained, and capture images when receiving the first band through selective light obtained as first capture images, and receives second bands obtained by selective optical image capture as the second image capture, image capture based on region second image detection objects which exist as the target area. Subsequently, the contour of the object is superimposed on the first capture image according to the information about the detected target region.

【技术实现步骤摘要】
【国外来华专利技术】
本技术涉及图像处理装置、图像处理方法和程序的
，其对通过捕捉可见的透光物体(诸如透明的手术工具)的图像而获取的捕捉图像执行图像处理。参考文献列表专利文献专利文献1：JP2009-291358A专利文献2：JP2011-35853A
技术介绍
已知的是所谓的微创外科手术用于减少患者的生理负担。在微创外科手术中，外科医生在确认通过内窥镜捕捉的体内图像时进行外科手术，以便在不打开胸部或腹部的情况下进行外科手术并且减少外科手术中的患者的生理负担。
技术实现思路
技术问题当在微创外科手术中通过使用内窥镜进行外科手术时，想到的是使用透明的手术工具作为手术工具，诸如，手术刀和镊子。如果手术工具是透明的，则位于更深侧的观察物体(诸如，器官)的可见度有望提高。然而，如果使用透明的手术工具，对于诸如外科医生的观察者来说难以确认手术工具在所捕捉的图像中的位置，并且担心外科手术变得更困难。因此，本技术的目的是克服以上问题，并且提高关于使用诸如透明的手术工具的透明物体的工作的工作效率。技术方案第一，根据本技术，一种图像处理装置包括：目标检测单元，被配置为当第一捕捉图像是通过选择性接收第一波段的光而获取的捕捉图像，并且第二捕捉图像是通过选择性接收第二波段的光而获取的捕捉图像时，基于所述第二捕捉图像检测其中存在目标物体的图像区域作为目标区域，所述捕捉图像通过捕捉对于所述第一波段的所述光是透明的并且对于所述第二波段的所述光是不透明的所述目标物体而获取；以及轮廓叠加单元，被配置为基于由所述目标检测单元检测的所述目标区域的信息在所述第一捕捉图像上叠加所述目标物体的轮廓。如上所述，其中物体的更深侧在视觉上是可确认的并且物体的位置在视觉上是可确认的捕捉图像是通过在第一捕捉图像上叠加物体的轮廓而获取。第二，在根据本技术的图像处理装置中，优选地，所述目标检测单元基于所述第二捕捉图像和所述第一捕捉图像检测所述目标区域。从而，基于透明地显示物体的图像以及不透明地显示物体的图像来检测目标区域。第三，在根据本技术的图像处理装置中，目标检测单元优选通过关于所述第二捕捉图像和所述第一捕捉图像中的每一个执行边缘提取，基于所述第二捕捉图像生成第二边缘图像并且基于所述第一捕捉图像生成第一边缘图像，使用所述目标物体的模板针对所述第二边缘图像和所述第一边缘图像中的每一个执行模板匹配，并且检测图像区域作为所述目标区域，该图像区域是通过针对所述第二边缘图像的所述模板匹配所检测，并且不与通过针对所述第一边缘图像的所述模板匹配所检测的图像区域重叠的图像区域。从而，可以排除在用于第二捕捉的模板匹配中错误检测的图像区域。第四，在根据本技术的图像处理装置中，目标检测单元优选地针对所述第二捕捉图像以及针对通过选择性接收所述第一波段中的不同波段的光而获取的多个第一捕捉图像执行所述边缘提取，并且基于所述第二捕捉图像生成所述第二边缘图像以及基于所述多个第一捕捉图像生成多个第一边缘图像，针对每一个所述生成的边缘图像执行所述模板匹配，并且检测图像区域作为所述目标区域，该图像区域是通过针对所述第二边缘图像的所述模板匹配所检测，并且不与通过针对所述多个第一边缘图像的所述模板匹配所检测的图像区域中的任一个重叠的图像区域。通过针对选择性接收第一波段中的不同波段的光而获取的多个第一捕捉图像执行模板匹配，在可见光图像侧中更容易地检测与物体具有类似形状的不同于物体的部分。第五，在根据本技术的图像处理装置中，优选地，当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是通过借助于选择性接收所述第二波段的光的图像传感器而立体捕捉所述目标物体的图像从而而获取的左眼图像和右眼图像时，所述目标检测单元基于根据所述左眼侧第二捕捉图像与所述右眼侧第二捕捉图像之间的视差所计算的距离信息而检测所述目标区域。如上所述，通过使用距离信息可以检测目标区域。第六，在根据本技术的图像处理装置中，优选地，所述目标检测单元基于针对所述第二捕捉图像和所述第一捕捉图像中的每一个所计算的所述距离信息生成所述第二捕捉图像的距离图像以及所述第一捕捉图像的距离图像，生成所述第二捕捉图像的所述距离图像与所述第一捕捉图像的所述距离图像之间的差值图像，并且基于所述差值图像检测所述目标区域。如上所述，通过在第二捕捉图像的距离图像与第一捕捉图像的距离图像之间生成差值图像，在差值图像中仅提取物体存在的图像区域。第七，在根据本技术的图像处理装置中，优选地，所述目标检测单元基于针对多个帧图像的所述目标区域的检测结果，确定所述轮廓叠加单元进行的所述轮廓的叠加中使用的所述目标区域。从而，即使由于一时噪音的影响所造成的将不同于物体的显示内容的部分错误地检测为目标区域，该影响也不会反应在轮廓叠加中。第八，根据本技术的图像处理装置优选地包括光学畸变校正单元，该光学畸变校正单元被配置为校正由所述目标物体关于所述第一捕捉图像中的所述目标区域而产生的光学畸变。从而，校正在第一捕捉图像中的目标区域中生成的光学畸变。第九，在根据本技术的图像处理装置中，目标检测单元优选地所述目标检测单元基于所述第二捕捉图像识别所述目标物体的类型，并且所述光学畸变校正单元利用根据所述目标检测单元识别的所述目标物体的所述类型的校正特性来校正所述光学畸变。从而，通过根据物体的类型的适当的校正特性执行光学畸变校正。第十，在根据本技术的图像处理装置中，优选地，当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是借助于选择性接收所述第二波段光的图像传感器立体捕捉所述目标物体的图像而获取的左眼图像和右眼图像时，所述检测单元基于所述左眼侧第二捕捉图像和所述右眼侧第二捕捉图像生成所述目标物体的三维位置信息，并且基于所述三维位置信息检测所述目标物体的方位，并且所述光学畸变校正单元利用根据所述目标检测单元检测的所述目标物体的所述方位的校正特性来校正所述光学畸变。从而，通过根据物体的方位的适当的校正特性执行光学畸变校正。第十一，在根据本技术的图像处理装置中，所述光学畸变校正单元优选地利用根据所述目标物体的距离的校正特性来校正所述光学畸变。从而，通过根据物体的距离的适当的校正特性执行光学畸变校正。本专利技术的技术效果根据本技术，提高关于使用透明物体(诸如，透明的手术工具)的工作的工作效率。应注意，本文中描述的效果不必是限制性的，而且可以是...

【技术保护点】
一种图像处理装置，包括：目标检测单元，被配置为当第一捕捉图像是通过选择性接收第一波段的光而获取的捕捉图像，并且第二捕捉图像是通过选择性接收第二波段的光而获取的捕捉图像时，基于所述第二捕捉图像检测其中存在目标物体的图像区域作为目标区域，所述捕捉图像通过捕捉对于所述第一波段的所述光是透明的并且对于所述第二波段的所述光是不透明的所述目标物体而获取；以及轮廓叠加单元，被配置为基于由所述目标检测单元检测的所述目标区域的信息在所述第一捕捉图像上叠加所述目标物体的轮廓。

【技术特征摘要】
【国外来华专利技术】2013.09.10 JP 2013-1872481.一种图像处理装置，包括：
目标检测单元，被配置为当第一捕捉图像是通过选择性接收第
一波段的光而获取的捕捉图像，并且第二捕捉图像是通过选择性接
收第二波段的光而获取的捕捉图像时，基于所述第二捕捉图像检测
其中存在目标物体的图像区域作为目标区域，所述捕捉图像通过捕
捉对于所述第一波段的所述光是透明的并且对于所述第二波段的所
述光是不透明的所述目标物体而获取；以及
轮廓叠加单元，被配置为基于由所述目标检测单元检测的所述
目标区域的信息在所述第一捕捉图像上叠加所述目标物体的轮廓。
2.根据权利要求1所述的图像处理装置，其中
所述目标检测单元基于所述第二捕捉图像和所述第一捕捉图
像检测所述目标区域。
3.根据权利要求1所述的图像处理装置，其中
所述目标检测单元：
通过关于所述第二捕捉图像和所述第一捕捉图像中的每
一个执行边缘提取，基于所述第二捕捉图像生成第二边缘图像
并且基于所述第一捕捉图像生成第一边缘图像，
使用所述目标物体的模板针对所述第二边缘图像和所述
第一边缘图像中的每一个执行模板匹配，并且
检测图像区域作为所述目标区域，该图像区域是通过针
对所述第二边缘图像的所述模板匹配所检测，并且不与通过针
对所述第一边缘图像的所述模板匹配所检测的图像区域重叠
的图像区域。
4.根据权利要求3所述的图像处理装置，其中
所述目标检测单元：
针对所述第二捕捉图像以及针对通过选择性接收所述第
一波段中的不同波段的光而获取的多个第一捕捉图像执行所
述边缘提取，并且基于所述第二捕捉图像生成所述第二边缘图
像以及基于所述多个第一捕捉图像生成多个第一边缘图像，
针对每一个所述生成的边缘图像执行所述模板匹配，并
且
检测图像区域作为所述目标区域，该图像区域是通过针
对所述第二边缘图像的所述模板匹配所检测，并且不与通过针
对所述多个第一边缘图像的所述模板匹配所检测的图像区域
中的任一个重叠的图像区域。
5.根据权利要求1所述的图像处理装置，其中，
当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是通过借
助于选择性接收所述第二波段的光的图像传感器而立体捕捉所述目
标物体的图像从而而获取的左眼图像和右眼图像时，所述目标检测
单元基于根据所述左眼侧第二捕捉图像与所述右眼侧第二捕捉图像
之间的视差所计算的距离信息而检测所述目标区域。
6.根据权利要求5所述的图像处理装置，其中
所述目标检测单元基于针对所述第二捕捉图像和所述第一捕
捉图像中的每一个所计算的所述距离信息生成所述第二捕捉图像的
距离图像以及所述第一捕捉图像的距离图...

【专利技术属性】
技术研发人员：林恒生，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP