图像处理装置、图像处理方法、记录介质以及内窥镜装置制造方法及图纸

本发明专利技术的图像处理装置根据摄像元件生成的电信号而生成图像信号，摄像元件呈矩阵状配置有第一像素和第二像素，第一像素的密度比第二像素的各个颜色成分的密度高，第一像素生成白色照明光的亮度成分即第一亮度成分的电信号，第二像素生成包含第二亮度成分在内的颜色成分的电信号，第二亮度成分是窄带照明光的亮度成分，该图像处理装置具有：插值色差计算部，其对第二像素位置处的第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与第二像素生成的颜色成分的电信号之差而得的色差信号；色差插值部，其根据插值色差计算部生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及图像信号生成部，其根据插值后的色差信号和插值色差计算部生成的亮度成分的电信号而生成第二像素所生成的颜色成分的电信号。

Image processing device, image processing method, image processing program, and endoscope device

The image processing apparatus generates image signals according to the signal generated by the imaging device, an imaging element in matrix shape is provided with a first pixel and a second pixel, a first pixel density than each color component of second pixels high density and brightness components of the first pixel generating white light is the first signal intensity component, Telecom No. second pixel color contains second luminance component, second luminance component is a brightness component of narrow-band illumination, the image processing device includes: a color interpolation calculation unit, the interpolation of the second signal as a first brightness Medicinesin position, color difference signal signals and second pixel signals the color component of a luminance component generated by the interpolation generated from the obtained color; the color interpolation, according to interpolation To determine the direction of the interpolation calculation unit generates a color difference signal, interpolation of color difference signals at each pixel location missing; and the image signal generating part, signal signals the color component calculation part is generated according to the interpolated color signal and interpolation color luminance component generated second pixels of the generated.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法、图像处理程序以及内窥镜装置
本专利技术涉及对摄像元件所生成的摄像信号实施信号处理而生成图像信号的图像处理装置、图像处理方法、图像处理程序、以及具有该图像处理装置的内窥镜装置。
技术介绍
以往，在医疗领域和工业领域中为了各种检查而广泛使用内窥镜装置。其中，关于医疗用的内窥镜装置，通过将挠性的插入部插入到患者等被检体的体腔内，即使不切开被检体也能够获取体腔内的体内图像，因此对被检体的负担小，而得以普及，该插入部呈细长形状，在前端设置有具有多个像素的摄像元件。作为这样的内窥镜装置的观察方式，使用了白色的照明光(白色照明光)的白色照明光观察方式和使用了比白色的波段窄的波段即窄带的照明光(窄带照明光)的窄带光观察方式被广为人知。其中，窄带光观察方式例如能够获得对存在于生物体的粘膜表层(生物体表层)的毛细血管和粘膜细微图案等进行强调显示的图像。根据这样的窄带光观察方式，能够更准确地发现生物体的粘膜表层中的病变部。关于这样的内窥镜装置的观察方式，期望切换白色照明光观察方式与窄带光观察方式进行观察。作为切换白色照明光观察方式与窄带光观察方式进行观察的技术，提出了一种内窥镜系统，该内窥镜系统能够切换白色照明光观察模式与窄带光观察模式，在所述白色照明光观察模式中，对体腔内的组织依次照射R、G、B这三原色的照明光，根据它们的反射光而生成白色照明光观察图像；在所述窄带光观察模式中，依次照射由分别包含于蓝色光和绿色光的波段的两个窄带光构成的照明光，根据它们的反射光图像而生成窄带光观察图像。(例如参照专利文献1)。关于分别包含于蓝色光和绿色光的波段的两个窄带光，血管的血红蛋白的吸收特性和基于波长的针对活体的深度方向衰减量不同。在特殊光观察图像中，通过蓝色光的波段中包含的窄带光能够捕捉到表层的毛细血管和表层的粘膜构造，通过绿色光的波段中包含的窄带光能够捕捉到深层的更粗的血管。为了通过单板的摄像元件获取摄像图像以按照上述的观察方式生成彩色图像并进行显示，在该摄像元件的受光面上通常设置有被称作拜耳排列的滤色镜，该滤色镜是按照每个像素将分别透射红色(R)、绿色(G)、绿色(G)和蓝色(B)波段的光的滤镜作为一个滤镜单位(单元)排列而成的。这种情况下，各像素接受透过滤镜的波段的光而生成与该波段的光对应的颜色成分的电信号。因此，在生成彩色图像的处理中进行插值处理，对在各像素中未透过滤镜而缺失的颜色成分的信号值进行插值。这样的插值处理被称作去马赛克处理。下面，将由G像素(是指配置有G滤镜的像素。R像素、B像素也同样定义)获取的信号称作G信号(R像素的情况下称作R信号，B像素的情况下称作B信号)。作为去马赛克处理的一例，示出了如下技术：对缺失G信号的R像素和B像素利用其周边G像素的相关性来对R像素和B像素中的G信号进行插值，针对使用R像素的R信号或B像素位置的B信号而计算出的色差信号(R-G信号和B-G信号)，在对缺失色差信号的像素位置的插值处理中，使用在G信号的插值时使用的周边G像素的相关性对色差信号进行插值(例如参照专利文献2)。现有技术文献专利文献专利文献1：日本特开2006-68113号公报专利文献2：日本特开2005-333418号公报
技术实现思路
专利技术要解决的课题在根据通过拜耳排列而获得的电信号进行去马赛克处理时，在白色照明光观察方式中，通过使用G像素的信号值进行插值处理能够确保较高的分辨率，但是，在窄带光观察方式中，由于G像素与B像素的颜色相关性较低，因此即使进行与上述同样的插值处理，有时也无法获得较高分辨率的图像。本专利技术就是鉴于上述情况而完成的，其目的在于提供无论在白色照明光观察方式和窄带光观察方式中的哪种观察方式中都能够获得较高分辨率的图像的图像处理装置、图像处理方法、图像处理程序、以及内窥镜装置。用于解决课题的手段为了解决上述课题并实现目的，本专利技术的图像处理装置其根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，所述图像处理装置具有：插值色差计算部，其根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；色差插值部，其根据所述插值色差计算部生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及图像信号生成部，其根据所述色差插值部生成的插值后的色差信号和所述插值色差计算部生成的所述亮度成分的电信号，生成所述第二像素所生成的颜色成分的电信号。为了解决上述课题并实现目的，本专利技术的图像处理方法根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，所述图像处理方法具有如下步骤：插值色差计算步骤，根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；色差插值步骤，根据在所述插值色差计算步骤中生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及图像信号生成步骤，根据在所述色差插值步骤中生成的插值后的色差信号和在所述插值色差计算步骤中生成的所述亮度成分的电信号，而生成所述第二像素所生成的颜色成分的电信号。为了解决上述课题并实现目的，本专利技术的图像处理程序根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，该图像处理程序使计算机执行如下步骤：插值色差计算步骤，根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；色差插本文档来自技高网...

【技术保护点】
一种图像处理装置，其根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，所述图像处理装置具有：插值色差计算部，其根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；色差插值部，其根据所述插值色差计算部生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及图像信号生成部，其根据所述色差插值部生成的插值后的色差信号和所述插值色差计算部生成的所述亮度成分的电信号，生成所述第二像素所生成的颜色成分的电信号。

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，其根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，所述图像处理装置具有：插值色差计算部，其根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；色差插值部，其根据所述插值色差计算部生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及图像信号生成部，其根据所述色差插值部生成的插值后的色差信号和所述插值色差计算部生成的所述亮度成分的电信号，生成所述第二像素所生成的颜色成分的电信号。2.根据权利要求1所述的图像处理装置，其特征在于，所述第一像素是接受所述绿色的成分的波段的光而生成该绿色的成分的电信号的像素，所述第二像素包含接受所述蓝色的成分的波段的光而生成该蓝色的成分的电信号的像素和接受所述红色的成分的波段的光而生成该红色的颜色成分的电信号的像素。3.根据权利要求1所述的图像处理装置，其特征在于，所述色差插值部对多个插值方向候选计算相关值，根据该相关值将所述多个插值方向候选中的任意一个判别为所述插值方向。4.根据权利要求1所述的图像处理装置，其特征在于，该图像处理装置具有运动补偿部，该运动补偿部使用作为用于检测图像间的运动的运动检测用图像的第一运动检测用图像和第二运动检测用图像，来检测第一运动检测用图像和第二运动检测用图像之间的所述运动作为运动矢量，所述第一运动检测用图像基于相比插值对象帧在时间序列上为过去的帧的图像信号，所述第二运动检测用图像基于该插值对象帧的图像信号，所述色差插值部根据所述运动矢量将所述过去的帧的色差信号嵌入到所述插值对象帧的图像信号中，使用包含该嵌入的过去帧的色差信号在内的色差信号对在各像素位置处缺失的色差信号进行插值。5.一种图像处理方法，根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照...

【专利技术属性】
技术研发人员：佐佐木宽，
申请(专利权)人：奥林巴斯株式会社，
类型：发明
国别省市：日本,JP