图像处理方法、图像处理装置及摄像装置制造方法及图纸

本发明专利技术首先对于一边使焦点位置变化一边拍摄到的多个拍摄图像，计算每个像素的锐度。接着，对于每个坐标决定应参照的拍摄图像的序号即图像参照值。接下来，对于每个坐标，基于图像参照值与锐度计算亮度值。此时，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。然后，将计算出的亮度值进行组合，生成全焦点图像。由此，得到平滑的全焦点图像。此外，图像参照值本身不变更。因此，不应参照的拍摄图像的像素中存在的不需要的亮度值不会出现在全焦点图像中。

Image Processing Method, Image Processing Device and Camera Device

The invention first calculates the sharpness of each pixel for a plurality of photographed images taken while changing the focus position. Next, for each coordinate, the serial number of the photographed image to be referred to, i.e. the image reference value, is determined. Next, for each coordinate, the brightness value is calculated based on the image reference value and sharpness. At this time, the brightness value of the photographed image represented by the image reference value of the coordinates around each coordinate is reflected on the brightness value of the photographed image represented by the image reference value of the coordinates. Then, the calculated brightness values are combined to generate a full focus image. From this, a smooth full focus image is obtained. In addition, the image reference value itself remains unchanged. Therefore, unwanted brightness values in the pixels of the captured image that should not be referred to do not appear in the full focus image.

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法、图像处理装置及摄像装置
本专利技术涉及基于多个拍摄图像生成全焦点图像的图像处理方法、图像处理装置及摄像装置。
技术介绍
专利文献1中记载了一种通过以高分辨率拍摄细胞来观察细胞的培养状态的装置。专利文献1的装置通过照相机拍摄与培养液一同被保持在容器内的细胞。这种装置有时难以通过一次拍摄来对培养液中的所有细胞对焦。因此，通过改变照相机的焦点位置进行多次拍摄，并将得到的多个图像合成，从而生成对整体对焦的全焦点图像。现有技术文献专利文献1：日本特开2016-14974号公报专利文献2：日本特开2010-20758号公报
技术实现思路
专利技术所要解决的问题全焦点图像通过将多个拍摄图像的对焦的部分拼接而生成。因此，在图像的接缝处容易产生亮度值不均匀的情况。根据这一点，专利文献2中公开了一种通过平滑化处理来生成平滑的全焦点图像的技术。专利文献2的图像处理装置决定在拍摄的多个图像中的每个像素应参照的图像的序号并作为为“第一参照值”。此外，通过将该“第一参照值”进行平滑化处理来计算“第二参照值”。然后，基于“第二参照值”生成平滑的全焦点图像。然而，在专利文献2的方法中，由于对参照值本身进行平滑化处理，因此存在基于平滑化处理后的“第二参照值”而参照了本来不应参照的图像的情况。例如，在“第一参照值”被替换为1～5的位置，存在因平滑化处理而导致“第二参照值”变为3的情况。此时，若本来不应参照的第三个图像中显示出异物，则该异物会出现在全焦点图像中。本专利技术是鉴于这种情况而提出的，目的在于提供一种能够在全焦点图像内的图像参照值被替换的位置使亮度值平滑地变化、并且不应参照的拍摄图像中存在的不需要的亮度值不出现在全焦点图像中的图像处理方法、图像处理装置及摄像装置。解决问题的技术方案为了解决上述问题，本申请的第一专利技术是一种图像处理方法，基于多个拍摄图像生成全焦点图像，其中，所述图像处理方法包括：a)工序，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像，b)工序，对于多个所述拍摄图像中包括的各像素计算锐度，c)工序，通过在多个所述拍摄图像的相互对应的像素间比较锐度来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值应该参照的所述拍摄图像的序号，d)工序，对于每个坐标，基于所述图像参照值与所述锐度来计算亮度值，以及e)工序，将计算出的亮度值进行组合来生成全焦点图像；在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。本申请的第二专利技术根据第一专利技术的图像处理方法，其中，在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以所述锐度越高影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。本申请的第三专利技术根据第一专利技术或第二专利技术的图像处理方法，其中，在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以距离越近影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。本申请的第四专利技术根据第二专利技术或第三专利技术的图像处理方法，所述加权利用高斯函数。本申请的第五专利技术根据第一专利技术至第四专利技术中任一项专利技术的图像处理方法，所述对象物是细胞。本申请的第六专利技术是一种图像处理装置，基于多个拍摄图像生成全焦点图像，其中，所述图像处理装置具有：图像存储部，存储通过一边使焦点位置沿着光轴变化一边拍摄对象物而获取的多个拍摄图像，锐度计算部，对于所述多个拍摄图像中包括的各像素计算锐度，图像参照值决定部，通过在多个所述拍摄图像的相互对应的像素间比较锐度来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值应该参照的所述拍摄图像的序号，亮度值计算部，对于每个坐标，基于所述图像参照值与所述锐度来计算亮度值，以及全焦点图像生成部，将计算出的亮度值进行组合来生成全焦点图像；所述亮度值计算部使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。本申请的第七专利技术根据第六专利技术的图像处理装置，其中，所述亮度值计算部使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以锐度越高影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。本申请的第八专利技术根据第六专利技术或第七专利技术的图像处理装置，其中，所述亮度值计算部使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以距离越近影响就越大的加权的方式反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。本申请的第九专利技术根据第七专利技术或第八专利技术的图像处理装置，其中，所述加权利用高斯函数。本申请的第十专利技术根据第六专利技术至第九专利技术中任一项专利技术的图像处理装置，其中，所述对象物是细胞。本申请的第十一专利技术是一种摄像装置，其中，具有：权利要求6～10中任一项所述的图像处理装置，照相机，拍摄所述对象物，投光部，向所述对象物照射光，以及移动机构，使所述照相机的焦点位置沿着光轴变化。专利技术效果根据本申请的第一专利技术～第五专利技术，能够在全焦点图像内的图像参照值切换的位置使亮度值平滑地变化。尤其，本专利技术能够不变更在工序c)中决定的图像参照值，而是以使各坐标的亮度值平滑地变化的方式来进行计算。因此，不应参照的拍摄图像的像素中存在的不需要的亮度值不会出现在全焦点图像中。尤其，根据本申请的第四专利技术，能够通过任意地设定高斯函数的系数来调节加权的程度。根据本申请的第六专利技术～第十一专利技术，能够在全焦点图像内的图像参照值切换的位置使亮度值平滑地变化。尤其，本专利技术能够不变更图像参照值决定部所决定的图像参照值，而是以使各坐标的亮度值平滑地变化的方式来进行计算。因此，不应参照的拍摄图像的像素中存在的不需要的亮度值不会出现在全焦点图像中。尤其，根据本申请的第九专利技术，能够通过任意地设定高斯函数的系数来调节加权的程度。附图说明图1是示出孔板的一例的立体图。图2是示出摄像装置的结构的图。图3是示出控制部与摄像装置内的各部分间的连接的框图。图4是示意性示出控制部内实现的功能的框图。图5是示出拍摄处理的流程的流程图。图6是一个孔的剖视图。图7是示出一个孔中拍摄的5个拍摄图像的图。图8是示出全焦点图像的生成流程的流程图。图9是示出图像参照值的分布的例子的图。图10是示出锐度的分布的例子的图。图11是示出全焦点图像的例子的图。具体实施方式下面，参照附图说明本专利技术的优选实施方式。1.摄像装置的结构图1是示出设置在摄像装置1的孔板9的一例的立体图。孔板9是具有多个孔(凹部)91的大致板状的样品容器。例如，使用透光的透明的树脂作为孔板9的材料。如图1所示，多个孔91在孔板9的上表面规则地排列。各孔91内保持培养液92与作为拍摄对象物的多个细胞93。另外，俯视时的孔91的形状可以是如图1所示的圆形，也可以是矩形等其他形状。图2是示出本专利技术的一个实施方式的摄像装置1的结构的图。该摄像装置1一边使照相机40的焦点位置变化，一边对孔板9内的多个细胞93进行多次拍摄，并且将得到的多个拍摄图像合成，来生成观察用的合成图像(全焦点图像)。摄像装置1例如在医药品的研究开发领域中用于缩选作为医药品候选的化合物的筛选工序。筛选工序的操作者向孔板9的多个孔91添加浓度或本文档来自技高网...

【技术保护点】
1.一种图像处理方法，基于多个拍摄图像生成全焦点图像，其中，所述图像处理方法包括：a)工序，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像，b)工序，对于多个所述拍摄图像中包括的各像素计算锐度，c)工序，通过在多个所述拍摄图像的相互对应的像素间比较锐度来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值应该参照的所述拍摄图像的序号，d)工序，对于每个坐标，基于所述图像参照值与所述锐度来计算亮度值，以及e)工序，将计算出的亮度值进行组合来生成全焦点图像；在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

【技术特征摘要】
【国外来华专利技术】2016.09.05 JP 2016-1724521.一种图像处理方法，基于多个拍摄图像生成全焦点图像，其中，所述图像处理方法包括：a)工序，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像，b)工序，对于多个所述拍摄图像中包括的各像素计算锐度，c)工序，通过在多个所述拍摄图像的相互对应的像素间比较锐度来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值应该参照的所述拍摄图像的序号，d)工序，对于每个坐标，基于所述图像参照值与所述锐度来计算亮度值，以及e)工序，将计算出的亮度值进行组合来生成全焦点图像；在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。2.根据权利要求1所述的图像处理方法，其中，在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以所述锐度越高影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。3.根据权利要求1或2所述的图像处理方法，其中，在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以距离越近影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。4.根据权利要求2或3所述的图像处理方法，其中，所述加权利用高斯函数。5.根据权利要求1～4中任一项所述的图像处理方法，其中，所述对象物是细胞。6.一种图像处理装置，基于多个拍摄图像生成全焦点...

【专利技术属性】
技术研发人员：安田拓矢，
申请(专利权)人：株式会社斯库林集团，
类型：发明
国别省市：日本,JP