图像处理方法、图像处理装置、摄像装置及摄像方法制造方法及图纸

本发明专利技术首先，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像(D1～D5)。接着，获取多个拍摄图像(D1～D5)间的倍率变化。接下来，基于倍率变化，确定多个拍摄图像(D1～D5)间相互对应的像素，并且在对应的像素之间比较锐度。然后，基于锐度的比较结果来决定图像参照值，该图像参照值是作为全焦点图像(DA)的各坐标的亮度值所应参照的拍摄图像的序号。然后，对每个坐标参照图像参照值所示的拍摄图像的亮度值，生成全焦点图像(DA)。由此，能够生成高精度地反映了对象物的位置及大小的全焦点图像(DA)。

Image Processing Method, Image Processing Device, Camera Device and Camera Method

Firstly, the object is photographed while the focus position is changed along the optical axis, thereby obtaining a plurality of photographed images (D1-D5). Then, the change of multiples between multiple images (D1-D5) is acquired. Next, based on the change of magnification, the corresponding pixels between multiple photographed images (D1-D5) are determined, and the corresponding pixels are sharper. Then, the image reference value is determined based on the results of sharpness comparison. The image reference value is the serial number of the photographed image that should be referred to as the brightness value of each coordinate of the full focus image (DA). Then, the full focus image (DA) is generated for each coordinate by referring to the brightness value of the captured image shown by the reference value of the image. As a result, a full focus image (DA) can be generated which can accurately reflect the position and size of the object.

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法、图像处理装置、摄像装置及摄像方法
本专利技术涉及基于多个拍摄图像生成全焦点图像的图像处理方法、图像处理装置、摄像装置及摄像方法。
技术介绍
专利文献1中记载了一种通过以高分辨率拍摄细胞来观察细胞的培养状态的装置。专利文献1的装置通过照相机拍摄与培养液一同被保持在容器内的细胞。这种装置有时难以通过一次拍摄来对培养液中的所有细胞对焦。因此，通过改变照相机的焦点位置进行多次拍摄，并将得到的多个图像合成，从而生成对整体对焦的全焦点图像。专利文献2中记载了一种涉及全焦点图像的生成的现有技术。专利文献2的装置中，由于从标本到摄像单元的光学系统非远心，因此若改变照相机的焦点位置则图像的倍率变化。因此，专利文献2的装置在通过修正而统一了图像的倍率后，生成全焦点图像(参照专利文献2的图2等)。基于预先保存的放大光学系统的设计信息以及标本的位置信息来进行倍率的修正(参照专利文献2的第0054段等)。现有技术文献专利文献1：日本特开2016-14974号公报专利文献2：日本特开2011-7872号公报
技术实现思路
专利技术所要解决的问题如专利文献1的装置，在拍摄培养液中的细胞的情况下，表面张力使得培养液的表面形成凹状的弯液面。因此，光在培养液的表面发生折射。结果，图像的倍率(视野的广度)根据照相机的焦点位置而变化。因此，为了生成全焦点图像，必须考虑通过多次拍摄得到的图像间的倍率变化。例如专利文献2所述，根据通过多次拍摄得到的图像间的倍率变化量来修正各图像的倍率，生成全焦点图像。然而，若修正各图像的倍率，则存在图像中的细胞大小、或多个细胞的间隔发生变化的问题。尤其，在将不同的视野中得到的多个全焦点图像进行排列来生成一个结果图像的情况下，需要在相邻的全焦点图像间整合细胞的位置及大小。然而，如上所述，若对每个图像修正倍率，则不能在相邻的全焦点图像间高精度地整合细胞的位置及大小。因此，在结果图像中的全焦点图像的边界发生图像的错乱。此外，弯液面的影响随着容器的形状、培养液的种类、经过时间、培养环境等各种条件而变化。因此，不能如专利文献2所述，基于预先准备的信息来修正图像的倍率。本专利技术是鉴于这种情况而提出的，目的在于提供一种即使在图像的倍率根据照相机的焦点位置而变化的情况下，也能高精度地生成全焦点图像的图像处理方法、图像处理装置、以及摄像装置及摄像方法。解决问题的技术方案为了解决上述课题，本申请的第一专利技术是一种图像处理方法，基于多个拍摄图像生成全焦点图像，包括：a)工序，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像；b)工序，获取多个所述拍摄图像间的倍率变化；c)工序，基于所述倍率变化，确定多个所述拍摄图像间相互对应的像素，并且在所述对应的像素之间比较锐度；d)工序，基于所述c)工序的比较结果来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值所应参照的所述拍摄图像的序号；以及e)工序，对每个坐标参照所述图像参照值所示的拍摄图像的亮度值，生成全焦点图像。本申请的第二专利技术是一种图像处理装置，基于多个拍摄图像生成全焦点图像，具有：图像存储部，存储通过一边使焦点位置沿着光轴变化一边拍摄对象物而获取的多个拍摄图像；倍率变化获取部，获取多个所述拍摄图像间的倍率变化；图像参照值决定部，通过基于所述倍率变化，确定多个所述拍摄图像间相互对应的像素，并且在所述对应的像素之间比较锐度，从而决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值所应参照的所述拍摄图像的序号；以及全焦点图像生成部，对每个坐标参照所述图像参照值所示的拍摄图像的亮度值，生成全焦点图像。本申请的第三专利技术是一种摄像装置，拍摄对象物来生成全焦点图像，具有：照相机，拍摄所述对象物，投光部，向所述对象物照射光，移动机构，使所述照相机的焦点位置沿着光轴变化，以及控制部，控制所述照相机、所述投光部、以及所述移动机构，并且处理由所述照相机获取的图像；所述控制部执行：工序a)，一边由所述移动机构使所述焦点位置变化，一边由所述照相机进行拍摄，从而获取多个拍摄图像，工序b)，计算多个所述拍摄图像间的倍率变化，工序c)，对多个所述拍摄图像中的每一个所述拍摄图像进行所述倍率变化的逆修正，以及工序d)，利用所述逆修正后的多个所述拍摄图像来生成全焦点图像。本申请的第四专利技术是一种摄像方法，拍摄对象物来生成全焦点图像，包括：工序a)，一边使照相机的焦点位置沿着光轴变化，一边由所述照相机拍摄所述对象物，从而获取多个拍摄图像；工序b)，计算多个所述拍摄图像间的倍率变化；工序c)，对多个所述拍摄图像中的每一个所述拍摄图像进行所述倍率变化的逆修正；以及工序d)，利用所述逆修正后的多个所述拍摄图像来生成全焦点图像。专利技术效果根据本专利技术，能够高精度地生成全焦点图像。附图说明图1是示出设置在摄像装置的孔板的一例的立体图。图2是示出本专利技术的一个实施方式的摄像装置的结构的图。图3是示出控制部与摄像装置内的各部分间的连接的框图。图4是示出摄像装置中的拍摄处理的流程的流程图。图5是示出一个孔内的拍摄处理的状况的图。图6是示出对一个孔获取的5个拍摄图像的例子的图。图7是示出在直接合成拍摄图像的情况下的全焦点图像的例子(比较例)的图。图8是示出用于根据5个拍摄图像生成一个全焦点图像的图像处理的流程的流程图。图9是示出步骤S7中的处理的例子的流程图。图10是示意性示出对两个拍摄图像求取倍率变化量及平行移动量时的处理的状况的图。图11是示出逆修正后的5个拍摄图像的例子的图。图12是示出在将逆修正后的拍摄图像进行合成的情况下的全焦点图像的例子的图。图13是示出摄像装置的结构的图。图14是示出控制部与摄像装置内的各部分间的连接的框图。图15是示意性示出控制部内实现的功能的框图。图16是示出摄像装置中的拍摄处理的流程的流程图。图17是示出一个孔内的拍摄处理的状况的图。图18是示出由图17的第二拍摄位置拍摄的5个拍摄图像的图。图19是示出用于根据5个拍摄图像生成一个全焦点图像的图像处理的流程的流程图。图20是示出步骤S21中的处理的例子的流程图。图21是示意性示出步骤S21的处理的状况的图。图22是示出阴影去除处理的例子的流程图。图23是示意性示出阴影去除处理的状况的图。图24是示意性示出5个拍摄图像与生成的全焦点图像间的关系的图。具体实施方式下面，参照附图说明本专利技术的优选实施方式。1.实施方式11.1.摄像装置的结构图1是示出设置在摄像装置1的孔板9的一例的立体图。孔板9是具有多个孔(凹部)91的大致板状的样品容器。例如，使用透光的透明的树脂作为孔板9的材料。如图1所示，多个孔91在孔板9的上表面规则地排列。各孔91内保持培养液92与作为拍摄对象物的多个细胞93。另外，俯视时的孔91的形状可以是如图1所示的圆形，也可以是矩形等其他形状。图2是示出本专利技术的一个实施方式的摄像装置1的结构的图。该摄像装置1是一边改变照相机40的焦点位置一边多次拍摄孔板9内的多个细胞93，并将得到的多个拍摄图像进行合成，生成对所有的细胞93对焦的模糊少的观察用的合成图像(全焦点图像)的装置。摄像装置1例如在医药品的研究开发领域中用于缩选作为医药品候选的化合物的筛选工序。筛选工序的操作者向孔板9的多个孔91添加浓度或组成本文档来自技高网...

【技术保护点】
1.一种图像处理方法，基于多个拍摄图像生成全焦点图像，其中，包括：a)工序，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像，b)工序，获取多个所述拍摄图像间的倍率变化，c)工序，基于所述倍率变化，确定多个所述拍摄图像间相互对应的像素，并且在所述对应的像素之间比较锐度，d)工序，基于所述c)工序的比较结果来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值所应参照的所述拍摄图像的序号，以及e)工序，对每个坐标参照所述图像参照值所示的拍摄图像的亮度值，生成全焦点图像。

【技术特征摘要】
【国外来华专利技术】2016.07.13 JP 2016-138163;2016.09.16 JP 2016-181221.一种图像处理方法，基于多个拍摄图像生成全焦点图像，其中，包括：a)工序，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像，b)工序，获取多个所述拍摄图像间的倍率变化，c)工序，基于所述倍率变化，确定多个所述拍摄图像间相互对应的像素，并且在所述对应的像素之间比较锐度，d)工序，基于所述c)工序的比较结果来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值所应参照的所述拍摄图像的序号，以及e)工序，对每个坐标参照所述图像参照值所示的拍摄图像的亮度值，生成全焦点图像。2.根据权利要求1所述的图像处理方法，其中，在所述b)工序中，获取多个所述拍摄图像间的倍率变化量及平行移动量，在所述c)工序中，基于所述倍率变化量及所述平行移动量，确定多个所述拍摄图像间相互对应的像素。3.根据权利要求1或2所述的图像处理方法，其中，在所述c)工序中包括：c1)工序，将多个所述拍摄图像中的位于同一坐标的关注像素、以及与所述关注像素对应的其他拍摄图像中的对应像素进行锐度比较，以及c2)工序，对每个所述关注像素计算评价值，所述评价值表示所述关注像素的锐度相对于所述对应像素的锐度的强度；在所述d)工序中，在多个所述拍摄图像中的所述关注像素中，将所述评价值最大的关注像素所属的拍摄图像的序号决定为所述图像参照值。4.根据权利要求1～3中任一项所述的图像处理方法，其中，在所述d)工序后，还包括：f)工序，对每个坐标，将所述坐标自身的锐度及图像参照值、与在所述倍率变化的方向上相对于所述坐标相距与倍率变化对应的距离的其他坐标及其周边坐标的锐度及图像参照值进行比较，在所述其他坐标及其周边坐标的锐度与所述坐标自身的锐度相比足够大、并且所述坐标自身的图像参照值与所述其他坐标的图像参照值间的关系对应于所述距离的情况下，将所述坐标的图像参照值置换为所述其他坐标的图像参照值。5.根据权利要求1～4中任一项所述的图像处理方法，其中，所述图像处理方法还包括：g)工序，将在不同视野中得到的多个所述全焦点图像进行排列，生成一个结果图像。6.根据权利要求1～5中任一项所述的图像处理方法，其中，所述对象物与液体或凝胶状的物质一同被保持在容器内。7.根据权利要求6所述的图像处理方法，其中，所述对象物是与培养液或凝胶状的培养基一同被保持在所述容器内的细胞。8.一种图像处理装置，基于多个拍摄图像生成全焦点图像，其中，具有：图像存储部，存储通过一边使焦点位置沿着光轴变化一边拍摄对象物而获取的多个拍摄图像，倍率变化获取部，获取多个所述拍摄图像间的倍率变化，图像参照值决定部，通过基于所述倍率变化，确定多个所述拍摄图像间相互对应的像素，并且在所述对应的像素之间比较锐度，从而决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值所应参照的所述拍摄图像的序号，以及全焦点图像生成部，对每个坐标参照所述图像参照值所示的拍摄图像的亮度值，生成全焦点图像。9.根据权利要求8所述的图像处理装置，其中，所述倍率变化获取部获取多个所述拍摄图像间的倍率变化量及平行移动量，所述图像参照值决定部基于所述倍率变化量及所述平行移动量，确定多个所述拍摄图像间相互对应的像素。10.根据权利要求8或9所述的图像处理装置，其中，所述图像参照值决定部执行：1)将多个所述拍摄图像中的位于同一坐标的关注像素、以及与所述关注像素对应的其他拍摄图像中的对应像素进行锐度比较的处理，2)对每个所述关注像素计算评价值的处理，以及3)在多个所述拍摄图像中的所述关注像素中，将所述评价值最大的关注像素所属的拍摄图像的序号决定为所述图像参照值的处理；所述评价值表示所述关注像素的锐度相对于所述对应像素的锐度的强度。11.根据权利要求8～10中任一项所述的图像处理装置，其中，所述图像处理装置还具有阴影去除处理部，所述阴影去除处理部对每个坐标，将所述坐标自身的锐度及图像参照值、与在所述倍率变化的方向上相对于所述坐标相距与倍率变化对应的距离的其他坐标及其周边坐标的锐度及图像参照值进行比较，在所述其他坐标及其周边坐标的锐度与所述坐标自身的锐度相比足够大、并且所述坐标自身的图像参照值与所述其他坐标的图像参照值间的关系对应于所述距离的情况下，将所述坐标的图像参照值置换为所述其他坐标的图像参照值。12.根据权利要求8～11中任一项所述的图像处理装置，其中，所述图像处理装置还具有平铺处理部，所述平铺处理部将在不同视野中得到的多个所述全焦点图像进行排列，生成一个结果图像。13.根据权利要求8～12中任一项所述的图像处理装置，其中，所述对象物与液体或凝胶状的物质一同被保持在容器内。14.根据权利要求13所述的图像处理装置，...

【专利技术属性】
技术研发人员：安田拓矢，
申请(专利权)人：株式会社斯库林集团，
类型：发明
国别省市：日本,JP