图像生成装置、图像生成方法及程序制造方法及图纸

本公开涉及图像生成装置、图像生成方法以及程序。图像生成装置(600B)具备多个照明器(101)和控制电路(60)，控制电路(60)生成预先确定的多个焦面的各焦面上的对象物的对焦图像，提取显现在多个对焦图像中的对象物的至少一个截面的轮廓，基于该至少一个截面的轮廓来生成至少一个圆周，生成分别具有该至少一个圆周的至少一个球的立体图像即球图像，通过以使截面出现的方式对球图像进行加工来生成合成图像，使该合成图像显示于显示器。

Image generating device, image generating method and program

The present disclosure relates to an image forming apparatus, an image generating method, and a program. Image generation device (600B) has a plurality of lighting device (101) and a control circuit (60), a control circuit (60) focusing image object multiple focal plane generated predetermined the focal plane of the object extraction appeared in a number of focus in the image of the at least one cross section contour the at least one section contour is generated based on at least one circle, three-dimensional image generation respectively with at least one of the at least one circumference of the ball is the ball of ball image, image processing by the section appears to generate a composite image, the image displayed on the display.

【技术实现步骤摘要】
图像生成装置、图像生成方法及程序
本公开涉及无透镜显微镜的基于利用多个光源的多个拍摄图像来生成假想的对焦面上的对象物的图像的技术。
技术介绍
想要以不对培养细胞实施染色的方式连续地观察该培养细胞这一要求，在治疗用细胞的生成、药效的试验等将培养细胞用于医疗、产业的很多领域中存在。然而，由于细胞大多是几乎无色透明的，因此在基于透射光的光学显微镜下的拍摄中，难以获知培养细胞的立体构造。在专利文献1中，示出了如下方法：为了评价细胞的截面形状，根据与物镜平行、且焦点的高度位置相对于对象物不同的多个图像(即，一边使焦点在对象物的高度方向上挪动、一边进行拍摄而得到的多个图像)，生成与物镜不平行的面的对焦图像(模拟截面图像)。可是，对于培养细胞的连续观察，是在用于维持培养细胞用的湿润环境的培养箱这样的有限空间内进行的。为了在这样湿润的有限空间内进行观察，专利文献2公开了不使用透镜就能够观察微小细胞的无透镜显微镜。公开了使通过从多个不同的位置进行照射的照明而拍摄到的多个图像进行重合(Ptychography，叠层成像)来提高分辨率的方法。现有技术文献专利文献专利文献1：日本特开2013-101512号公报专利文献2：美国专利申请公开第2014/0133702号说明书
技术实现思路
然而，在专利文献1的方法中，存在使用者难以容易地掌握对象物的结构这一问题。因此，本公开的非限定性且例示性的一个技术方案，提供能够供使用者容易地掌握对象物的结构的图像生成装置等。本公开的一个技术方案涉及的图像生成装置，具备：多个照明器；具有载置对象物的表面的图像传感器；以及控制电路，其生成位于所述多个照明器与所述图像传感器之间的假想的焦面上的所述对象物的对焦图像，所述控制电路，(a)使用通过每当所述多个照明器依次照明所述对象物时由所述图像传感器进行的拍摄而得到的所述对象物的多个拍摄图像，生成预先确定的多个焦面的各焦面上的所述对象物的对焦图像，(b)提取显现在所生成的多个所述对焦图像中的所述对象物的至少一个截面的轮廓，(c)基于所述至少一个截面的轮廓，生成至少一个圆周，(d)生成球图像，所述球图像是具有所生成的所述至少一个圆周的各圆周的至少一个球的立体图像，(e)通过对所述球图像进行加工以使得表现出所述至少一个球的截面，从而生成合成图像，使所述合成图像显示于显示器。此外，该总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序和计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(CompactDisc-ReadOnlyMemory，光盘只读存储器)等非易失性记录介质。根据本公开，使用者能够容易地掌握对象物的结构。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。附图说明图1是表示实施方式1涉及的图像生成系统的功能结构的一例的框图。图2是示意性表示实施方式1涉及的照明器的构造的一例的图。图3是示意性表示实施方式1涉及的照明器的构造的一例的图。图4是示意性表示实施方式1涉及的照明器的构造的一例的图。图5是说明实施方式1涉及的照明器所包含的针孔(pinhole)应满足的大小条件的示意图。图6是表示实施方式1涉及的存储部所存储的内容的一例的图。图7是表示实施方式1涉及的图像生成系统的工作的一例的流程图。图8是表示坐标与焦面的关系的一例的示意图。图9是表示实施方式1涉及的拍摄装置的工作的一例的流程图。图10是表示实施方式1涉及的重新聚焦处理部的工作的一例的流程图。图11是说明实施方式1涉及的重新聚焦(refocus)处理的具体例子的示意图。图12是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。图13是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。图14是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。图15是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。图16是表示实施方式1的变形例1涉及的重新聚焦处理部的工作的一例的流程图。图17是表示实施方式1的变形例2涉及的重新聚焦处理部的工作的一例的流程图。图18是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。图19是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。图20是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。图21是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。图22是表示实施方式2涉及的图像生成系统的功能结构的一例的框图。图23是示意性表示实施方式2中的照明位置的范围的一例的图。图24是将透镜的焦距和景深的关系、与进行重新聚焦时的点光源的配置和景深的关系进行关联来表示的示意图。图25是表示实施方式2涉及的图像生成系统的工作的一例的流程图。图26是表示实施方式2的变形例涉及的图像生成系统的功能结构的一例的框图。图27是表示实施方式2的变形例涉及的图像生成系统的工作的一例的流程图。图28是表示实施方式3涉及的图像生成系统的功能结构的一例的框图。图29是表示实施方式3涉及的胚信息表的一例的图。图30是表示实施方式3涉及的焦面决定部的工作的一例的流程图。图31是表示实施方式3的变形例涉及的图像生成系统的功能结构的一例的框图。图32是表示实施方式3的变形例涉及的细胞位置判定部的详细的功能结构的一例的框图。图33是表示实施方式3的变形例涉及的焦面决定部的工作的一例的流程图。图34是表示实施方式3的变形例涉及的与由焦面决定部进行的细胞配置的决定有关的处理的流程图。图35A是4细胞期的胚的三维模型的侧视图。图35B是4细胞期的胚的三维模型的侧视图。图35C是4细胞期的胚的三维模型的俯视图。图35D是4细胞期的胚的三维模型的立体图。图36A是4细胞期的胚的三维模型的截面图。图36B是4细胞期的胚的三维模型的截面图。图37是4细胞期的胚的三维模型的立体图。图38是4细胞期的胚的三维模型的截面图。图39是实施方式4的图像生成系统的功能框图。图40是表示由实施方式4中的合成图像生成部显示的合成图像的一例的图。图41是表示实施方式4中的球图像生成部的详细的功能结构的框图。图42是表示实施方式4中的球图像生成部的具体处理的一例的图。图43是表示实施方式4中的显示器所显示的画面的一例的图。图44是表示实施方式4的图像生成装置的工作的一例的流程图。图45是表示图44的步骤S110中的球图像的生成的详细处理的流程图。图46A是表示实施方式4的图像生成装置的硬件结构的一例的图。图46B是表示实施方式4的图像生成装置所具备的控制电路的工作的一例的流程图。标号的说明10、20、30、40、50图像生成系统；100A、200A拍摄装置；100B、200B、300B、400B、500B图像生成装置；101多个照明器；101a、101b照明器；101ALED光源；101B遮光板；101C针孔；101D准直透镜；101E光源；101F半球；101G近似点光源；101H平面；101J对焦点；本文档来自技高网...

【技术保护点】
一种图像生成装置，具备：多个照明器；具有载置对象物的表面的图像传感器；以及控制电路，其生成位于所述多个照明器与所述图像传感器之间的假想的焦面上的所述对象物的对焦图像，所述控制电路，(a)使用通过每当所述多个照明器依次照明所述对象物时由所述图像传感器进行的拍摄而得到的所述对象物的多个拍摄图像，生成预先确定的多个焦面的各焦面上的所述对象物的对焦图像，(b)提取显现在所生成的多个所述对焦图像中的所述对象物的至少一个截面的轮廓，(c)基于所述至少一个截面的轮廓，生成至少一个圆周，(d)生成球图像，所述球图像是具有所生成的所述至少一个圆周的各圆周的至少一个球的立体图像，(e)通过对所述球图像进行加工以使得表现出所述至少一个球的截面，从而生成合成图像，使所述合成图像显示于显示器。

【技术特征摘要】
2016.03.18 JP 2016-056249;2016.11.04 JP 2016-216721.一种图像生成装置，具备：多个照明器；具有载置对象物的表面的图像传感器；以及控制电路，其生成位于所述多个照明器与所述图像传感器之间的假想的焦面上的所述对象物的对焦图像，所述控制电路，(a)使用通过每当所述多个照明器依次照明所述对象物时由所述图像传感器进行的拍摄而得到的所述对象物的多个拍摄图像，生成预先确定的多个焦面的各焦面上的所述对象物的对焦图像，(b)提取显现在所生成的多个所述对焦图像中的所述对象物的至少一个截面的轮廓，(c)基于所述至少一个截面的轮廓，生成至少一个圆周，(d)生成球图像，所述球图像是具有所生成的所述至少一个圆周的各圆周的至少一个球的立体图像，(e)通过对所述球图像进行加工以使得表现出所述至少一个球的截面，从而生成合成图像，使所述合成图像显示于显示器。2.根据权利要求1所述的图像生成装置，在所述(b)中，所述控制电路从显现在所生成的多个所述对焦图像的各对焦图像中的所述对象物的截面的轮廓中，提取在多个所述对焦图像的各对焦图像中位于相同位置且尺寸以及形状相同的多个轮廓，在所述(c)中，所述控制电路基于所提取出的所述多个轮廓中的具有最大边缘强度的轮廓来生成圆周。3.根据权利要求2所述的图像生成装置，在所述(c)中，所述控制电路生成与具有所述最大边缘强度的轮廓内接或外接的圆周。4.根据权利要求3所述的图像生成装置，在所述(d)中，所述控制电路生成包含如下球的立体图像的所述球图像，所述球与所生成的所述圆周具有相同的中心以及半径。5.根据权利要求1～4中任一项所述的图像生成装置，在所述(d)中，所述控制电路生成球面互不相交的多个球的立体图像来作为所述球图像。6.根据权利要求1～4中任一项所述的图像生成装置，所述对象物是胚，所述至少一个球包括外球和至少一个内球，所述外球体现胚的外形，所述至少一个内球内含于所述外球且分别体现细胞的外形。7.根据权利要求1～4中任一项所述的图像生成装置，所述控制电路进一步，(f)根据使用者的操作，使正在显示的所述合成图像中的所述截面的位置在所述显示器上变更，(g)根据来自使用者的请求，使用所述多个拍摄图像生成与正显示在显示器上的所述截面对应的焦面上的所述对象物的对焦图像，使该对焦图像显示于显示器。8.一种图像生成方法，生成位于多个照明器与载置对象物的图像传感器之间的假想的焦面上的所述对象物的对焦图像，所述图像生成方法包括：(a)使用通过每当所述多个照明器依次照明所述对象物时由所述图像传感器进行的拍摄而得到的所述对象物的多个拍摄图像，生成预先确定的多个焦面的各焦面上的所述对象物的对焦图像，(b)提取显现在所生成的多个所述对焦图像中的所述对象物的至少一个截面的轮廓，(c)基于所述至少一个截面的轮廓，生成至少一个圆周，(d)生成球图像，所述球图像是具有所生成的所述至少一个圆周的各圆周的至少一个球的立体图像，(e)通过对所述球图像进行加工以使得表现出所述至少一个球的截面，从而生成合成图像，使所述合成图像显示于显示器。9.根据权利要求8所述的图像生成方法，在所述(b)中，从显现在所生成的多个所述对焦图像的各对焦图像中的...

【专利技术属性】
技术研发人员：加藤弓子，佐藤太一，泽田好秀，
申请(专利权)人：松下知识产权经营株式会社，
类型：发明
国别省市：日本,JP