微流体装置中的微物体的自动检测和重新定位制造方法及图纸

提供了用于微流体装置中的微物体的自动检测和/或计数的方法。此外，提供了用于在微流体装置中对微物体重新定位的方法。此外，提供了用于在微流体装置的空间区域中分离微物体的方法。

Automatic Detection and Relocation of Microobjects in Microfluidic Devices

【技术实现步骤摘要】
【国外来华专利技术】微流体装置中的微物体的自动检测和重新定位相关申请本申请基于35U.S.C.§119(e)要求2016年12月1日提交的美国临时申请62/429,066、以及2017年11月1日提交的美国临时申请62/579,897的权益，各自的公开内容通过引用并入本文。
本公开总体上涉及用于检测图像中的微物体的自动化方法。特别地，所述方法可以包括用于自动地检测位于微流体装置内的诸如细胞或珠(beads)的图像微物体的步骤。
技术介绍
在非均匀或复杂背景上的诸如生物细胞或珠的微物体的高效且稳健的检测对于微流体环境中的微物体的自动操纵是至关重要的。由于某些微物体的半透明外观，具有与这种微物体相似尺寸的特征的非均匀背景严重地影响了检测。类似地，通过OET技术的特定特征，诸如重新定位细胞的自动操纵是复杂的。本专利技术的一些实施方式涉及微物体的鲁棒检测和微流体环境中的重新定位。
技术实现思路
在一个方面，提供了用于自动检测图像中的微物体的方法。所述方法可以包括：针对对应的多个微物体特性，从所述图像生成多个像素掩模；以及从所述多个像素掩模中的至少一个像素掩模识别所述图像中的微物体。所述方法可还包含获得所述图像中的所识别微物体的计数。生成多个像素掩模可以包括使用诸如卷积神经网络的机器学习算法来处理来自图像的像素数据。每个像素掩模包括一组像素注释，并且该一组像素注释中的每个像素注释表示图像中的对应像素表示对应的微物体特性的概率。在另一方面，提供了一种机器可读存储设备。存储装置可存储非暂时性机器可读指令，并且指令的执行可以使计算设备：在存储器中存储能够包括一个或多个微物体的图像；在第一模块中针对对应的多个微物体特性从所述图像生成多个像素掩模；以及在第二模块中从所述多个像素掩模中的至少一个像素掩模获得微物体计数。可根据本文中公开的方法中的任一者执行产生及获得的步骤。第一模块和第二模块可以彼此相同(即，存在单个模块)，或者它们可以是单独的、不同的模块。在另一方面，提供了在包括多个隔离坞的微流体装置中对微物体重新定位的方法。所述方法可以包括：识别设置在所述微流体装置内的一组微物体；计算一个或多个轨迹，其中每个轨迹是将所述一组微物体中的一个微物体与所述多个隔离坞中的一个隔离坞连接的路径；针对所述一组微物体中的一个或多个微物体，选择所述一个或多个轨迹中的轨迹；以及通过沿着其选定轨迹移动所述微物体而重新定位具有选定轨迹的所述一或多个微物体中的至少一个微物体。识别设置在微流体装置中的一组微物体的步骤可以通过本文公开的任何方法来执行。在又一方面，提供了在微流体装置中对微物体重新定位的方法。所述方法可以包括：识别设置在所述微流体装置的指定空间区域内的一组微物体；计算将所述指定的空间区域划分成子区域的一组顶点，每个子区域包含所述一组微物体中的一个或多个微物体；基于所计算的一组顶点为所述一组微物体中的至少一个微物体生成第一光笼；以及相对于所述微流体装置的所述指定空间区域移动所述第一光笼，以对所述至少一个微物体重新定位。识别设置在微流体装置中的一组微物体的步骤可以通过本文公开的任何方法来执行。从下面的详细描述以及所附权利要求和附图中，其他的方面将会变得明显。附图说明图1A示出了根据本公开的一些实施方式的与微流体装置和相关联的控制设备一起使用的系统的示例。图1B和图1C示出了根据本公开的一些实施方式的微流体装置。图2A和图2B示出了根据本公开的一些实施方式的隔离坞。图2C示出了根据本公开的一些实施方式的详细的隔离坞。图2D～图2F示出了根据本公开的一些其他实施方式的隔离坞。图2G示出了根据本公开的实施方式的微流体装置。图2H示出了根据本公开的实施方式的微流体装置的包衣表面。图3A示出了根据本公开的一些实施方式的与微流体装置和相关联的控制设备一起使用的系统的具体示例。图3B示出了根据本公开的一些实施方式的成像设备。根据本专利技术的一个实施方式，图4A、图4B和图4C并行地描绘了微物体的围栏。图5示出了根据各种实施方式的计算机系统的框图。图6A～图6F示出了根据本专利技术的具体实施方式的可用于分离微物体的改进的光笼的生成。图7示出了根据各种实施方式的卷积神经网络的示意图。图8A～图8C说明根据各种实施方式的残差网络、下采样块和上采样块的示意图。图9A～图9D示出了根据各种实施方式的卷积神经网络的更详细示意图的部分。图10示出了根据各种实施方式的用于自动检测图像中的微物体的方法的流程图。图11示出了根据各种实施方式的用于自动检测图像中的微物体的系统。具体实施方式本说明书描述了本公开的示例性实施方式和应用。然而，本公开不限于这些示例性实施方式和应用，也不限于示例性实施方式和应用在本文中操作或被描述的方式。此外，附图可以示出简化或局部视图，并且附图中的要素的尺寸可能被夸大或者不成比例。另外，由于本文使用术语“在......上”、“附接到”、“连接到”、“耦合到”或类似的词，一个要素(例如，材料、层、衬底等)可以“在另一要素上”、“附接到另一要素”、“连接到另一要素”或“耦合到另一要素”，而不论该一个要素是直接在该另一要素上、附接到该另一要素、连接到该另一要素或耦合到该另一要素，还是在该一个要素和该另一元素之间有一个或多个间隔要素。另外，除非上下文另有规定，否则方向(例如，在...上、在...下、顶部、底部、侧面、上、下、正下、正上、上方、下方、水平、垂直、“x”、“y”、“z”等)，如果提供的话，仅通过示例的方式并且为了便于说明和讨论而不是以限制的方式提供。在提及要素列表(例如，要素a、b、c)的情况下，这样的提及旨在包括所列要素本身中的任何一个、少于所有列出的要素的任何组合和/或所有列出的要素的组合。说明书中的章节划分仅为了便于审查，并不限制所描述要素的任何组合。在微流体特征的尺寸被描述为具有宽度或面积的情况下，尺寸通常是相对于x轴和/或y轴尺寸来描述的，两者都位于平行于微流体装置的衬底和/或盖的平面内。微流体特征的高度可相对于z轴方向来描述，z轴方向垂直于平行于微流体装置的衬底和/或盖的平面。在一些情况下，微流体特征、诸如通道或过道的横截面积可参考x轴/z轴，y轴/z轴或x轴/y轴面积。如本文所使用的，“基本上”意味着足以用于预期目的的装置。因此术语“基本上”允许由绝对或完美状态、尺寸、测量、结果等的微小、不明显的变化，诸如本领域普通技术人员预期的但不明显地影响总体性能。当与数值或者可以表示为数值的参数或特性相关地使用时，“基本上”表示在百分之十内。术语“多个”意味着不止一个。如本文所使用的，术语“多个”可以是2、3、4、5、6、7、8、9、10或更多。如本文所使用的：μm是指微米，μm3是指立方微米，pL是指皮升，nL是指纳升，而μL(或uL)是指微升。如本文所使用的，术语“置于”在其含义内包括“位于”如本文所使用的，“微流体装置”或“微流体设备”是包括被配置为保持流体的一个或多个离散微流体管路的装置，每个微流体管路包括流体上互连的管路元件，包括但不限于一个或多个区域、一个或多个流动路径、一个或多个通道、一个或多个腔室和/或坞，以及被配置为允许流体(并且可选地，悬浮在流体中的微物体)流入和/或流出微流体装置的至少一个端口。通常微流体装置的微流体管路将包括流动区域，该本文档来自技高网...

【技术保护点】
1.一种用于对图像中的微物体进行自动检测的方法，所述方法包括：针对对应的多个微物体特性从所述图像生成多个像素掩模，其中生成所述多个像素掩模包括使用机器学习算法处理来自所述图像的像素数据，并且其中每个像素掩模包括一组像素注释，所述一组像素注释中的每个像素注释表示所述图像中的对应像素表示对应的微物体特性的概率；以及从所述多个像素掩模中的至少一个像素掩模获得微物体计数。

【技术特征摘要】
【国外来华专利技术】2016.12.01 US 62/429,071;2017.11.01 US 62/579,8971.一种用于对图像中的微物体进行自动检测的方法，所述方法包括：针对对应的多个微物体特性从所述图像生成多个像素掩模，其中生成所述多个像素掩模包括使用机器学习算法处理来自所述图像的像素数据，并且其中每个像素掩模包括一组像素注释，所述一组像素注释中的每个像素注释表示所述图像中的对应像素表示对应的微物体特性的概率；以及从所述多个像素掩模中的至少一个像素掩模获得微物体计数。2.根据权利要求1所述的方法，其中所述多个微物体特性包括至少三个微物体特性。3.根据权利要求1所述的方法，其中所述多个微物体特性至少包括：(i)微物体中心；(ii)微物体边缘；以及(iii)非微物体。4.根据权利要求3所述的方法，其中获得微物体计数包括从对应于所述微物体中心特性的所述像素掩模或包含对应于所述微物体中心特性的所述像素掩模的像素掩模的组合获得微物体计数。5.根据权利要求1所述的方法，其中所述机器学习算法包括神经网络。6.根据权利要求5所述的方法，其中所述神经网络包括多个下采样块，每个下采样块包括第一下采样卷积层、第一批量归一化层和包括门函数的第一ELU层，并且其中所述第一下采样卷积层中的每一个降低其接收的图像数据的空间分辨率。7.根据权利要求6所述的方法，其中所述下采样块中的一个或多个由所述第一下采样卷积层、所述第一批量归一化层和所述第一ELU层组成，其中所述第一ELU层直接从所述第一批量归一化层接收图像数据，并且其中所述第一批量归一化层直接从所述第一下采样卷积层接收图像数据。8.根据权利要求7所述的方法，其中每个下采样卷积层将接收的图像数据的空间分辨率降低到二分之一。9.根据权利要求7所述的方法，其中所述第一下采样卷积层中的每一个包括5×5卷积滤波器。10.根据权利要求6所述的方法，其特征在于，所述多个下采样块中的一个或多个下采样块之后是具有分支结构的残差网络块。11.根据权利要求10所述的方法，其中所述残差网络块的所述分支结构包括第一分支和第二分支，且其中所述第一分支以比所述第二分支小的程度处理从先前下采样块接收的图像数据。12.根据权利要求11所述的方法，其特征在于，所述残差网络块的所述第一分支包括第二卷积层、第二批量归一化层和包括门函数的第二ELU层。13.根据权利要求12所述的方法，其中所述第二卷积层包括1×1卷积滤波器。14.根据权利要求11所述的方法，其中，所述残差网络块的所述第二分支包括两个或更多个处理单元，其中，每个处理单元包括卷积层和批量归一化层。15.根据权利要求14所述的方法，其特征在于，所述残差网络块的所述第二分支包括第三卷积层、第三批量归一化层、包括门函数的第三ELU层、第四卷积层和第四批量归一化层，其中所述第四批量归一化层直接从所述第四卷积层接收图像数据，其中所述第四卷积层直接从所述第三ELU层接收图像数据，其中所述第三ELU层直接从所述第三批量归一化层接收图像数据，并且其中所述第三批量归一化层直接从所述第三卷积层接收图像数据。16.根据权利要求15所述的方法，其中所述第三卷积层包括3×3卷积滤波器。17.根据权利要求15所述的方法，其中所述第四卷积层包括3×3卷积滤波器。18.根据权利要求11所述的方法，其中来自所述残差网络块的所述第一分支和和来自所述残差网络块的所述第二分支的图像数据被重新组合并传送到包括门函数的第四ELU层。19.根据权利要求5所述的方法，其中所述神经网络包括第一下采样块、第一残差网络块、第二下采样块、第二残差网络块、第三下采样块和第三残差网络块。20.根据权利要求19所述的方法，其中所述第一下采样块和所述第一残差网络块各自包括32个通道和为所述图像的空间分辨率的一半的空间分辨率。21.根据权利要求19所述的方法，其中所述第二下采样块和所述第二残差网络块各自包括64个通道和为所述图像的分辨率的四分之一的空间分辨率。22.根据权利要求19所述的方法，其中所述第三下采样块和所述第三残差网络块各自包括128个通道和为所述图像的分辨率的八分之一的空间分辨率。23.根据权利要求6所述的方法，其中所述神经网络包括用于所述多个下采样块中的每个下采样块的上采样块，每个上采样块包括转置卷积层、上采样批量归一化层和包括门函数的上采样ELU层，并且其中每个上采样块的转置卷积层增加其接收的图像数据的空间分辨率。24.根据权利要求23所述的方法，其中一个或多个上采样块中的每一个包括重组层，在所述重组层中来自所述上采样批量归一化层的图像数据与来自先前残差网络块的图像数据合并。25.根据权利要求23所述的方法，其中所述一个或多个上采样块中的每一个由所述转置卷积层、所述上采样批量归一化层、重组层和所述上采样ELU层组成，其中，所述上采样ELU层直接从所述重组层接收图像数据，并且其中所述上采样批量归一化层直接从所述重构转置层接收图像数据。26.根据权利要求23所述的方法，其中每个转置卷积层将接收的图像数据的空间分辨率增加2倍。27.根据权利要求24所述的方法，其中当所述神经网络具有n个下采样块和n个残差网络块时，所述网络具有包括重组层的n-1个上采样块。28.根据权利要求24所述的方法，其中所述神经网络包括：具有从第二残差网络块接收图像数据的重组层的第一上采样块、具有从第一残差网络块接收图像数据的重组层的第二上采样块、以及不包括重组层的第三上采样块。29.根据权利要求28所述的方法，其中所述第一上采样块包括64个通道且输出具有为所述图像的空间分辨率的四分之一的空间分辨率的图像数据。30.根据权利要求28所述的方法，其中所述第二上采样块包括32个通道且输出具有为所述图像的空间分辨率的一半的空间分辨率的图像数据。31.根据权利要求28所述的方法，其中所述第三上采样块包括3个通道且输出具有与所述图像的所述分辨率相同的空间分辨率的图像数据。32.根据权利要求1所述的方法，还包括在生成所述多个像素掩模之前对所述图像进行预处理。33.根据权利要求32所述的方法，其中所述微物体在微流体装置内成像，且其中所述预处理包括减去在成像期间由所述微流体装置的至少一个组件产生的重复图案。34.根据权利要求33所述的方法，其中所述预处理包括对所述图像应用傅里叶变换以识别所述重复图案。35.根据权利要求34所述的方法，其中所述微流体装置的所述至少一个组件是包括光电晶体管阵列的衬底表面。36.根据权利要求32所述的方法，其中预处理所述图像包括将所述图像翻转和/或旋转到期望取向中。37.根据权利要求32所述的方法，其中预处理所述图像包括使用多项式最佳拟合校正跨越所述图像调平亮度。38.根据权利要求32所述的方法，其中预处理所述图像包括校正在成像过程期间在所述图像中引起的失真。39.根据权利要求5所述的方法，还包括：使用包含微物体的一组训练图像来训练神经网络。40.根据权利要求1所述的方法，还包括：将在所述微物体计数中识别的所述微物体分类为多个微物体类型中的至少一个。41.根据权利要求1所述的方法，其中所述微物体是生物细胞。42.根据权利要求41的方法，其中所述生物细胞是免疫细胞、癌细胞、来自细胞株的细胞、卵母细胞、精子或胚胎。43.一种非暂时性计算机可读介质，其中存储用于使计算机执行用于自动检测图像中的微物体的方法的程序，所述方法包括：在存储器中存储可包括一个或多个微物体的图像；针对对应的多个微物体特性，从所述图像生成多个像素掩模；以及从所述多个像素掩模中的至少一个像素掩模获得微物体计数，其中产生和获得的步骤根据权利要求1～42或48～77中任一项来进行。44.根据权利要求43所述的方法，其中所述微物体是生物细胞。45.权利要求44的方法，其中所述生物细胞是免疫细胞、癌细胞、来自细胞株的细胞、卵母细胞、精子或胚胎。...

【专利技术属性】
技术研发人员：H·E·金，J·A·坦尼，J·F·斯洛克姆，
申请(专利权)人：伯克利之光生命科技公司，
类型：发明
国别省市：美国,US