当前位置: 首页 > 专利查询>ESSENLIX公司专利>正文

使用智能监测结构的基于图像的测定制造技术

技术编号:29600356 阅读:12 留言:0更新日期:2021-08-06 20:04
本发明专利技术涉及使用智能监测结构和机器学习等来校正仪器、操作等中的误差。

【技术实现步骤摘要】
【国外来华专利技术】使用智能监测结构的基于图像的测定相关申请的交叉引用本申请要求于2018年8月16日提交的美国临时专利申请第62/719,129号和于2018年8月16日提交的美国临时专利申请第62/764,886号的优先权权益,其内容通过引用整体并入本文。本文提及的任何出版物或专利文献的全部公开内容通过引用整体并入。
其中,本专利技术涉及执行生物和化学测定、计算成像、人工智能和机器学习的装置和方法。
技术介绍
在生物和化学测定(包括全血细胞计数)中,准确度是必要的。然而,在使用低成本仪器和资源有限的条件下,仪器和操作的误差是不可避免的。本专利技术尤其提供了用于改善样品中基于图像的生物/化学测定的准确度的装置和方法。
技术实现思路
以下简要概述并不旨在包括本专利技术的所有特征和方面。本专利技术的一个方面是一种使用具有特别设计的监测结构的样品保持装置改善基于成像的测定的方法,所述监测结构用于测定准确度、效率、误差检测、监测或其任何组合。本专利技术的另一方面是一种微选择性图像测定(MSIA)的方法,其可以对由成像器拍摄的样品的单个图像执行多个测定应用。本专利技术的另一方面是一种从用于测定的样品的图像中检测监测结构并定位它们的中心的方法,其中该方法使用与多个监测结构相关联的预定结构特性将机器学习与误差校正相结合。本专利技术的另一方面是在基于图像的测定中估计真实横向尺寸(TLD)的方法,由此可以确定样品图像中分析物的实际尺寸或形态特征。本专利技术的另一方面是一种确定样品图像中感兴趣区域的实际面积和相关样品体积的方法,通过该方法可以对任何选定的子区域进行基于图像的测定以获得灵活性和粒度。本专利技术的另一方面是一种在基于图像的测定中从样品保持装置中的监测结构的图像监测样品保持装置的质量和样品制备的质量的方法。本专利技术的另一方面是一种在样品保持装置中使用预先设计的监测结构来调节成像器在基于图像的测定中的操作的方法。本专利技术的另一方面是一种在基于图像的测定中从由成像器拍摄的样品的图像中去除缺陷或异物(例如气泡、灰尘等)的方法。本专利技术的另一方面是一种使用智能监测结构构建用于基于图像的测定的机器学习模型的方法,其中描述了基于样品的原始图像和基于变换的样品图像的两种方法。本专利技术的另一方面是使用在此描述的方法和算法在全血细胞计数(CBC)中基于图像测定红细胞的实际使用情况。一种使用设备改善基于成像的测定的方法,包含:(a)具有样品保持器,该样品保持器包括彼此面对的第一板和第二板以及在一个或两个板的样品接触表面上的多个监测结构,其中这些监测结构具有几何形状和/或光学特性的至少一个预先设计的和预定的参数,其中该样品接触表面接触样品;(b)将含有或疑似含有分析物的样品夹在两个板的相应样品接触表面之间以形成200um厚或更薄的薄层,其中将样品接触表面上的样品混合并与试剂反应,并且其中夹入、混合或反应易受误差影响;(c)使用成像器将样品和样品接触区域上的监测结构一起成像,其中成像器在成像中易受缺陷影响,并且其中成像操作易受误差影响;以及(d)使用算法分析步骤(c)中拍摄的图像,以检测与所述分析物相关的参数,其中所述分析包含将所述图像与所述至少一个预先设计的且预定的参数进行比较,以及使用所述至少一个预先设计的且预定的参数检测和/或校正所述缺陷和误差。附图说明本领域技术人员将理解,下面描述的附图仅用于说明的目的。附图不旨在以任何方式限制本教导的范围。附图不是完全按比例绘制的。在给出实验数据点的图中,连接数据点的线仅用于引导观察数据,而没有其它意义。图1A和图1B示出了用于基于成像的测定的装置的侧视图。图1A示出了具有突出型监测标记的固相表面。图1B示出了具有沟槽型监测标记的固相表面。在算法中,可以使用与监测标记相对应的特性(例如,间距和距离)来确定样品中的分析物的性质。图2A和图2B示出了用于基于成像的测定的装置的侧视图。图2A示出了监测标记(例如,突出型)如何可以是与间隔件分离的结构。图2B示出了监测标记如何可以是与间隔件相同的结构。在算法中,可以使用对应于监测标记的特性来确定样品中的分析物的性质。图2C示出用于基于图像的测定的装置的侧视图。图2C示出了监测标记(例如,沟槽型)如何可以是与间隔件分离的结构。在算法中,可以使用对应于监测标记的特性来确定样品中的分析物的性质。图2D和图2E示出了用于基于图像的测定的装置的侧视图。图2D和图2E示出了监测标记如何可以是与间隔件分离的结构并设置在装置的两个样品接触区域上。在算法中,可以使用对应于监测标记的特性来确定样品中的分析物的性质。图5是用于使用监测标记(例如,柱)以及成像过程和/或机器学习的算法的示例性图和工作流程。图6-A示出了根据本专利技术的一些实施例的分析物检测和定位工作流程,其包括两个阶段,训练和预测。图6-B示出了根据本专利技术的一些实施例的从有序列表中去除一个项目的过程。图7-A示出了在基于图像的测定中使用的QMAX卡的实施例。图8示出了使用QMAX卡的样品保持装置的基于图像的测定的流程图。图9示出了在基于图像的测定中基于柱或监测标记的TLD/FoV估计的流程图。图10示出了训练用于柱或监测标记检测的机器学习模型的流程图。图11示出了为基于图像变换的机器学习模型生成训练数据库的流程图。图12示出了训练用于基于图像变换的柱或监测标记检测的图像变换模型的流程图。图13是在样品保持装置中具有柱的基于图像的测定的样品图像。图14示出了在用于柱或监测标记检测的变换图像中检测到的柱。图15示出了用于测定的样品中的气泡和灰尘的缺陷。图16是在使用成像器的基于图像的测定中具有柱或监测标记的QMAX卡的样品保持装置的三侧视图。图17是具有大气泡的样品的图像。图18示出了在样品的图像中检测到的柱。图19是光强度曲线相对于位置的曲线图。示例性实施例的详细说明以下详细描述通过示例而非限制的方式示出了本专利技术的一些实施例。本文使用的章节标题和副标题仅用于组织目的,而不应被解释为以任何方式限制所描述的主题。章节标题和/或字幕下的内容不限于章节标题和/或字幕,而是适用于本专利技术的整个描述。任何出版物的引用是由于其公开早于申请日,不应被解读为承认本专利技术的权利要求因在先专利技术而无权先于这些出版物。此外,所提供的公开日期可以不同于实际的公开日期,实际的公开日期可能需要被独立地确认。在用于测定样品中的分析物的基于图像的测定中,成像器用于创建在样品保持器中的样品的图像,并且所述图像用于确定所述分析物或所述样品的性质以用于测定。然而,许多因子可能使图像失真(即,不同于真实样品或在非理想条件下的图像)。图像失真可导致分析物性质的确定不准确。例如,一个事实是聚焦不良,因为生物样品本身不具有在聚焦中优选的尖锐边缘。当聚焦差时,对象尺寸将不同于真实对象尺寸,并且其本文档来自技高网...

【技术保护点】
1.利用图像处理和机器学习进行

【技术特征摘要】
【国外来华专利技术】20180816 US 62/719,129;20180816 US 62/764,886;20181.利用图像处理和机器学习进行移动测定(利用QMAX卡)的方法和装置的示例-浓度估计(CBC)、分割等。
AA-1.一种用于校正含有薄层样品的图像系统的系统误差的方法,所述方法包含:
由图像系统的处理装置接收图像和与包含样品和监测标准的样品卡相关联的第一参数;
由所述处理装置使用第一机器学习模型,通过将所述第一参数与第二参数进行比较来确定所述图像系统的系统误差,所述第二参数与在所述样品卡的制造期间确定的所述监测标准相关联;
考虑所述系统误差,由处理装置校正样品卡的图像;以及
由所述处理装置使用所述经校正的图像来确定所述样品的生物特性。
AA-2.如示例AA-1所述的方法,其中所述监测标准包含所述样品卡的板上的多个纳米结构,并且其中所述样品沉积在所述板上。
AA-3.如示例AA-1所述的方法,其中所述样品是从动物收集的生物样品。
利用柱和使用标记(柱)从Q卡的成像进行图像校正的TLD(FoV)估计的示例
BA-1.一种智能测定监测方法,包含:
由处理装置接收对沉积在样品卡中的生物样品的第一信息和多个监测标记的第二信息进行编码的图像;
由所述处理装置对图像执行第一机器学习模型来确定与多个监测标记相关联的几何特征的测量;
由所述处理装置确定几何特征的测量与样品卡提供的几何特征的基准真值之间的变化;
由所述处理装置基于所述变化校正对所述第一信息和所述第二信息进行编码的图像;以及
由所述处理装置使用所述经校正的图像来确定所述生物样品的生物特性。
BA-2.如示例BA-1所述的方法,其中所述样品卡包含第一板、基本上垂直于所述第一板的表面集成的多个柱,和能够包围所述第一板以形成其中沉积所述生物样品的薄层的第二板。
BA-3.如示例BA-2所述的方法,其中多个监测标记对应于多个柱。
BA-4.如示例BA-3所述的方法,其中所述多个柱中的至少两个由真实横向尺寸(TLD)分开,并且其中由所述处理装置对图像执行第一机器学习模型来确定与多个监测标记相关联的几何特征的测量,包含由所述处理装置对所述图像执行所述第一机器学习模型来确定所述TLD。
BB-1.一种图像系统,包含:
样品卡,包含第一板、基本上垂直于所述第一板的表面集成的多个柱,和能够包围所述第一板以形成其中沉积所述生物样品的薄层的第二板;
计算装置,包含:
处理装置,通信地耦合到光学传感器,以:
从所述光学传感器接收对沉积在所述样品卡中的生物样品的第一信息和多个监测标记的第二信息进行编码的图像;
使用所述图像上的第一机器学习模型来确定与所述多个监测标记相关联的几何特征的测量;
确定几何特征的测量与样品卡提供的几何特征的基准真值之间的变化;
基于所述变化校正对所述第一信息和所述第二信息进行编码的图像;以及
基于所述经校正的图像确定所述生物样品的生物特性。
用于测定中卡闭合不当检测的柱上对象的检测示例
CA-1.一种用于校正记录在薄层样品的测定图像中的人工操作误差的方法,所述方法包含:
由图像系统的处理装置接收包含样品和监测标准的样品卡的图像,其中所述监测标准包含集成在所述样品卡的第一板上的多个纳米结构,并且其中所述样品以所述样品卡的开放构造沉积在所述第一板上,并且以所述样品卡的闭合构造由所述样品卡的第二板包围;
由所述处理装置将图像分割成对应于样品的第一子区域和对应于多个纳米结构的第二子区域;
由所述处理装置将所述第二子区域与在所述样品的制造期间提供的所述监测标准进行比较,以确定所述第二子区域中的至少一个是否包含除所述纳米结构之外的异物;
响应于确定所述第二子区域中的至少一个含有除所述纳米结构之外的异物,确定与操作所述样品卡相关联的误差;以及
通过从所述图像中去除所述至少一个子区域来校正所述样品卡的图像。
CA-2.如示例CA-1所述的方法,其中所述异物是所述样品的一部分、气泡或杂质中的一种。
在测定中缺陷(例如气泡、灰尘等)和辅助结构(例如柱)去除的示例
DA-1.一种用于测量薄层样品卡中的样品的体积的方法,所述方法包含:
由图像系统的处理装置接收包含样品和监测标准的样品卡的图像,其中所述监测标准包含与所述样品的第一板垂直集成的多个柱,并且所述多个柱中的每一个具有基本相同的高度(H);
由所述处理装置使用机器学习模型确定多个非样品子区域,其中多个非样品子区域对应于柱、气泡或杂质元素中的至少一个;
由所述处理装置通过从图像中去除多个非样品子区域来计算样品所占据的面积;
由所述处理装置基于所述计算的面积和高度(H)计算所述样品的体积,以及
由所述处理装置基于所述体积确定所述样品的生物特性。
用于确定测定结果的可信性的ESX-105可信性(1028_03)的示例
a.组合基于ML的边界框检测和基于图像处理的形状确定的形状分割
b.测定中分析物检测的均匀性(基于IQR的异常值检测)
c.使用ML的聚集分析物检测
d.使用ML的卡上干燥纹理检测
e.使用ML的灰尘、油等缺陷检测
f.使用ML的气泡检测
EA-1.一种用于确定与图像测定结果相关联的可信性测量的方法,所述方法包含:
由图像系统的处理装置接收包含样品和监测标准的样品卡的图像,所述监测标准包含集成到所述样品的第一板的多个纳米结构;
由所述处理装置将图像分割成对应于样品的第一子区域和对应于多个纳米结构的第二子区域;
由所述处理装置使用第一机器学习模型来确定所述第一子区域或所述第二子区域中的至少一个中的非顺应性元素;
由所述处理装置基于所述第一子区域和所述第二子区域确定所述样品的生物特性;
由所述处理装置基于对所述非顺应性元素的统计分析来计算与所述生物特性相关联的可信性测量;以及
由所述处理装置基于所述可信性测量来确定对所述样品的进一步动作。
EA-2.由示例EA-1所述的方法,进一步包含:
由所述处理装置基于所述可信性测量来确定所述生物特性是可靠的;以及
由所述处理装置向显示装置提供所述生物特性。
EA-3.由示例EA-1所述的方法,进一步包含:
由所述处理装置基于所述可信性测量来确定所述生物特性不太可靠;以及
由所述处理装置将所述生物特性和对应的可信性测量提供给显示装置,以允许用户确定是接受还是丢弃生物特性。
EA-4.如示例EA-1所述的方法,其中由所述处理装置将图像分割成对应于所述样品的第一子区域和对应于所述多个纳米结构的第二子区域:
由所述处理装置使用图像处理方法对图像执行第一图像分割以产生第一分割结果;
由所述处理装置使用第二机器学习模型对图像执行第二图像分割以产生第二分割结果;以及
由所述处理装置组合所述第一分割结果和所述第二分割结果以将图像分割成对应于所述样品的所述第一子区域和对应于所述多个纳米结构的所述第二子区域。
EA-5.如示例EA-1所述的方法,其中由所述处理装置使用第一机器学习模型来确定所述第一子区域或所述第二子区域中的至少一个中的非顺应性元素包含:以下中的至少一个
由所述处理装置基于所述样品中至少一种分析物的分布不均匀性来确定所述非顺应性元素;
由所述处理装置基于对所述样品的聚集分析物检测来确定所述非顺应性元素;
由所述处理装置基于对所述样品中的干纹理检测来确定所述非顺应性元素;
由所述处理装置基于对所述样品中的杂质检测来确定非顺应性元素;或
由所述处理装置基于对所述样品中的气泡检测来确定非顺应性元素。
使用基于分割的内容对单卡进行多分割测试的示例
FA-1.一种用于使用单样品卡来确定多种分析物的测量的方法,所述方法包含:
由图像系统的处理装置接收包含样品和监测标准的样品卡的图像,其中所述监测标准包含集成到所述样品的第一板的多个纳米结构;
由所述处理装置使用第一机器学习模型将所述图像分割成与包含在所述样品中的第一分析物相关联的第一子区域、与包含在所述样品中的第二分析物相关联的第二区域和对应于所述多个纳米结构的第三子区域;
由所述处理装置基于对应于所述多个纳米结构的所述第三子区域确定两个相邻纳米结构之间的真实横向距离(TLD);
由所述处理装置基于所述TLD确定所述第一子区域的第一累积面积,并进一步基于所述第一累积面积和与所述多个纳米结构相关联的高度确定第一体积;
由所述处理装置基于所述TLD确定所述子区的第二累积面积,并进一步基于所述第二累积面积和与所述多个纳米结构相关的高度确定第二体积;
由所述处理装置基于所述第一体积中的所述第一分析物的计数确定所述第一分析物的第一测量;以及
由所述处理装置基于所述第二体积中的所述第二分析物的计数来确定所述第二分析物的第二测量。
柱式分光光度计系统及设备的示例
GA-1.一种用于测量样品卡中提供的样品的生物特性的方法,所述样品卡包括多个纳米柱,所述方法包含:
由图像系统的处理装置接收包含样品和监测标准的样品卡的图像,所述监测标准包含集成到所述样品的第一板的多个纳米结构;
由所述处理装置将图像分割成与所述样品对应的第一子区域和与所述多个纳米柱对应的第二子区域;
由所述处理装置确定所述第一子区域的第一分光光度测量;
由所述处理装置确定所述第二子区域的第二分光光度测量;以及
由所述处理装置基于所述第一分光光度测量与第二分光光度测量之间的比例来确定所述样品的生物特性。
用于标记大量小和重复对象的示例
HA-1.一种用于标记图像中的多个对象以准备训练数据的方法,所述方法包含:
由处理装置接收图形用户界面中的图像;
由所述处理装置通过所述图形用户界面接收对图像中的位置的选择;
由所述处理装置基于所述位置局部的多个像素计算所述位置周围的边界框;
由所述处理装置提供叠加在图形用户界面中的图像上的边界框的显示;以及
响应于接收到用户确认,将边界框内的区域标记为训练数据。
IA-1.一种用于制备测定图像的方法,所述方法包含:
提供包含多个标记元素的样品卡;
将样品沉积在处于开放构造的所述样品卡的第一板上;
闭合所述样品卡以将所述样品卡的第二板按压所述第一板压至闭合构造,其中在所述闭合构造中所述第一板和所述第二板形成包含所述样品和所述多个标记元素的基本上均匀的厚度的薄层;以及
提供包含处理装置和存储指令的非瞬态存储介质的图像系统,当由所述处理装置执行所述指令时,用于:
捕获样品卡的图像,其包含基本上均匀厚度的样品和多个标记元素;
检测所述图像中的所述多个标记元素;
将所述检测到的多个标记元素与关联于所述样品卡的监测标准进行比较,以确定所述多个标记元素与所述监测标准之间的几何映射;
基于所述几何映射确定所述图像系统的非理想因子;以及
处理所述样品卡的所述图像以校正所述非理想因子。
IB-1.一种用于制备测定图像的方法,所述方法包含:
提供包含多个标记元素的样品卡;
将样品沉积在处于开放构造的所述样品卡的第一板上;
闭合所述样品卡以将所述样品卡的第二板按压所述第一板压至闭合构造,其中在所述闭合构造中所述第一板和所述第二板形成包含所述样品和所述多个标记元素的基本上均匀的厚度的...

【专利技术属性】
技术研发人员:斯蒂芬·Y·周丁惟周芜田军张越成吴明权李星
申请(专利权)人:ESSENLIX公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1