带有对象检测的实验室自动化设备控制程序生成制造技术

本发明专利技术公开了带有对象检测的实验室自动化设备控制程序生成。一种生成实验室自动化设备的控制程序的方法包括：接收显示实验室助理的工作区域的视频数据，工作区域包含手持式移液器和用于接收液体的容器；在视频数据中检测容器的开口，并且确定开口的位置；在视频数据中检测手持式移液器的移液器尖端，并且确定尖端的移动；并根据移液器尖端相对于开口的位置的移动生成用于实验室自动化设备的控制程序，其中控制程序适于按照工作区域中的手持式移液器的移动相对于实验室自动化设备的容器来移动实验室自动化设备的带有机器人移液器的移液臂。移液臂。移液臂。

【技术实现步骤摘要】
带有对象检测的实验室自动化设备控制程序生成


[0001]本专利技术涉及一种用于生成实验室自动化设备的控制程序的方法、计算机程序和计算机可读介质，以及一种控制系统。

技术介绍

[0002]实验室自动化设备用于自动化实验室助理的任务，例如，对患者进行特定疾病的测试。通常，通过生化过程来采集并分析患者的血液、尿液、粪便等样本。这样的过程包括各种操作，如添加物质、孵育、分离等，以及定量或定性地测量指示特定疾病的物质的量或存在的测量过程。
[0003]通常，实验室自动化设备的编程是一项复杂的任务，需要特殊技能。用于控制实验室自动化设备的程序可能必须输入到控制PC中。尽管可能存在用于生成此类程序的图形工具，但是可能必须使用特定的脚本语言来实现更复杂的过程，这需要在编程和实验室自动化设备的功能方面具有特殊的知识。因此，实验室助理倾向于自己用少量样本来执行过程。
[0004]为了简化带有机械臂的实验室自动化设备的编程，已知在示教模式下手动移动机械臂，在该模式下，机械臂可以自由移动到任何位置，并且可以通过简单地按下按钮来设置示教点。然后保存机械臂在示教点处的位置，并将这些位置用于生成控制程序。
[0005]EP 2 269 077 B1涉及一种图形编程方法，其中实验室自动化设备的部分布局以图形界面显示。图形界面中的移液器可以移动，以定义实验室自动化设备的控制程序。
[0006]US 2006/0 085 162 A1描述了一种将由操作员携带的手持式样本转移工具开发的测定规程转移到机器人样本处理器的方法。基于电磁三角测量的位置检索被用于检测活动工具的实际位置。

技术实现思路

[0007]本专利技术的目的是简化实验室自动化设备的编程和/或控制。
[0008]该目的通过独立权利要求的主题来实现。根据从属权利要求和以下描述，其他示例性实施例是显而易见的。
[0009]本专利技术的第一方面涉及一种用于生成实验室自动化设备的控制程序的方法。该方法可以利用包括实验室自动化设备、其控制器和相机的系统来执行。
[0010]通常，实验室自动化设备可以是适于自动地执行实验室助理的任务的任何设备。至少这样的实验室自动化设备包括移液臂，该移液臂适于在不同位置之间移动机器人移液器并且适于在这些位置处抽吸和喷射液体。可以从容器提供的腔中抽吸液体以及将液体喷射进容器提供的腔中，这些容器可以位于实验室自动化设备的工作台上。这样的容器可以包括孔、样本管、微量滴定板和/或试剂容器等中的至少一个。
[0011]利用该方法，通过相机记录实验室助理的移动和/或操作，并且例如通过对象识别和对象跟踪来评估由相机生成的视频数据，以确定用于实验室自动化设备的控制程序的步骤。
[0012]根据本专利技术的实施例，该方法包括：接收显示实验室助理的工作区域的视频数据，该工作区域包含手持式移液器和用于提取和/或接收液体的容器。实验室助理可以使用手持式移液器和容器执行测定规程，该容器可以包含样本、液体和/或试剂。例如，容器可以包括孔、微量滴定板、试剂容器、样本管等中的至少一个。工作区域可能已经由实验室助理用一组容器组装而成，例如，容器可能已放置在桌子上。但是，工作区域也可以是实验室自动化设备的一部分，诸如实验室自动化设备的工作台和位于其上的容器。在这种情况下，移液臂可以被移动到不会干扰手持式移液器的移动的位置。
[0013]实验室助理的工作区域和移动可以通过相机记录，该相机的视野被定向到容器和/或手持式移液器。相机可以以可见光、紫外光和/或红外光操作。
[0014]视频数据，也可以看作是视频流和/或随时间推移的一系列图像，可以包括灰度或彩色像素数据，它们也可以可选地包括深度信息。例如，每个像素可以被提供有深度值，该深度值可以由TOF-(飞行时间)相机生成。但是，深度信息也能够以立体数据的形式提供，即，以由两个相机获取的两组视频数据的形式提供。
[0015]根据本专利技术的实施例，该方法进一步包括：在视频数据中检测容器的开口并且确定开口的位置；以及在视频数据中检测手持式移液器的移液器尖端并且确定尖端的移动。例如，可以基于其形状来检测开口，例如，在视频数据中相对于开口的环境而言，开口可以是较暗的圆圈，并且可以使用对象识别算法来检测这样的圆圈。也可以以这种方式，即基于其形状，来检测移液器尖端。移液器尖端也可以用特殊的颜色和/或图案来标记，这可以用于在视频数据中检测移液器尖端的位置。
[0016]容器可以被存放在作为工作区域的工作台上。容器也可以由实验室助理握在他的一只手中。
[0017]从视频数据中的开口和移液器尖端的位置，可以导出开口和/或移液器尖端的三维位置。当视频数据包含深度信息时，这可以被促进。取决于形状和/或光学标记，可以识别容器的类型和/或内容物。
[0018]移液器尖端的移动可以用沿着尖端跟随的轨迹的点被编码。通常，移液器尖端的移动可以用包含关于移液器尖端随时间推移的位置的信息的移动数据被编码。
[0019]根据本专利技术的实施例，该方法进一步包括：根据移液器尖端相对于开口的移动，生成用于实验室自动化设备的控制程序，其中该控制程序适于根据在工作区域中的手持式移液器的移动，相对于实验室自动化设备的容器移动实验室自动化设备的带有机器人移液器的移液臂。
[0020]总之，实验室助理可以执行不同的移液动作以及实验室器具的移动。手动执行的所有相关方面可用于生成控制程序，该控制程序可包括有关移液速度、位置和由实验室助理执行的动作之间的定时的信息。
[0021]可能会在由实验室助理移动手持式移液器的时间期间，生成和/或执行控制程序。换句话说，控制程序可以与手持式移液器的移动(几乎)同时被生成和/或执行。也可能当实验室助理完成手持式移液器的移动时，生成和/或执行控制程序。也可能当实验室助理完成手持式移液器的移动时，生成并存储控制程序，并且在稍后的时间执行该控制程序。
[0022]例如，可以根据视频数据确定手持式移液器的轨迹上的特定跟踪或示教点。当手持式移液器的移液器尖端进入如视频数据中检测到的开口时，可以定义和/或记录这些点。
从这些点中，可以得出移液臂的移动，该移动还访问与工作区域的容器相对应的实验室自动化设备的容器的所有这些开口。必须注意的是，机器人移液器的轨迹可能与手持式移液器的轨迹不同。这可能是由于以下事实：实验室自动化设备中的容器以不同的方式布置和/或轨迹适合于移液臂的更有效移动。
[0023]除了单通道手持式移液器外，也可以使用多通道手持式移液器。在这种情况下，可以跟踪多个移液器尖端。
[0024]移液臂的移动可以被编码到控制程序中，当该控制程序在被执行时执行移动。控制程序可以是任何数据或数据文件，当它们由实验室自动化设备的控制器处理时，会导致移液臂的相应移动。
[0025]控制程序也可以是可由实验室助理修改的脚本程序。例如，如下所述，在测定规程期间使用的容器和/或液体的类型可以用在脚本程序中指示的颜色编码。脚本程序中的相应颜色然后可以由实验室助理用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成用于实验室自动化设备(12)的控制程序(52)的方法，所述方法包括：接收显示实验室助理的工作区域(36)的视频数据(48)，所述工作区域(36)包含手持式移液器(16)和用于接收液体的容器(22')；在所述视频数据(48)中检测所述容器(22')的开口(56)，并且确定所述开口(56)的位置；在所述视频数据(48)中检测所述手持式移液器(16)的移液器尖端(40)，并且确定所述尖端(40)的移动(58)；根据所述移液器尖端(40)相对于所述开口(56)的位置的移动，生成用于所述实验室自动化设备(12)的所述控制程序(52)，其中所述控制程序(52)适于按照所述工作区域(36)中的所述手持式移液器(16)的移动相对于所述实验室自动化设备(12)的容器(22)来移动所述实验室自动化设备(12)的带有机器人移液器(32)的移液臂(30)。2.根据权利要求1所述的方法，其中，利用对象识别算法来检测所述开口(56)和所述移液器尖端(40)。3.根据权利要求1或2所述的方法，其中，利用对象跟踪算法来跟踪所述移液器尖端(40)的移动(58)。4.根据前述权利要求中的一项所述的方法，进一步包括：从所述视频数据(48)和/或从附着在所述容器(22')上的RFID标签中识别针对每个容器(22')的容器(22')的类型；其中，所述控制程序(52)被生成用于与被识别用于所述工作区域(36)中的所述容器(22')的类型相同的所述实验室自动化设备(12)的容器(22)。5.根据权利要求4所述的方法，其中，所述工作区域(36)中的所述容器(22')设置有计算机可读码(60)，并且从所述视频数据(48)中的所述计算机可读码(60)确定容器(22')的类型。6.根据权利要求4或5所述的方法，其中，所述工作区域(36)中的容器(22')设置有标签(62)，并且从所述视频数据(48)确定来自用于容器(22')的所述标签(62)的信息；其中，根据所述信息来确定所述容器(22')的类型；其中，所述标签(62)是有色标签，并且所述信息是颜色。7.根据权利要求4至6...

【专利技术属性】
技术研发人员：罗南，
申请(专利权)人：泰肯贸易股份公司，
类型：发明
国别省市：