使用基于目光的跟踪的注释数据收集制造技术

提供了一种用于自动地创建包括多个记录的训练数据集的计算机实现的方法，其中，记录包括：对象样本的图像，用户呈现样本的被监视操作的指示，以及用户在显示器上或经由光学设备观看样本的被监视目光的真实数据的指示，该被监视目光映射到样本图像的像素，其中，被监视目光包括用户正在观看的样本的至少一个位置以及观看至少一个位置所花费的时间。置以及观看至少一个位置所花费的时间。置以及观看至少一个位置所花费的时间。

【技术实现步骤摘要】
【国外来华专利技术】使用基于目光的跟踪的注释数据收集
[0001]相关申请的交叉引用
[0002]本申请要求于2020年7月27日提交的第63/057105号美国临时专利申请的优先权，其内容通过引用全部并入本文。
[0003]版权说明
[0004]本专利文件的部分公开内容包含受版权保护的材料。版权所有人不反对任何人按照其在专利和商标局的专利文件或记录中的形式对本专利文件或专利公开内容进行复制，但在其他方面保留所有版权。


[0005]本公开总体涉及用于实现注释数据收集的方法、系统和装置，并且更具体地，涉及使用基于目光的跟踪来实现注释数据收集的方法、系统和装置，以及在一些情况下用于训练人工智能(“AI”)系统的方法、系统和装置。该人工智能系统可以包括但不限于神经网络、卷积神经网络(convolutional neural network，“CNN”)、基于学习算法的系统或机器学习系统等中的至少一者。

技术介绍

[0006]成千上万的染色的组织病理学载玻片每天在临床和研究实验室中被观看和评分。传统上，在显微镜下对载玻片进行评分，但是最近，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于自动地创建训练数据集的计算机实现的方法，所述训练数据集包括多个记录，其中，记录包括：对象样本的图像；用户呈现所述样本的被监视操作的指示；以及所述用户在显示器上或经由光学设备观看所述样本的被监视目光的真实数据的指示，所述被监视目光映射到所述样本图像的像素，其中，所述被监视目光包括所述用户正在观看的所述样本的至少一个位置以及观看所述至少一个位置所花费的时间。2.根据权利要求1所述的计算机实现的方法，其中，所述对象样本选自于由以下项组成的组：生物样本、微孔板中的活细胞培养物、用于生成病理学报告的病理学组织样本的载玻片、3D射线图像、以及用于识别所述对象样本中的制造缺陷的制造微阵列。3.根据前述权利要求中任一项所述的计算机实现的方法，还包括在所述训练数据集上训练机器学习模型，以响应于目标对象的目标样本的目标图像的输入而生成目标预测目光的结果。4.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述被监视目光的真实数据的指示包括所述被监视目光在观看时间间隔内映射到所述图像的每个具体像素的累计时间量。5.根据权利要求4所述的计算机实现的方法，其中，所述被监视目光的真实数据的指示包括以下项中的至少一项：(i)与所述样本图像相对应的热图，其中，所述热图的相应像素的相应强度与所述被监视目光映射到每个相应像素的所述累计时间量相关，其中，所述热图的像素被归一化为：指示所述样本在由所述被监视操作限定的多个缩放水平下的不同实际尺寸的像素和/或位于所述样本的不同部分的像素，这些不同部分在通过对所述被监视操作的平移操作获得的显示上是不同时可见的，以及(ii)所述样本的图像上的叠加图，其中，所述叠加图的特征与目光的扩散相对应和/或指示所述累计时间量。6.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述被监视目光的真实数据的指示包括有序的时间序列，所述有序的时间序列在观看时间间隔内将被观察的不同视场的所述被监视目光的调整动态地映射到不同的具体像素。7.根据权利要求6所述的计算机实现的方法，其中，所述被监视目光的真实数据的指示被描绘为以下项中的至少一项：(i)叠加在所述样本的图像的像素上的指示所述被监视目光的动态调整的定向线，以及(ii)用在每个视场处花费的时间的指示所呈现的所述有序的时间序列。8.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述训练数据集的记录还包括所述用户为调节所述样本的视场而执行的操作的真实数据的指示，所述操作的真实数据的指示映射到所述被监视目光的真实数据的指示以及所述图像的像素。9.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述样本被按照其放大形式观看，其中，与将所述被监视目光映射到所述图像的具体像素相关联的用户操作选自于包括以下项的组：放大、缩小、向左平移、向右平移、向上平移、向下平移、调节光、调节焦点以及调节所述图像的缩放。10.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述样本被经由显微镜来观看，
其中，监视目光包括当所述用户观看所述显微镜下的所述样本时，从跟随所述用户瞳孔的至少一个第一相机获得目光数据，其中，当所述用户观看所述显微镜下所述样本时，被操作的所述样本图像由第二相机捕捉，所述计算机实现的方法还包括获得所述样本的扫描图像；以及将所述样本的扫描图像与由所述第二相机捕捉的所述样本的图像配准，其中，映射包括使用与由所述第二相机捕捉的所述图像的配准将所述被监视目光映射到所述扫描图像的像素。11.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述被监视目光被表示为弱注释，并且所述训练数据集的记录还包括所述样本图像的以下附加真实数据标签中的至少一者：当所述样本包括受试者的组织样本时：由观看所述样本的所述用户创建的病理学报告，由观看所述样本的所述用户创建的病理学诊断，指示由观看所述样本的所述用户创建的所述样本的病理学评估的样本评分，其样本在所述样本中被描绘的所述受试者的至少一个临床参数，所述受试者的历史参数和给予所述受试者的治疗的结果，当所述样本包括制造微阵列时：用户提供的至少一个制造缺陷的指示，通过/未通过质量保证测试的指示，当所述样本包括活细胞培养物时：细胞生长速率、细胞密度、细胞同质性和细胞异质性，以及一个或多个其他用户提供的数据项。12.根据权利要求11所述的计算机实现的方法，还包括在所述训练数据集上训练机器学习模型以生成以下结...

【专利技术属性】
技术研发人员：艾拉德，
申请(专利权)人：安捷伦科技有限公司，
类型：发明
国别省市：