一种用于训练人类注释器的人类模型协同注释系统，包括：数据库，所述数据库存储先前由专家人类注释器和/或机器学习注释器注释的图像；显示器，所述显示器显示从所述数据库中选择的图像；注释系统，所述注释系统使所述人类注释器注释呈现在所述显示器上的图像；注释训练系统。所述注释训练系统：从所述数据库中选择图像样本以便由所述人类注释器注释；从所述注释系统接收一个或多个建议的注释；将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；在所述显示器上呈现注意力图以使所述人类注释器注意到通过所述比较识别的任何注释错误；根据在所述比较步骤中识别的任何错误从所述数据块中选择下一个训练图像样本。训练图像样本。训练图像样本。
【技术实现步骤摘要】
【国外来华专利技术】特定领域的人类模型协同注释工具
[0001]本申请涉及注释工具，具体涉及特定领域的人类模型协同注释工具，这些工具训练人类注释器和机器学习系统，以提高特定领域的图像标记过程的效率。
技术介绍
[0002]在医学成像领域，深度学习被广泛用于解决分类、检测和分割问题。标签(注释)数据对于训练深度学习模型至关重要。但是，医学图像数据类型因使用的成像设备类型和正在检查的解剖/组织而异，这增加了标记此类特定领域数据的难度。
[0003]特定领域的图像注释需要受过专业训练和具有领域知识的注释器。注释器的经验水平在很大程度上影响注释质量。不幸的是，缺乏有经验的注释器来标记不同的生物医学数据，这在提供高效的评估和治疗方面造成了问题。
[0004]目前，有几种通用标记工具用于标记图像。一组标记工具使用手绘注释。例如，LabelIMG工具支持边界框和一类标记。VGG图像注释器具有添加对象和图像属性或标记的选项。其它标记工具，如Supervise.ly和Labelbox，使用模型提供语义分割，并帮助预测标签，以便通过人工确认进行模型训练。其它标记工具使用主动学习或强化学习来训练使用少量标记图像的模型。主动学习模型选择不确定的示例，并寻求人类审核人的帮助，以完成标记。为了产生更准确的预测，机器学习模型被用于AWS SageMaker Ground Truth和华为云ModelArts等系统。这些系统提供了注释工具，这些工具选择图像来显示人类注释器，并使用新标记图像来进一步训练机器学习模型。Polygon RNN++分割工具依次生成多边形的顶点，从而勾勒出对象。这支持人类注释器随时干涉，并根据需要校正顶点，以产生更准确的分割。
[0005]不幸的是，这种现有技术系统通常无助于解决注释领域专家短缺这一问题。
技术实现思路
[0006]现在描述各种示例，以简化形式引入一些概念，在具体实施方式中会进一步描述这些概念。
技术实现思路
并非旨在确定请求保护的主题的关键或必要特征，也并非旨在用于限制请求保护的主题的范围。
[0007]描述了一种端到端特定领域的人类模型协同注释系统和方法，该系统和方法训练人类注释器，以提高特定领域的图像标记过程的效率，从而解决人类领域专家短缺的这一问题。本文描述的人类模型协同注释系统通过个性化训练过程将专家知识转移到新的人注释器，同时提供用于训练机器学习系统的附加样本。在示例性实施例中，人类模型协同注释系统至少包括以下特征：
[0008]1.一种注释系统，包括注释器训练系统，注释器训练系统为无经验的注释器提供图像样本以进行标记。采样和训练过程是个性化的，并基于注释器的错误。注意力图用于指导注释器，以从其错误中学习。
[0009]2.注释器训练系统中的评估阶段对注释器进行评分，并根据注释器提交的注释向
注释器提供可靠的个性化反馈。
[0010]3.通过整合学习的领域知识和一般的人类智能，新训练的注释器可以添加标签，以帮助扩大标记样本的池，并改进注释系统训练模型。
[0011]根据本专利技术的第一方面，提供了一种用于训练人类注释器以注释图像的训练方法。训练方法包括：将图像样本呈现给人类注释器用于注释，其中，图像样本先前已经由专家人类注释器和机器学习注释器中的至少一个注释；从人类注释器接收一个或多个建议的注释；将人类注释器的一个或多个建议的注释与专家人类注释器或机器学习注释器对图像样本的先前注释进行比较；呈现注意力图以使人类注释器注意到通过比较识别的注释错误；根据在比较中识别的任何错误选择下一个图像样本。
[0012]根据本专利技术的第二方面，提供了一种人类模型协同注释系统，包括：数据库，数据库存储先前由专家人类注释器和机器学习注释器中的至少一个注释的图像；显示器，显示器显示从数据库中选择的图像；注释系统，注释系统用于使人类注释器能够注释呈现在显示器上的图像；注释训练系统。注释训练系统：从数据库中选择图像样本以显示在显示器上，以便由人类注释器注释；从注释系统接收一个或多个建议的注释；将人类注释器的一个或多个建议的注释与专家人类注释器或机器学习注释器对图像样本的先前注释进行比较；在显示器上呈现注意力图以使人类注释器注意到通过比较识别的任何注释错误；根据在比较中识别的任何错误从数据块中选择下一个图像样本。
[0013]根据本专利技术的第三方面，提供了一种非瞬时性计算机可读介质，存储用于训练人类注释器以注释图像的计算机指令，当计算机指令由一个或多个处理器执行时，使一个或多个处理器执行以下操作：
[0014]将图像样本呈现给人类注释器用于注释，其中，图像样本先前已经由专家人类注释器和机器学习注释器中的至少一个注释；从人类注释器接收一个或多个建议的注释；将人类注释器的一个或多个建议的注释与专家人类注释器或机器学习注释器对图像样本的先前注释进行比较；呈现注意力图以使人类注释器注意到通过比较识别的注释错误；根据在比较中识别的任何错误选择下一个图像样本。
[0015]在任一上述方面的第一种实现方式中，通过将加权函数和数字度量应用于将人类注释器的一个或多个建议的注释与专家人类注释器或机器学习注释器对图像样本的先前注释进行比较的比较结果，来评估人类注释器的注释性能。
[0016]在任一上述方面的第二种实现方式中，在人类注释器被评估为具有高于阈值的注释性能时，用于由人类注释器注释的图像样本被呈现，并且来自人类注释器的注释图像样本被添加到图像样本池，图像样本池包括先前由专家人类注释器或机器学习注释器注释的图像样本。
[0017]在任一上述方面的第三种实现方式中，来自人类注释器的添加到池的注释图像样本包括基于人类注释器的注释性能的权重。
[0018]在任一上述方面的第四种实现方式中，当人类注释器的注释性能高于人类注释器已经被训练过的类型的注释的预定水平时，人类注释器被认证，用于未来的注释任务。
[0019]在任一上述方面的第五种实现方式中，多个人类注释器的注释性能针对同一组图像进行比较，以建立多个人类注释器的质量度量。
[0020]在任一上述方面的第六种实现方式中，注意力图被呈现给显示器以对注释错误进
行个性化解释。
[0021]在任一上述方面的第七种实现方式中，待注释的图像包括医学图像、地理图像和/或行业图像。
[0022]方法可以被执行，并且计算机可读介质中的指令可以由系统处理，以训练注释器，例如医学成像注释器，并且方法的进一步特征和计算机可读介质中的指令由系统的功能产生。此外，针对每个方面及其实现方式提供的解释同样适用于其它方面和相应的实现方式。不同的实施例可以以硬件、软件或其任何组合实现。此外，上述任一个示例可以与上述其它示例中的任一个或多个组合以在本专利技术范围内创建新实施例。
附图说明
[0023]在不一定按比例绘制的附图中，不同视图中相同的数字可以描述类似组件。附图通过示例而非限制的方式一般地示出了在本文中描述的各种实施例。
[0024]图1A至图1C示出了显示不同类型的图像注释的图像，包括分本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于训练人类注释器以注释图像的训练方法，其特征在于，包括：将图像样本呈现给人类注释器用于注释，其中，所述图像样本先前已经由专家人类注释器和机器学习注释器中的至少一个注释；从所述人类注释器接收一个或多个建议的注释；将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；呈现注意力图以使所述人类注释器注意到通过所述比较识别的注释错误；根据在所述比较中识别的任何错误选择下一个图像样本。2.根据权利要求1所述的方法，其特征在于，还包括根据所述比较使用加权函数和数字度量来评估所述人类注释器的注释性能。3.根据权利要求2所述的方法，其特征在于，还包括在所述人类注释器被评估为具有高于阈值的注释性能时，呈现用于由所述人类注释器注释的图像样本，并将来自所述人类注释器的注释图像样本添加到图像样本池，所述图像样本池包括先前由所述专家人类注释器或所述机器学习注释器注释的图像样本。4.根据权利要求3所述的方法，其特征在于，来自所述人类注释器的添加到所述池的所述注释图像样本包括基于所述人类注释器的所述注释性能的权重。5.根据权利要求1所述的方法，其特征在于，还包括当所述人类注释器的注释性能高于所述人类注释器已经被训练过的类型的注释的预定水平时，认证所述人类注释器用于未来的注释任务。6.根据权利要求1所述的方法，其特征在于，还包括针对同一组图像比较多个人类注释器的注释性能，以建立所述多个人类注释器的质量度量。7.根据权利要求1所述的方法，其特征在于，呈现注意力图以使所述人类注释器注意到通过所述比较识别的注释错误包括利用所述注意力图在显示器上提供对所述注释错误的个性化解释。8.根据权利要求1所述的方法，其特征在于，所述待注释的图像包括医学图像、地理图像和行业图像中的至少一个。9.一种人类模型协同注释系统，其特征在于，包括：数据库，所述数据库存储先前由专家人类注释器和机器学习注释器中的至少一个注释的图像；显示器，所述显示器显示从所述数据库中选择的图像；注释系统，所述注释系统用于使人类注释器能够注释呈现在所述显示器上的图像；注释训练系统，所述注释训练系统：从所述数据库中选择图像样本以显示在所述显示器上，以便由所述人类注释器注释；从所述注释系统接收一个或多个建议的注释；将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；在所述显示器上呈现注意力图以使所述人类注释器注意到通过所述比较识别的任何注释错误；根据在所述比较中识别的任何错误从所述数据块中选择下一个图像样本。10.根据权利要求9所述的系统，其特征在于，所述注释训练系统通过将加权函数和数字度量应用于将所述人类注...
【专利技术属性】
技术研发人员：罗睿，罗杰波，陈林，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。