【技术实现步骤摘要】
用于将机器学习和大众外包数据标注进行集成的系统和方法
本申请总体上涉及一种用于通过大众外包（crowd-sourced）任务和机器学习算法来进行协作式数据标注（annotation）的系统。
技术介绍
许多系统正在开始合并人工智能（AI）和机器学习概念以用于做出决策。机器学习系统需要大量的输入数据，以便学习对各种输入的正确响应。例如，输入数据可以包括各种输入组合以及应当被学习的对应结果。大量的原始源数据可能是可用的。然而，必须处理该原始源数据以向机器学习算法提供正确的输入。相关特征和预测结果必须与输入数据相关联，以便正确地训练机器学习算法。由此，期望一种用于标注输入数据的有效方法。
技术实现思路
数据标注系统包括计算系统，该计算系统被编程为执行机器学习算法，该机器学习算法被编程为：根据输入数据集将一特征标识为预定特征和对应的置信度水平。该计算系统进一步被编程为：响应于标识了具有超过阈值的置信度水平、接着在该置信度水平中减小至小于低置信度阈值的特征，而执行大众工作者接口，该大众工作者接口被编程为生成交互式任...
【技术保护点】
1.一种数据标注系统，包括：/n计算系统，其被编程为：/n执行机器学习算法，所述机器学习算法被编程为：根据输入数据集将一特征标识为预定特征和对应的置信度水平，以及/n响应于标识了具有超过阈值的对应置信度水平、接着在所述对应置信度水平中减小至小于低置信度阈值的特征，而执行大众工作者接口，所述大众工作者接口被编程为生成交互式任务，并且从大众工作者接收反馈以标识所述减小的原因，所述交互式任务被配置成显示输入数据集和由所述机器学习算法标识的特征。/n
【技术特征摘要】
20190531 US 16/4284681.一种数据标注系统，包括：
计算系统，其被编程为：
执行机器学习算法，所述机器学习算法被编程为：根据输入数据集将一特征标识为预定特征和对应的置信度水平，以及
响应于标识了具有超过阈值的对应置信度水平、接着在所述对应置信度水平中减小至小于低置信度阈值的特征，而执行大众工作者接口，所述大众工作者接口被编程为生成交互式任务，并且从大众工作者接收反馈以标识所述减小的原因，所述交互式任务被配置成显示输入数据集和由所述机器学习算法标识的特征。
2.根据权利要求1所述的数据标注系统，其中所述大众工作者接口进一步被编程为：使文本对话框被显示在显示屏上，其中文本对话框包括用于指导大众工作者完成所述交互式任务的指令。
3.根据权利要求1所述的数据标注系统，其中所述大众工作者接口进一步被编程为：从大众工作者接收反馈，作为与在显示屏上绘制的元素相对应的数据。
4.根据权利要求1所述的数据标注系统，其中所述大众工作者接口进一步被编程为：从大众工作者接收反馈，作为在显示屏上录入的屏上对象的文本标注。
5.根据权利要求1所述的数据标注系统，其中所述大众工作者接口进一步被编程为：响应于与所述减小相对应的输入数据集被显示在显示屏上而使对话框元素被显示在显示屏上，所述对话框元素向大众工作者警告所述减小。
6.根据权利要求1所述的数据标注系统，其中所述大众工作者接口进一步被编程为：使对话框元素被显示在显示屏上，所述对话框元素指示大众工作者标识针对其预期发生置信度水平中的类似减小的特征。
7.根据权利要求1所述的数据标注系统，其中所述大众工作者接口进一步被编程为：在机器学习算法表示与适合于人类理解的视觉表示之间进行转换。
8.根据权利要求1所述的数据标注系统，其中输入数据集是包括多个图像帧的视频片段。
9.根据权利要求8所述的数据标注系统，其中所述计算系统进一步被编程为：响应于输入数据集被随机选择以用于监测而执行所述大众工作者接口。
10.一种方法，包括：
由机器学习算法根据输入数据集将一特征标识为预定特征和对应的置信度水平；以及
响应于标识了具有超过阈值的置信度水平、接着在所述置信度水平中减小至小于低置信度阈值的特征，而生成用于大众外包的交互式任务，以在显示屏上显示输入数据集和由所述机器学习算法标识的特征，并且从大众工作者接收反馈以标...
【专利技术属性】
技术研发人员：于丽秀，林婉怡，JE金，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。