机器学习模型的环境特定训练制造技术

一种用于机器学习模型的环境特定训练的方法，包括：接收针对本地环境的

【技术实现步骤摘要】
【国外来华专利技术】机器学习模型的环境特定训练

技术介绍

[0001]强大的机器学习模型可以被用来执行诸如图像分析
、
语音识别
、
自然语言处理
、
数据分析之类的任务
。
在给予足够的时间和计算资源来执行这种任务的情况下，经训练的机器学习模型可以提供准确
、
可复现的分析
。
对于期望实时分析的场景和
/
或当本地计算资源有限时，来自大型机器学习模型的知识可以被蒸馏成小型模型以用于本地部署，而不牺牲有效性
。

技术实现思路

[0002]一种用于机器学习模型的环境特定训练的方法，包括：接收针对本地环境的
、
包括多个顺序数据片段的数据流
。
使用学生版机器学习模型为每个数据片段生成编程标记
。
选择用于由教师版机器学习模型进行评估的数据片段的一部分和相关联的编程标记并将其上传到服务器侧计算设备
。
从服务器侧计算设备接收环境特定训练更新
。
该训练更新是基于对所选编程标记与由教师版为数据片段的所选部分生成的伪标记的比较
。
将环境特定训练更新应用于学生版以生成更新的学生版
。
然后，更新的学生版机器学习模型被用来为新接收数据片段生成编程标记
。
[0003]提供本
技术实现思路
是为了以简化的形式介绍概念的选择，这些概念将在下面的具体实施方式中被进一步描述
。
本
技术实现思路
并不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在被用来限制所要求保护主题的范围
。
此外，所要求保护主题不限于解决了本公开的任何部分中所指出的任何或所有缺点的实现
。
附图说明
[0004]图1示出了用于部署机器学习模型的示例本地环境
。
[0005]图2示出了用于在本地环境中部署和更新机器学习模型的示例计算系统
。
[0006]图3是用于机器学习模型的环境特定训练的示例方法
。
[0007]图4是用于针对本地环境重新训练机器学习模型的示例方法
。
[0008]图5是机器学习模型的迭代主动蒸馏的示例工作流程
。
[0009]图6示出了可以在其中采用图2的计算机设备的示例计算环境的示意图
。
具体实施方式
[0010]机器学习模型可以被采用来在若干环境中执行各种各样的功能
。
机器学习模型可以被分配诸如图像分类
、
语音识别
、
解释文本
、
人体姿势和手势估计
、
人员检测
、
对象计数等任务
。
可以使用经由一个或多个传感器或任何其他合适的收集机制针对任何合适的环境所收集的数据来执行这种任务
。
[0011]图1描绘了包括零售商店
101
和相邻停车场
102
的示例本地环境
100。
若干监控摄像机
105
对准零售商店
101
内部和停车场
102。
每个监控摄像机可以包括一个或多个
2D
成像设备
。
由监控摄像机获取的图像数据可以被用来检测对象
(
诸如人
110
和车辆
112)
和
/
或与商
店管理相关的其他物品
(
诸如自行车
、
购物车
、
辅助移动设备
)
等
。
来自监控摄像机
105
的图像数据还可以被用来识别个体或者分析人的运动或其他行为，单独地或以相关分组的方式
。
[0012]附加的环境传感器
115
可以包括用于沟通人机交互的
3D
成像设备
、
麦克风等
。
例如，来自
2D
和
/
或
3D
成像设备的数据可以促进姿势和
/
或手势检测以用于在视频游戏或其他自然语言输入应用中使用，诸如交互式自助服务终端
120
，其也可以使用来自麦克风的数据来提供语音命令
、
转录服务等
。
[0013]在上面提到的示例环境中部署的机器学习模型通常是通用的，并且在公共数据集上被训练
。
然而，可能存在特定的本地环境所特有的因素，这些因素可能会混淆机器学习模型，但这些因素在其他环境中可能不存在
。
例如，停车场
102
在一天期间可能具有特定的光模式
(
例如，阳光
、
阴影
、
人工照明
)
，其可以受益于地点特定的处理以使能进行准确的图像分析
。
零售店
101
的位置可能会影响顾客的人口统计，这又意味着某些口语
/
方言
/
口音等的发生率更高
。
部署在所有可能环境因素上被训练的机器学习模型可能会导致臃肿软件，其可能难以快速且准确地响应来自环境传感器的实时数据
。
为其自己的本地环境训练每个机器学习模型是优先的，但也具有挑战性
。
[0014]在传统的教师
‑
学生模型中，教师版和学生版操作相同的模型
(
通常是通用模型
)。
基于教师版和学生版评估相同的静态基准数据集来进行训练
。
没有任何东西可以被蒸馏，因此除了通过检查教师版对数据集的推理之外，学生版无法被改进
。
这种传统的主动学习方法依赖于人类对标记所选数据的努力
。
一般来说，学生版是在所有可用数据上被训练的，导致训练过程缓慢且模型更新效率低下
。
类似地，传统的蒸馏方法基于所有可用数据将知识从教师版蒸馏到学生版
。
这个过程也相对缓慢，且因此不适合在实际场景中进行持续训练，其中所接收和评估的实时数据量可能是巨大的
。
[0015]在此，描述了用于主动蒸馏框架的系统和方法，其使小型学生版机器学习模型能够在特定环境内得到自动
、
可扩展且有成本效益的性能改进
。
在一些实施例中，大型教师版机器学习模型使用主动选择的训练数据作为快速
、
增量训练过程的基础，由此从部署环境中所接收的数据中选择训练数据
。
学生版可以在线操作，实时为数据片段生成编程标记
。
教师版可以离线操作，使用额外的时间和复杂性为数据片段的已由学生版进行程序标记的一部分生成伪标记，然后基于伪标记和编程标记的比较本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种用于机器学习模型的环境特定训练的方法，所述方法包括：接收针对本地环境的
、
包括多个顺序数据片段的数据流；使用学生版机器学习模型，为每个数据片段生成编程标记；选择用于由教师版机器学习模型进行评估的数据片段的一部分；将数据片段的所选部分和相关联的编程标记上传到包括所述教师版机器学习模型的服务器侧计算设备；从所述服务器侧计算设备接收环境特定训练更新，所述环境特定训练更新至少是基于与数据片段的所述所选部分相关联的所述编程标记和由所述教师版机器学习模型为数据片段的所述所选部分生成的伪标记的比较；将所述环境特定训练更新应用于所述学生版机器学习模型以生成更新的学生版机器学习模型；使用所述更新的学生版机器学习模型，为新接收数据片段生成编程标记；以及将所述新接收数据片段和生成的编程标记中的至少一些提供给本地输出以用于在评估所述本地环境内的事件中使用
。2.
根据权利要求1所述的方法，还包括：迭代地执行更新程序，所述更新程序包括选择新接收数据片段的一部分并且将新接收数据片段的所选部分上传到所述服务器侧计算设备以供所述教师版机器学习模型进行评估，从所述服务器侧计算设备接收新的环境特定训练更新，以及应用所述新的环境特定训练更新以生成更新的学生版机器学习模型
。3.
根据权利要求1所述的方法，其中，所述环境特定训练更新包括一个或多个选择参数，所述一个或多个选择参数能够用于确定新接收数据片段的一部分以选择用于供所述教师版机器学习模型进行评估
。4.
根据权利要求3所述的方法，其中，在所述训练更新中包括的所述一个或多个选择参数包括选择频率
。5.
根据权利要求1所述的方法，其中，被选择用于评估的数据片段的所述部分是被随机选择的
。6.
根据权利要求1所述的方法，其中，被选择用于评估的数据片段的所述部分至少部分地基于所述编程标记被选择
。7.
根据权利要求6所述的方法，其中，被选择用于评估的数据片段的所述部分至少部分地基于被分配给一个或多个编程标记的置信度评级被选择
。8.
一种用于在本地环境中部署机器学习模型的系统，所...

【专利技术属性】
技术研发人员：于沛，刘自成，金赢，陈寅鹏，罗琨，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：