基于类偏斜的动态分类器选择制造技术

一种分类系统，其对诸如面部、地标、事件等的输入图像流的内容的不同方面分类。分类系统包括通用分类器和至少一个专用分类器模板。通用分类器被训练为对内容的大量不同方面分类，并且专用分类器可以在分类系统的操作期间基于专用分类器模板而被训练以对内容的多个不同方面的特定子集分类。分类系统基于类偏斜来确定何时使用通用分类器以及何时使用专用分类器，类偏斜是指图像流中的内容的方面的子集的时间局部性。

【技术实现步骤摘要】
【国外来华专利技术】基于类偏斜的动态分类器选择
技术介绍
随着计算技术的发展，计算设备已经变得越来越多地存在于我们的生活中。计算设备被使用的一种方式是分析图像以标识那些图像中的特定对象，诸如人的脸。虽然对象的这种标识是有益处的，但是它并非没有问题。一个这样的问题是图像的这种分析可能在计算上是昂贵并且缓慢的，这可以导致用户对他们的设备失望。
技术实现思路
提供本
技术实现思路
是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中被进一步描述。本
技术实现思路
并非旨在标识所要求保护的主题内容的关键特征或必要特征，也并非旨在被用来限制所要求保护的主题内容的范围。根据一个或多个方面，图像流被接收。确定关于专用分类器何时可以被用来对图像流的内容的多个方面的子集分类而被做出，专用分类器利用多个方面的子集的类偏斜，确定包括标识多个方面的子集何时支配图像流。专用分类器被访问以对多个方面的子集分类，并且专用分类器而不是通用分类器(例如，其被训练以对图像流的内容的多个方面分类，而不是仅对那些多个方面的子集分类)被使用以对图像流的后续图像中的多个方面的子集分类。根据一个或多个方面，分类系统包括通用分类器、模板存储库以及分类器选择系统。通用分类器被配置为对图像流的内容的多个方面分类。模板存储库包括多个不同的专用分类器模板，专用分类器模板中的每个专用分类器模板被配置为对多个方面的子集分类。分类器选择系统被配置为：重新训练多个不同的专用分类器模板中的一个专用分类器模板以生成用于多个方面的特定子集的专用分类器；以及确定何时在使用通用分类器以对图像流的内容的多个方面分类与使用专用分类器以对图像流的内容的多个方面分类之间切换。附图说明参考附图描述了具体实施方式。在附图中，附图标记的最左边的(多个)数字标识了附图标记在其中首次出现的图。在说明书和附图中的不同实例中使用相同的附图标记可以指示相似或相同的项目。图中表示的实体可以指示一个或多个实体，并且因此可以在讨论中对单个或多个形式的实体互换地做出引用。图1示出了根据一个或多个实施例的基于类偏斜来实现动态分类器选择的示例分类系统。图2示出了根据一个或多个实施例的示例分类器选择系统。图3示出了根据一个或多个实施例的通用分类器与专用分类器的使用以及在两者之间切换的示例。图4是示出了根据一个或多个实施例的用于基于类偏斜来实现动态分类器选择的示例过程的流程图。图5示出了示例系统，示例系统包括示例计算设备，示例计算设备代表可以实现本文所描述的各种技术的一个或多个系统和/或设备。具体实施方式基于类偏斜的动态分类器选择在本文中被讨论。分类系统对输入图像流的内容的不同方面分类。内容的这些不同方面是指内容的不同特性和/或被包括在内容中的对象，诸如脸部、地标、车辆、体育赛事等。分类系统包括通用分类器和至少一个专用分类器模板。通用分类器被训练为对内容的大量不同方面分类，诸如，对用户知道的所有不同人的脸部分类(例如，识别)。专用分类器模板可以被用来：在分类系统的操作期间训练专用分类器以对内容的多个不同方面的特定子集分类，诸如在一个小时的会议期间，识别在场的五个人的脸部。这种特定子集通常远小于通用分类器可以分类的大量方面。例如，输入图像流可以是由用户在他或她经历一天时捕捉的视频(例如，使用眼镜或其他可穿戴计算设备)，并且专用分类器模板可以在那天的一个小时中被训练以在视频中对用户正在会面的五个不同人的脸部分类(例如，识别)。分类系统确定何时使用通用分类器以及何时使用专用分类器。分类系统基于类偏斜做出这一确定，类偏斜是指图像流中的内容的方面的子集的时间局部性。例如，类偏斜是在一些时间窗口上、相同方面在内容中被标识的频率(例如，由通用分类器或专用分类器分类成的那些方面)。例如，类偏斜可以是：在先前z秒上的百分之y的时间，相同的x个对象在内容中被标识(例如，在先前30秒上百分之90的时间，相同的5个对象在内容中被标识出)。分类系统关于何时使用通用分类器以及何时使用专用分类器动态地做出确定，这是指分类系统基于输入图像流中的特定内容来在运行时做出确定。分类系统期望类偏斜将随时间变化。因此，分类系统在运行时确定，何时在通用分类器与专用分类器之间切换。此外，分类系统在运行时确定，专用分类器将被训练以对方面的哪个特定子集分类。例如，用户可能在整个一天中与不同组人进行六次不同的会议，并且视频在那些会议中的每个会议被分析期间被捕捉。如果内容的方面是视频中的人的脸部，则针对每次会议，分类系统检测会议中的人的脸部并且训练专用分类器以用于在该会议期间使用，从而导致用于每次会议的不同的专用分类器。分类系统在运行时训练专用分类器(例如，在会议期间，或者在会议的视频的回放期间)，生成专用分类器以在任何给定会议中对特定的人分类(标识)。当专用分类器被用于对输入图像流的方面分类时，专用分类器和通用分类器通常(但并非需要)被链接在一起。专用分类器分析输入流(例如，视频帧)的图像，并且将图像的一个或多个方面分类为专用分类器被训练用于的方面的特定子集中的一个子集，如果可能。如果专用分类器不能对图像的方面分类，则通用分类器分析图像，并且将图像的一个或多个方面分类为通用分类器被训练用于的方面中的一个方面。通用分类器相对于专用分类器是昂贵的分类器，专用分类器比通用分类器更快地(例如，以更低的平均延时来完成操作)并且更高效地(例如，使用更少的总体资源(诸如，存储器和/或处理功率)来完成操作)对输入图像流的方面分类。例如，针对通用分类器可以分类的方面的特定子集，专用分类器可能能够比通用分类器快10至100倍来对输入图像的方面的该子集分类。分类系统在适当时选择专用分类器而不是通用分类器，因此当可能时允许对输入图像流的方面的分类更快并且更高效(相对于使用通用分类器)。因此，本文所讨论的技术通过降低分类图像流的方面所消耗的时间量来提升系统的性能。此外，本文所讨论的技术减少了对图像流的方面分类时所消耗的计算资源，从而允许这样的分类在更低功率的计算设备上被执行，从而降低了计算设备的财务成本以及计算设备的功率消耗。图1示出了根据一个或多个实施例的基于类偏斜来实现动态分类器选择的示例分类系统100。例如，分类系统100可以在以下平台上被实现：台式计算机、服务器计算机、膝上型计算机或上网本计算机、移动设备(例如，平板计算机或平板设备、蜂窝或其他无线电话(例如，智能电话)、笔记本计算机、移动站)、可穿戴设备(例如，眼镜、头戴式显示器、手表、手镯、增强现实眼镜或耳机、虚拟现实眼镜或耳机)、娱乐设备(例如，娱乐应用、娱乐设备被通信地耦合到显示设备的机顶盒、游戏控制台)、物联网(IoT)设备(例如，具有允许与其他设备通信的软件、固件和/或硬件的对象或物品)、电视或其他显示设备、汽车用计算机等。因此，分类系统100可以在计算设备上被实现，计算设备范围从具有大量存储器和处理器资源的完整资源设备(例如，个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如，传统机顶盒、手持游戏控制台)。分类系统100可以在单个计算设备上被实现，或者备选地跨相同或不同类型的多个计算设备而被分布。分类系统100包括输入模块102、输出模块104、分类器选择系统106、通用分类器108和模板存储库110。输入模块102本文档来自技高网...

【技术保护点】
1.一种方法，包括：接收图像流；确定专用分类器何时能够被用来对所述图像流的内容的多个方面的子集分类，所述专用分类器利用所述多个方面的所述子集的类偏斜，所述确定包括标识所述多个方面的所述子集何时支配所述图像流；访问所述专用分类器以对所述多个方面的所述子集分类；以及使用所述专用分类器而不是通用分类器来对所述图像流的后续图像中所述多个方面的所述子集分类。

【技术特征摘要】
【国外来华专利技术】2016.05.06 US 15/148,9001.一种方法，包括：接收图像流；确定专用分类器何时能够被用来对所述图像流的内容的多个方面的子集分类，所述专用分类器利用所述多个方面的所述子集的类偏斜，所述确定包括标识所述多个方面的所述子集何时支配所述图像流；访问所述专用分类器以对所述多个方面的所述子集分类；以及使用所述专用分类器而不是通用分类器来对所述图像流的后续图像中所述多个方面的所述子集分类。2.根据权利要求1所述的方法，还包括：响应于所述专用分类器不能够对所述图像流的特定后续图像中的内容的一个或多个方面分类，针对所述特定后续图像，使用所述通用分类器来对所述特定后续图像中的内容的所述一个或多个方面分类。3.根据权利要求1或者权利要求2所述的方法，所述访问所述专用分类器包括训练所述专用分类器。4.根据权利要求3所述的方法，所述训练包括：从多个专用分类器模板的存储库获得专用分类器模板，获得的所述专用分类器模板包括多个层；使用包括所述多个方面的所述子集的图像，来重新训练获得的所述专用分类器模板的顶层；以及当所述多个层中的所述顶层以下的层存在于获得的所述专用分类器模板中时，使用所述层。5.根据权利要求4所述的方法，所述多个层中的所述顶层以下的所述层在所述图像流的接收之前，已经被训练用于在所述专用分类器模板中使用。6.根据权利要求1或者权利要求2所述的方法，所述确定还包括：访问多个专用分类器模板的存储库；基于所述多个方面的所述子集，来选择所述多个专用分类器模板中的一个专用分类器模板；以及使用所述多个专用分类器模板中的选择的所述一个专用分类器模板作为所述专用分类器以对所述多个方面的所述子集分类。7.根据权利要求6所述的方法，所述选择包括：确定所述多个方面的所述类偏斜；确定所述多个方面的所述子集中的方面的数目；以及至少部分地基于所述多个方面的所述类偏斜以及所述多个方面的所述子集中的方面的所述数目，来选择所述多个专用分类器模板中的一个专用分类器模板，针对特定类偏斜以及所述多个方面的所述子集中的方面的特定数目选择所述多个专用分类器模板中的哪个专用分类器模板在所述图像流的接收之前已经被预先确定。8.根据权利要求1至7中的任一项所述的方法，所述确定还包括：预测所述多个方面的所述类偏斜将持续多久；响应于所述类偏斜被预测为至少持续与访问所述专用分类器以对所述多个方面的所述子集分类被期望花费的时间量一样久，确定所述专用分类器能够被用来对所述多个方面的所述子集分类；以及响应于所述类偏斜被预测为持续少于访问所述专用分类器以对所述多个方面的所述子集...

【专利技术属性】
技术研发人员：M·菲利珀斯，沈海晨，A·沃尔曼，S·阿加瓦尔，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US