细粒度分类制造技术

将图像传递给图像识别器以识别图像的粗分类和被分类对象的边界框。使用掩模来识别代表对象的图像部分。在给定前景掩模的情况下，定位掩模的凸包，并且拟合包围该凸包的具有最小面积的对准矩形。旋转并缩放对准边界框，使得前景对象大致移动为标准取向和大小(称为校准)。使用校准图像作为细分类模块的输入，细粒度模块确定输入图像在粗分类中的细粒度分类。

Fine-grained classification

The image is passed to the image recognizer to identify the rough classification of the image and the boundary frame of the classified object. The mask is used to identify the image parts of the representative object. In the case of a given foreground mask, the convex hull of the mask is positioned and the alignment rectangle with the smallest area that surrounds the convex hull is fitted. Rotating and scaling the boundary frame so that the foreground objects are roughly moved to standard orientation and size (called calibration). Using the calibrated image as the input of the fine classification module, the fine-grained module determines the fine-grained classification of the input image in the rough classification.

【技术实现步骤摘要】
【国外来华专利技术】细粒度分类优先权声明本申请要求2015年12月14日提交的题为“Fine-GrainedCategorization”的美国专利申请No.14/967,876的优先权，该美国专利申请No.14/967,876要求2015年1月19日提交的题为“Fine-GrainedCategorization”的美国临时专利申请No.62/105,110的优先权，二者的全部内容通过引用并入本文。
本文公开的主题总体上涉及使用深卷积神经网络对数据进行分类。
技术介绍
可以使用深卷积神经网络(CNN)来基于图像中显示的物品对图像进行分类。针对一定程度的训练，CNN具有有限的区分能力。在典型的数据集中，物品的取向在图像之间是不同的，并且所得到的CNN的区分能力可能耗费在能够识别物品的类别上而不考虑取向。因此，CNN难以识别相似类型的物品之间的细微差别。附图说明在附图中以示例而非限制的方式示出了一些实施例。图1是示出根据一些示例实施例的适用于细粒度图像分类的网络环境的网络图。图2是示出根据一些示例实施例的适用于细粒度图像分类的分类服务器的组件的框图。图3是示出根据一些示例实施例的适用于细粒度图像分类的设备的组件的框图。图4是示出根据一些示例实施例的适用于细粒度图像分类的图像处理的五个步骤的图。图5是示出根据一些示例实施例的服务器在执行细粒度图像分类的处理中的操作的流程图。图6是示出根据一些示例实施例的服务器在执行使用细粒度图像分类来显示广告的处理中的操作的流程图。图7是示出根据一些示例实施例的服务器在执行使用细粒度图像分类来显示搜索结果的处理中的操作的流程图。图8是示出根据一些示例实施例的可以安装在机器上的软件架构的示例的框图。图9示出了根据示例实施例的具有计算机系统的形式的机器的示图表示，在所述计算机系统中，可以执行一组指令以使所述机器执行本文讨论的方法中的任意一个或多个方法。具体实施方式示例方法和系统涉及细粒度图像分类。示例只是代表可能的变化。除非另行明确声明，否则组件和功能是可选的，且可被合并或细分，且操作可以在顺序上变化或被组合或细分。在以下描述中，出于解释的目的，对多个具体细节进行阐述，以提供对示例实施例的透彻理解。然而，对于本领域技术人员将显而易见的是：本主题可以在没有这些具体细节的情况下实施。适当配置的计算机系统控制细粒度图像分类的处理。为了描述的目的，该处理被分解成由各种模块或应用执行的步骤。图像识别器对对象的图像进行操作，以识别图像的粗分类和分类对象的边界框。图像识别器可以是卷积神经网络(CNN)、支持向量机(SVM)或其任何合适的组合。对于具有粗分类的识别对象的特定图像，使用掩模(例如，grabCut掩模)来识别表示对象的图像部分。根据前景掩模，定位对象的凸包，并且拟合包围该凸包的具有最小面积的旋转矩形。该旋转矩形称为对准边界框。旋转并缩放对准边界框以形成校准图像，使得前景对象大致移动为校准图像中的标准取向和大小。使用校准图像作为细粒度分类模块的输入，所述细粒度模块确定输入图像在粗分类中的细粒度分类。例如，粗分类可能是“车”和“鸟”。细粒度分类提供特定图像或对象在粗分类上的更多细节。例如，粗分类的“车”的细粒度分类可以是车的制造商或车的型号。作为另一示例，粗分类的“鸟”的细粒度分类可以是各个鸟种类。因此，在示例实施例中，一旦图像被识别为描绘鸟并被处理以产生所描绘的鸟的校准图像，则校准图像被馈送到确定所描绘的鸟的种类的细粒度分类模块。图1是示出根据一些示例实施例的适用于细粒度图像分类的网络环境100的网络图。网络环境100包括电子商务服务器120和140、分类服务器130以及设备150A、150B和150C，它们都经由网络170彼此通信耦合。设备150A、150B和150C可以被集体称为“设备150”，或者被统称为“设备150”。替代地，设备150可以直接连接到分类服务器130，或者通过本地网络连接到分类服务器130，所述本地网络不同于用于连接到电子商务服务器120或140的网络170。如以下参照图8至9所描述的，电子商务服务器120和140、分类服务器130以及设备150均可以整体地或部分地在计算机系统中实现。电子商务服务器120和140经由网络170向其他机器(例如，设备150)提供电子商务应用。电子商务服务器120和140还可以直接连接到分类服务器130，或者与分类服务器130集成在一起。在一些示例实施例中，一个电子商务服务器120和分类服务器130是基于网络的系统110的一部分，而其他电子商务服务器(例如，电子商务服务器140)与基于网络的系统110分离。电子商务应用可以向用户提供相互直接购买和出售物品、从电子商务应用提供商购买物品和将物品出售给电子商务应用提供商、或者以上二者的途径。分类服务器130确定输入图像的细粒度分类。分类服务器130可以经由网络170或另一网络向其他机器(例如，电子商务服务器120和140或者设备150)提供数据。分类服务器130可以经由网络170或另一网络从其他机器(例如，电子商务服务器120和140或者设备150)接收数据。在一些示例实施例中，本文描述的分类服务器130的功能在诸如个人计算机、平板计算机或智能电话之类的用户设备上执行。图1中还示出了用户160。用户160可以是人类用户(例如，人类)、机器用户(例如，通过软件程序配置的与设备150和分类服务器130交互的计算机)或者它们的任意合适组合(例如，机器辅助的人或者人监管的机器)。用户160不是网络环境100的一部分，但与设备150相关联并且可以是设备150的用户。例如，设备150可以是属于用户160的传感器、台式计算机、车载计算机、平板计算机、导航设备、便携媒体设备或智能电话。在一些示例实施例中，分类服务器130接收关于用户160感兴趣的物品的数据。例如，附接到设备150A的相机可以拍摄用户160希望出售的物品的图像，并且通过网络170将该图像发送给分类服务器130。分类服务器130基于图像对物品进行分类。所述分类可被发送给电子商务服务器120或140、发送给设备150A、或其任何组合。电子商务服务器120或140可以使用该分类来辅助生成要出售的物品的列表。类似地，该图像可以是用户160感兴趣的物品的图像，并且电子商务服务器120或140可以使用分类来帮助选择要向用户160显示的物品的列表。图1中所示的机器、数据库或设备中的任意一个可以用通用计算机来实现，所述通用计算机通过软件修改(例如，配置或编程)为专用计算机，以执行本文针对所述机器、数据库或设备描述的功能。例如，以下参照图8至9讨论能够实现本文描述的方法中的任意一个或更多个的计算机系统。如本文所使用的，“数据库”是数据存储资源并可以存储结构化为文本文件、表格、电子表格、关系数据库(例如，对象关系数据库)、三元组存储、分层数据存储或它们的任意合适组合的数据。此外，图1中示出的机器、数据库或设备的任意两个或更多个可以组合到单个机器、数据库或设备中，并且本文针对任意单个机器、数据库或设备描述的功能可以细分到多个机器、数据库或设备中。网络170可以是实现机器、数据库和设备(例如，分类服务器130和设备150)之间或之中的通信的任意网络。因此，网络本文档来自技高网...

【技术保护点】
一种系统，包括：存储器，上面实现有指令；以及一个或多个处理器，由所述指令配置为执行以下操作：基于第一图像识别粗分类；生成包围第一图像中描绘的物品的边界框；通过将第一图像裁剪到边界框并旋转裁剪后的部分来生成第二图像；以及基于第二图像识别细分类，所述细分类是粗分类的子分类。

【技术特征摘要】
【国外来华专利技术】2015.01.19 US 62/105,110;2015.12.14 US 14/967,8761.一种系统，包括：存储器，上面实现有指令；以及一个或多个处理器，由所述指令配置为执行以下操作：基于第一图像识别粗分类；生成包围第一图像中描绘的物品的边界框；通过将第一图像裁剪到边界框并旋转裁剪后的部分来生成第二图像；以及基于第二图像识别细分类，所述细分类是粗分类的子分类。2.根据权利要求1所述的系统，其中，所述操作还包括：接收第一图像；基于所述细分类来选择广告；以及使得显示第一图像和广告。3.根据权利要求2所述的系统，其中，第一图像与第一用户帐户相关联；以及向第二用户帐户显示第一图像和广告。4.根据权利要求1所述的系统，其中，生成包围第一图像中描绘的物品的边界框包括：生成用于第一图像中描绘的物品的掩模；生成用于掩模的凸包；以及生成包围凸包的边界框。5.根据权利要求1所述的系统，其中，细分类是从粗分类的可用细分类的集合中选择的；所述操作还包括使用以下操作来训练用于所述粗分类的片段检测器的集合：访问用于每个可用细分类的训练图像集；访问用于每个可用细分类的验证图像集；以及从训练图像集和验证图像集中识别每个可用细分类的区分性片段集；以及基于第二图像识别所述细分类包括将第二图像提供给用于所述粗分类的训练后的片段检测器的集合。6.根据权利要求5所述的系统，其中，识别粗分类的每个可用细分类的区分性片段集包括：针对粗分类的每个可用细分类：从用于所述细分类的训练图像集中提取片段；以及从用于所述细分类的验证图像集中提取片段。7.根据权利要求6所述的系统，其中，识别每个可用细分类的区分性片段集还包括：针对每个可用细分类：选择从所述细分类的训练图像集中提取的片段的随机子集；以及选择从所述细分类的验证图像集中提取的片段的随机子集。8.根据权利要求1所述的系统，其中，所述操作还包括：从客户端设备接收第一图像；基于细分类识别图像集合；以及使所述图像集合显示在客户端设备上。9.根据权利要求8所述的系统，其中，基于细分类识别图像集合包括：识别与所述细分类相关...

【专利技术属性】
技术研发人员：M·哈迪·基亚普尔，邸韡，维格里希·贾格迪希，鲁宾逊·皮拉姆苏，
申请(专利权)人：电子湾有限公司，
类型：发明
国别省市：美国,US