设备上图像识别制造技术

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于训练第二模型以近似第一模型的输出，以根据分类方案对作为输入接收的图像数据进行分类，并在训练第二模型之后访问指定多个地理位置的地图数据，并针对与实体关联的每个地理位置针对描绘位于该地理位置处的实体的一个或多个图像中的每个图像，将图像提供给第二模型以生成图像的嵌套，将由第二模型生成的一个或多个嵌套中的每一个与地理位置关联，并将指定地理位置的位置数据、关联的一个或多个嵌套以及指定实体的数据存储在数据库中，作为实体的关联实体条目。

【技术实现步骤摘要】
【国外来华专利技术】设备上图像识别
技术介绍
本说明书涉及训练可以在移动设备上用于图像识别的机器学习模型。例如，用户可能期望与用户正在移动设备上查看的内容有关的附加信息。这样的内容可以是文本或图像。用户可能期望使感兴趣的对象或地点突显在用户设备上或指示对用户可能有用的信息的某种其他特征。例如，用户可能遇到一家餐厅，并期望知道关于该餐厅的附加信息。机器学习模型可以接收输入并基于接收的输入和模型的参数值来生成输出。例如，机器学习模型可以接收图像并针对类别集中的每个类别生成分数，给定类别的分数表示图像包含属于该类别的对象的图像的概率。机器学习模型可以由例如单层级的线性或非线性操作组成，或者可以是深度网络，即由卷积神经网络组成的机器学习模型。深度网络的示例是具有一个或多个隐藏层的神经网络。神经网络是机器学习模型，其使用非线性单元的层来为接收的输入预测输出。一些神经网络是深度神经网络，除了输出层之外其还包括隐藏层。每个隐藏层的输出用作网络中下一层的输入。网络的每一层根据相应的一组参数的当前值从接收的输入生成输出。
技术实现思路
本说明书描述了与用于移动设备上的图像识别本文档来自技高网...

【技术保护点】
1.一种在数据处理装置中实现的方法，包括：/n访问第一模型，所述第一模型已被训练为根据分类方案生成对作为输入接收的图像数据进行分类的输出；/n使用所述第一模型训练第二模型以近似所述第一模型的所述输出，以根据所述分类方案对作为输入接收的图像数据进行分类，其中，所述第二模型包括多个连接层，所述多个连接层包括输出层、输入层和多个中间层；以及/n在训练所述第二模型之后：/n访问指定多个地理位置的地图数据，其中，所述地理位置的至少子集中的每个地理位置与位于所述地理位置处的实体以及描绘所述地理位置处的所述实体的一个或多个图像关联；/n对于与实体关联的每个地理位置：/n对于描绘位于所述地理位置处的实体的所述...

【技术特征摘要】
【国外来华专利技术】20180813 US 16/101,5941.一种在数据处理装置中实现的方法，包括：
访问第一模型，所述第一模型已被训练为根据分类方案生成对作为输入接收的图像数据进行分类的输出；
使用所述第一模型训练第二模型以近似所述第一模型的所述输出，以根据所述分类方案对作为输入接收的图像数据进行分类，其中，所述第二模型包括多个连接层，所述多个连接层包括输出层、输入层和多个中间层；以及
在训练所述第二模型之后：
访问指定多个地理位置的地图数据，其中，所述地理位置的至少子集中的每个地理位置与位于所述地理位置处的实体以及描绘所述地理位置处的所述实体的一个或多个图像关联；
对于与实体关联的每个地理位置：
对于描绘位于所述地理位置处的实体的所述一个或多个图像中的每个图像，将所述图像提供给所述第二模型以生成所述图像的嵌套，其中，所述嵌套是由所述中间层之一生成的数据；
将由所述第二模型生成的一个或多个嵌套中的每个嵌套与所述地理位置关联；以及
将指定所述地理位置的位置数据、关联的一个或多个嵌套以及指定所述实体的数据存储在数据库中，作为所述实体的关联实体条目。


2.根据权利要求1所述的方法，还包括：
从移动设备接收对所述数据库中的实体条目的请求，所述请求包括指定所述移动设备的地理位置的位置数据；以及
基于所述移动设备的所述地理位置，选择所述数据库中的实体条目的真子集，其中，实体条目的所述真子集中的每个实体条目具有被确定为满足接近度阈值的位置数据，所述接近度阈值指示所述实体的地理位置被确定为接近所述移动设备的地理位置。


3.根据权利要求2所述的方法，其中，所述接近度阈值是指定地理距离的值。


4.根据权利要求2所述的方法，其中，所述接近度阈值是指定包括所述移动设备的地理位置的预定义区域的值。


5.根据权利要求1所述的方法，其中，指定所述实体的所述数据包括描述所述实体的实体描述以及所述实体的实体名称。


6.根据权利要求5所述的方法，其中，所述实体是企业实体。


7.根据权利要求5所述的方法，其中，所述实体是地标实体。


8.根据权利要求1所述的方法，其中，所述第二模型是卷积神经网络。


9.一种在移动设备中实现的方法，包括：
在所述移动设备上存储第一模型，所述第一模型已被训练为近似根据分类方案对作为输入接收的图像数据进行分类的第二模型的输出，其中，所述第一模型包括多个连接层，所述多个连接层包括输出层、输入层和多个中间层；
向所述移动设备外部的计算机系统发送对由所述计算机系统管理的数据库中的实体条目的请求，所述请求包括指定所述移动设备的地理位置的位置数据，其中，每个实体条目包括：
指定地理位置的位置数据；
指定位于所述地理位置处的实体的数据；以及
在所述计算机系统处由所述第一模型生成的一个或多个嵌套，所述一个或多个嵌套中的每一个从作为所述第一模型的输入接收的一个或多个图像生成，并且图像中的每一个是描绘所述地理位置处的所述实体的图像，并且其中，每个嵌套是由所述中间层之一生成的数据；
从所述计算机系统接收所述数据库中的实体条目的真子集，所述真子集基于所述移动设备的地理位置而选择，并将实体条目的所述真子集存储在所述移动设备上；
由所述移动设备捕获图像，并将所述图像作为输入提供给所述第一模型，以生成捕获的图像嵌套；
确定实体条目的所述真子集中的匹配嵌套集，每个匹配嵌套是根据匹配标准被确定为与所述捕获的图像嵌套匹配的嵌套；
基于所述匹配嵌套集，在实体条目的所述真子集中选择实体条目作为匹配实体条目；以及
在所述移动设备的显示设备上提供描述所述匹配实体条目的实体的显示数据。


10.根据权利要求9所述的方法，其中，基于所述匹配嵌套集，在实体条目的所述真子集中选择实体条目作为匹配实体条目包括：
对于具有匹配嵌套的每个实体条目，基于所述实体条目的位置数据和所述移动设备的位置数据确定距离值；以及
选择相对于具有匹配嵌套的其他实体条目的距离值具有最小距离值的实体条目。


11.根据权利要求9所述的方法，其中，提供描述所述匹配实体条目的实体的显示数据包括：
在所述捕获的图像上选择显示位置；以及
将所述显示数据在所述显示位置处显示在所述捕获的图像上。


12.根据权利要求11所述的方法，其中，在所述捕获的图像上选择显示位置包括：
从所述捕获的图像嵌套确定相对于所述捕获的图像嵌套中的其他活跃值作为最高值的激活值；以及
选择与所述捕获的图像嵌套中的所述激活值对应的显示位置。


13.根据权利要求12所述的方法，其中，所述捕获的图像是由所述移动设备捕获的多个图像帧之一，并且对于所述多个图像帧进行：确定实体条目的所述真子集中的所述匹配嵌套集、选择与所述捕获的图像嵌套中的激活值对应的显示位置和将所述显示数据在所述显示位置处显示在所述捕获的图像上。


14.根据权利要求11中的任一项所述的方法，其中：
所述捕获的图像是由所述移动设备捕获的多个图像帧之一；以及
对于所述多个图像帧进行：确定实体条目的所述真子集中的匹配嵌套集、在实体条目的所述真子集中选择实体条目作为匹配实体条目并提供描述所述匹配实体条目的实体的显示数据。


15.根据权利要求9所述的方法，还包括：
从所述计算机系统接收所述数据库中的实体条目的另外的真子集，所述另外的真子集基于所述移动设备的更新的地理位置而选择，并且将实体条目的所述另外的真子集存储在所述移动设备上；
由所述移动设备捕获另外的图像，并将所述另外的图像作为输入提供给所述第一模型，以生成另外的捕获的图像嵌套；
确定实体条目的所述另外的真子集中的匹配嵌套集，每个匹配嵌套是根据匹配标准被确定为与所述另外的捕获的图像嵌套匹配的嵌套；
基于所述匹配嵌套集，在实体条目的所述另外的真子集中选择另外的实体条目作为另外的匹配实体条目；以及...

【专利技术属性】
技术研发人员：A夏尔马，F祖巴赫，T宾德，L马赫，SE贾扎尔，M沙里菲，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US