组织与用户关联的图像制造技术

一种方法包含识别与用户关联的图像，其中，所述图像被识别为由与用户关联的用户装置捕获的图像、被存储在与用户关联的用户装置上的图像、并且被存储在与用户关联的云存储器中的图像中的至少一个。该方法还包含对于图像中的每个图像，确定一个以上的标签，其中一个以上的标签是基于元数据和初级注释中的至少一个。该方法还包含生成一个以上的标签对于一个以上的置信度分数的映射，其中，一个以上的置信度分数指示一个以上的标签适用于对应图像的程度。该方法还包含与用户进行交互，以获得用于对一个以上的图像进行分类的识别信息。

【技术实现步骤摘要】
【国外来华专利技术】组织与用户关联的图像相关申请的交叉引用本申请请求2015年12月28日提交的名称为组织与用户关联的图像的申请号是14/980,835的美国专利的优先权，通过引用将其全部内容结合在此。
技术介绍
随着智能手机中的相机的标准化，消费者比以前拍摄了更多的图片和视频。对于消费者来说，在他们的移动装置上存储有数以百计或数以千计的照片并不是罕见的。这些照片有时会被备份到云存储服务，但是在很多情况下，照片仍然被存储在移动装置上。由于与使用云存储服务关联的成本、宽带接入的高成本、宽带连接性的缺乏，或者其他因素，用户可能选择不将他们的照片备份到云端。搜索特定照片或者一组照片的用户通常必须手动地筛选他们的图像，直到他们找到特定照片或者一组照片。可能没有使用搜索项来搜索存储在云端或者电话上的照片的快速的方式。因为不同的用户可能采用的描述照片中的某个特性或者特征的词语的高差异度，采用自然语言处理技术的媒体搜索引擎可能无法找到特定照片或者一组照片。
技术实现思路
实施方式通常涉及组织与用户关联的图像。在一些实施方式中，一种方法包括：识别与用户关联的图像，其中，该图像被识别为由与用户关联的用户装置捕获的图像、被存储在与用户关联的用户装置上的图像、以及被存储在与用户关联的云存储器中的图像中的至少一个。该方法还包含对于图像中的每个图像确定一个以上的标签，其中一个以上的标签是基于元数据和初级注释中的至少一个的。该方法还包含生成一个以上的标签对于一个以上的置信度分数的映射，其中，一个以上的置信度分数指示一个以上的标签适用于对应图像的程度。该方法还包含与用户进行交互，以获得用于对一个以上的图像进行分类的识别信息。在一些实施方式中，该方法进一步包含通过将识别信息添加到一个以上的图像来更新映射。在一些实施方式中，该方法进一步包括：从用户接收用于与用户关联的一个以上的上述图像的一个以上的用户生成的搜索项；确定用户生成的搜索项中的模糊之处；以及请求用户提供澄清信息以解决用户生成的搜索项中的模糊之处。在一些实施方式中，该方法进一步包括：从用户接收将一个以上的图像发送给与第三方应用程序关联的人的指令，确定与该人关联的联系简介；以及基于联系简介，为该人提供一个以上的图像。在一些实施方式中，一个以上的标签包含次级注释，并且通过对于元数据和初级注释中的至少一个进行标签扩展来生成次级注释。在一些实施方式中，与用户进行交互包含传输图像和音频提示，以提供与图像中的实体有关的识别信息。在一些实施方式中，该方法进一步包括：从用户接收购买与上述图像中的一个图像中的实体有关的物品的请求；以及为用户购买该物品。在一些实施方式中，系统包括：耦接到内存的一个以上的处理器；图像处理模块，图像处理模块存储在内存中并且可被一个以上的处理器执行，图像处理模块可操作为识别与用户关联的图像，并且对于每个图像，确定一个以上的标签，其中，一个以上的标签是基于元数据、初级注释以及次级注释中的至少一个，并且通过对于元数据和初级注释中的至少一个进行标签扩展来生成次级注释。系统可以进一步包含索引模块，索引模块被存储在内存中并且可被一个以上的处理器执行，索引模块可操作为生成一个以上的标签到一个以上的置信度分数的映射，其中，一个以上的置信度分数指示一个以上的标签适用于对应图像的程度。该系统可以进一步包含图像助理，该图像助理被存储在内存中，并且可被一个以上的处理器执行，图像助理可操作为接收第一搜索查询并且为用户提供对应图像，第一搜索查询包含与一个以上的标签相对应的一个以上的用户生成的搜索项。索引模块可以进一步可操作为与用户进行交互以获得用于对一个以上的图像进行分类的识别信息和通过将识别信息添加到一个以上的图像来指示索引模块更新映射。在一些实施方式中，该方法可以进一步包括：识别与用户关联的图像的手段，其中，图像被识别为由与用户关联的用户装置捕获的图像、被存储在与用户关联的用户装置上的图像、以及被存储在与用户关联的云存储器中的图像中的至少一个。该方法还包含对于图像中的每个图像，确定一个以上的标签的手段，其中一个以上的标签是基于元数据和初级注释中的至少一个的。该方法还包含生成一个以上的标签对于一个以上的置信度分数的映射的手段，其中，一个以上的置信度分数指示一个以上的标签适用于对应图像的程度。该方法还包含与用户进行交互的手段，以获得用于对一个以上的图像进行分类的识别信息。其他方面可以包含对应的方法、系统、设备和计算机程序产品。如下所述的系统和方法有利地创建用于组织图像的结构化格式，该结构化格式使用搜索查询来提高搜索图像的能力，并且减小检索与该搜索查询匹配的图像所需的计算费用和时间。附图说明通过示例并且不通过附图的图的限制来图解本公开，附图中，相同的参考数字用于涉及类似的元件。图1图示了组织图像的示例系统的方框图。图2图示了组织图像的示例计算装置的方框图。图3A图示了可操作为提供与图像中的实体有关的附加信息的用户界面的图形表示。图3B图示了可操作为提供与图像中的实体有关的附加信息的用户界面的另一个示例的图形表示。图4A图示了在进行模型传播之前的图表的图形表示。图4B图示了在进行模型传播之后的图表的图形表示。图5图示了可操作地询问用户澄清问题的用户界面的图形表示。图6A-6B是组织图像的示例方法的流程图。具体实施方式一些实施方式可能包括用于组织与用户关联的图像的系统和方法。例如，图像可以是通过与用户关联的用户装置被捕获的，被存储在与用户关联的用户装置上的，被存储在云存储器中并且与用户关联的，或者是被用户装置捕获的、被存储在用户装置上并且被存储云存储器中的图像的组合。在一些实施方式中，如果图像被用户捕获或者被用户上传到云端，那么图像可以与用户关联。在一些实施方式中，如果图像被注释为包括用户的标识，例如如果通过用户或者另一个人在图像中标记该用户，那么图像可以与用户关联。对于每个图像，可以确定一个以上的标签。一个以上的标签可以基于元数据、初级注释和次级注释中的至少一个。通过将一个以上的标签映射到一个以上的置信度分数，可以生成索引。置信度分数可以指示标签适用于对应图像的程度。元数据可以基于用户装置生成的数据或者用户提供的数据，用户装置诸如用于捕获图像的图像捕获装置。可以通过进行图像识别来生成初级注释，以确定出现在图像中的一个以上的实体以及与图像关联的一个以上的特征。例如，实体可以包括图像中的地标或者人，特征可以是雾，并且初级注释可以是地标(埃菲尔铁塔)、人(简多伊)、或者特征(雾)。还可以基于与元数据所表示的东西有关的一个以上的推断，从与图像关联的元数据生成初级注释。例如，元数据可以包括捕获图像时的高度的指示。基于大约35，000英尺的高度，可以推断图像是在飞机上被捕获的。初级注释可以包括“飞行时拍摄”或者“在飞机上拍摄”使得更容易搜索图像。可以通过识别经由元数据的标签扩展的相关注释或者通过识别与图像关联的初级注释的相关注释来生成次级注释。标签扩展可以包括基于层次分类法的扩展，该层次分类法包括确定比用于实体的种类宽泛的一个以上的较高级标签，例如识别牛头犬并且生成狗、动物和哺乳动物标签。标签扩展还可以包括基于元数据或者初级注释与其他词语的语义类似度的扩展，诸如将咖啡店扩展为小餐馆，或者基于视觉类似度的扩展，诸如将幼犬扩展为本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，其特征在于，所述方法包括：识别与用户关联的图像，其中，所述图像被识别为由与所述用户关联的用户装置捕获的图像、被存储在与所述用户关联的所述用户装置上的图像、以及被存储在与所述用户关联的云存储器中的图像中的至少一个；对于所述图像中的每个图像，确定一个以上的标签，其中所述一个以上的标签是基于元数据和初级注释中的至少一个的；生成所述一个以上的标签对于一个以上的置信度分数的映射，其中，所述一个以上的置信度分数指示所述一个以上的标签适用于对应图像的程度；以及与所述用户进行交互,以获得用于对一个以上的所述图像进行分类的识别信息。

【技术特征摘要】
【国外来华专利技术】2015.12.28 US 14/980,8351.一种计算机实现的方法，其特征在于，所述方法包括：识别与用户关联的图像，其中，所述图像被识别为由与所述用户关联的用户装置捕获的图像、被存储在与所述用户关联的所述用户装置上的图像、以及被存储在与所述用户关联的云存储器中的图像中的至少一个；对于所述图像中的每个图像，确定一个以上的标签，其中所述一个以上的标签是基于元数据和初级注释中的至少一个的；生成所述一个以上的标签对于一个以上的置信度分数的映射，其中，所述一个以上的置信度分数指示所述一个以上的标签适用于对应图像的程度；以及与所述用户进行交互,以获得用于对一个以上的所述图像进行分类的识别信息。2.如权利要求1所述的方法，其特征在于，进一步包括：通过将所述识别信息添加到所述一个以上的所述图像来更新所述映射。3.如权利要求1所述的方法，其特征在于，进一步包括：从所述用户接收用于与所述用户关联的一个以上的所述图像的一个以上的用户生成的搜索项；确定所述用户生成的搜索项中的模糊之处；以及请求所述用户提供澄清信息以解决所述用户生成的搜索项中的所述模糊之处。4.如权利要求1所述的方法，其特征在于，进一步包括：从所述用户接收将一个以上的所述图像发送给与第三方应用程序关联的人的指令，确定与所述人关联的联系简介；以及基于所述联系简介，为所述人提供一个以上的所述图像。5.如权利要求1所述的方法，其特征在于，所述一个以上的标签包含次级注释，并且通过对于所述元数据和所述初级注释中的至少一个进行标签扩展来生成所述次级注释。6.如权利要求1所述的方法，其特征在于，所述与所述用户进行交互包含传输图像和音频提示，以提供与所述图像中的实体有关的所述识别信息。7.如权利要求1所述的方法，其特征在于，进一步包括：从所述用户接收购买与所述图像中的一个图像中的实体有关的物品的请求；以及为所述用户购买所述物品。8.一种计算机系统,其特征在于，包括：耦接到内存的一个以上的处理器；图像处理模块，所述图像处理模块存储在所述内存中并且可被所述一个以上的处理器执行，所述图像处理模块可操作为识别与用户关联的图像，并且对于每个所述图像，确定一个以上的标签，其中，所述一个以上的标签是基于元数据、初级注释以及次级注释中的至少一个，并且通过对于所述元数据和所述初级注释中的至少一个进行标签扩展来生成所述次级注释；索引模块，所述索引模块被存储在所述内存中并且可被所述一个以上的处理器执行，所述索引模块可操作为生成所述一个以上的标签到一个以上的置信度分数的映射，其中，所述一个以上的置信度分数指示所述一个以上的标签适用于对应图像的程度；和图像助理，所述图像助理被存储在所述内存中，并且可被所述一个以上的处理器执行，所述图像助理可操作为接收第一搜索查询并且为所述用户提供对应图像，所述第一搜索查询包含与所述一个以上的标签中的一个或多个相对应的一个以上的用户生成的搜索项。9.如权利要求8所述的系统，其特征在于，所述索引模块进一步可操作为：与所述用户进行交互，以获得用于对一个以上的所述图像进行分类的识别信息；以及通过将所述识别信息添加到所述一个以上的所述图像来指示所述索引模块更新所述映射。10.如权利要求8所述的系...

【专利技术属性】
技术研发人员：罗宾·杜瓦，苏吉特·拉维，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US