一种自动将照片组织为事件的方法。事件定义为在相同地点和相同时间间隔内拍摄的一组照片，展现真实世界发生的事情。所述方法包括如下步骤：使用照片上的已知日期、时间、EXIF数据对照片集合进行分段或进行对象识别。基于人脸、对象识别或社交图谱将具有相似日期、时间或GPS信息的片段相关联。提供元数据以便标记事件。
【技术实现步骤摘要】
【国外来华专利技术】用于生成和标记照片集合中的事件的方法和系统
技术介绍
下文描述了本专利技术的
技术介绍
和问题领域。EXIF :可交换图像文件格式EXIF是向现有文件格式，如JPEG和TIFF添加特定元数据标签的行业标准。照相机制造商广泛使用EXIF标准，在拍摄时将相关元数据写入图像文件。所采用的元数据标签多种多样，但是趋向于包括拍摄的日期和时间，照相机设置，例如快门速度、孔径、ISO速度、焦距、测光模式、闪光的使用(如果有的话)、图像方向、GPS坐标、用于快速查看的缩略图以及版权信息等。EXIF标准的最新版本是 2. 21 版,可以在 http://www. cipa. jp/exifprint/index_ e. html上查到。GPS :全球定位系统—种基于卫星技术确定地理位置的方法。目前已有具有内置GPS技术支持的专用照相机，许多具有内置照相机的智能手机也具有GPS功能。在这些情况下，在拍摄照片时，照相机的经度和纬度，即当前GPS检索到的位置，被写入结果文件的EXIF元数据中。社交图谱社交图谱是基于个体及其相互依赖关系的社会结构的表示。图谱上的节点表示个体，节点间的关系定义相互依赖关系的类型，比如朋友、亲属、合作伙伴以及包括任意类型的业务关系的其他类型的关系。可以添加任意数量的与进一步说明相互依赖关系相关的附加属性来充实图谱。任何(通常是在线)服务的用户之间的关系可以通过社交图谱表达。人们对强调用户间互动的服务(例如社交网络服务)的社交图谱特别感兴趣。特别地，所述包含用户、用户照片和谁有访问这些照片的权限的社交图谱是本专利技术的相关图谱。通常通过利用服务的应用程序接口(如果可用)而衍生自这些服务的社交图谱趋于变得详细、最新以及信息密集。社交图谱或网络可以通过采用基于网络和图谱理论的数学技术进行分析。可能的应用范围为从提供用户目标服务到方便通信和内容共享以及行为预测、广告和市场分析。对象识别和计算机视觉基于内容的图像检索(CBIR)属于将具有相似内容的图像作为查询图像进行搜索的领域。本文中的术语“内容(content) ”可以指颜色、形状、纹理或可以从图像自身导出的任何其他信息，最新概况参见[I]。对象识别为使用计算机视觉和图像分析在图像集合中自动查找相似的对象、背景或场景的过程，是一种与本专利技术关系最密切的CBIR的子领域。年度PASCAL挑战赛[2]对富于挑战性的和成长性的数据集的算法进行评估。当前最先进的对象识别使用应用到被检测兴趣点的、在整张照片上密集采样的或全部应用到照片本身的局部描述符(经常是几个不同类型的组合)。特征描述符的实例为SIFT兴趣点检测器和描述符[3]，HOG描述符[5](均包含照片局部梯度方向上发生的事情)以及其它局部检测器和描述符[4]。这些特征描述符和其他特征描述符在全局照片水平上也是适用的。对象识别建立在对这些描述符(可能与其他类型的数据相结合)的比较和分析上。
技术实现思路
本专利技术不局限于或依赖于特征描述符的任何特定选择(局部或全局)并且应认为以上参考是指示描述符类型的参考而非任何特定的选择。本专利技术描述了一种利用上述数据源自动将照片组织为事件的方法和系统。换言之，提供了一种将图像中的目标、背景、场景和元数据的识别与社交图谱数据相结合用于自动检测感兴趣事件的方法和系统。具体实施例方式事件 事件定义为在相同地点和相同时间间隔内拍摄的一组照片，展现真实世界发生的事情。这种发生的事情可以是任何事情，从社交集会或聚会到新闻事件或到旅游胜地参观。特别地，事件可以包括由任意数量的个体(例如婚礼上的多位客人)所拍摄的照片，每位客人使用任意数量的成像设备拍摄自己的那组照片。事件通过对用户来说自然的方式将照片集合分段。同时，事件将自然属于一体的照片绑定在一起，即使这些照片可能来自不同的人和来源并且可能包括不同文件格式的图像。事件需求由使用所有可能在线方法的全部用户社交关系共享的所有照片可很快加到一起形成数量巨大的内容。由于用户没有花费时间以便于个体(对这些个体来说，照片具有相关性)检索或共享的方式来标记照片，这些内容大部分常常是无组织的。因此，大部分在线照片的结局是没有被看到也没被使用。事件为消耗组织结构提供了方便，这有助于使大量照片集合有意义。通过使用由事件组织的照片的整个社交图谱，用户可以更容易的获得全部可用内容的概览。由于是根据“真实世界”发生的事情进行逻辑组织而非由摄影师来分段，因此检索变得更加自然。所有情境相关的照片一同呈现，因此再也不需要查看多个地点以清楚的了解相关内容。事件本身具有元数据集，包括但并非严格包括或限于日期和时间范围、地理位置、描述名字或标记、任意类型的组织标签和身份信息，所述身份信息属于包含在事件内的照片中出现的人。事件的创建事件可以由人们手动创造，人们利用某些现有在线服务或工具对事件进行组织并且将某一真实世界发生的事情的照片手动添加到某一处的普通相册，但是这在实际上很少发生。尽管有用性(如之前部分所述)是很清楚的，但这种方法明显存在几个问题I.概念陌生。在线照片仍然是一种较新的现象，并且大多数用户仍然认为只有实体相册能将某人在一个地方的照片保存一段时间。2.缺乏工具。事实上，不存在专用于此用途的工具(在线的或其它类型的)。现有工具或服务可以重新设置或适应来实现此项功能，但是由于这些工具并非为方便此功能而设计，所以对工具常常具有严格的限制。3.技术困难。将来自一个地点的几个来源的照片聚集起来并且利用自建或重新设置的工具和服务对照片进行组织是一项技术上的挑战，因此普通用户无法做到。4.费力费时。虽然现有工具和服务可以保存一组照片并且使相关人员可以访问这些照片，但是上传、分类以及将这些照片组织为一个有用的相关整体要耗费大量时间、精力以及用户间的合作。所要消耗的时间要多于用户预期的平均值。本专利技术介绍了通过由社交图谱联系的个体自动创建照片以外的事件的方法。除了利用社交图谱自身聚集的信息外，元数据、EXIF信息、GPS坐标和计算机视觉技术用于将照片集合分段成事件并且将相关元数据添加到每个事件中以方便与事件相关的人检索和分享事件。数据源 下述方法和数据源可以用于将照片集合分段，将这些片段和其他片段相关联，从而形成事件并提供元数据使得可以容易地检索(通过浏览或搜索)和共享每个事件。将这些方法和数据源联合使用可以生成一种用于将遍及在线服务，社交网络和个体的照片组织起来的稳定系统。日期和时间(用于分段)日期和时间是分段照片的有效方式。通常可以用两个基本时间戳(拍摄时间和上传时间)在在线场景下进行分段。通过对在同一时间点上传的全部照片进行聚类，可以对照片进行很粗糙的初步分段。此处做出如下假设所拍摄的一件现实世界发生的事情的照片基本上全部在同一时间上传。通过查看拍摄时间，可以进一步划分前一步骤得到的片段。通过将拍摄的、在未超过一定阈值时及时进一步分开的照片分组来进行划分。EXIF数据(用于分段)通过分析每张照片的EXIF数据，也可以将照片分段或对分段进一步微调。分段可以用来检测场景或主题的快速变化，从而提示应创建一个片段边界。本专利技术使用下列连续拍摄的照片中的场景或主题的快速变化作为指标I.快门速度的大幅变化。在相同的场景/位置内，采光趋向于基本一致。大的变化表明场景/位置已经发生变化，例如由于摄影师本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】2009.10.27 US 12/606,2211.一种将属于一个或多个用户的照片自动分组的方法，包括下列步骤 -使用社交图谱、日期、时间、EXIF和对象识别的任意数据源或组合将照片集合进行分段； -进一步使用社交图谱、日期、时间、GPS、人脸识别和对象识别的任意数据源或组合将这些片段与其他片段相关联； -提供元数据以使得能够检索。2.根据权利要求I所述的方法，其中，所述集合是用户相册或相册的一部分。3.根据权利要求I所述的方法，其中，所述片段在社交网络用户之间或照片分享网站之间相互关联。4.根据权利要求I所述的方法，其中，所述元...
【专利技术属性】
技术研发人员：蒂基斯·斯塔岚霍夫，简·艾瑞克·索姆，尼科拉耶·尼霍姆，杰弗·帕克，
申请(专利权)人：苹果公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。