图像聚类方法技术

图像聚类方法。公开了确定多个图像内的一个或多个事件子集的方法。每个图像与指定由图像捕获设备捕获图像的时间和位置的时间数据和位置数据相关联。该方法基于与多个图像的捕获时间排序列表中的每个相邻图像对的图像相关联的时间数据来确定用于每个相邻图像对的时间变量。然后基于与图像的排序列表中的每个相邻图像对的图像相关联的位置数据来确定用于每个相邻图像对的距离变量。该方法确定图像捕获设备在多个图像中的每个图像的捕获时间和位置处的速度数据。然后基于代价函数来将图像的排序列表划分为一个或多个事件子集，代价函数是根据时间变量和距离变量的标准化来确定的，其中，与速度数据相关地对时间变量和距离变量进行加权。

【技术实现步骤摘要】

本专利技术涉及图像聚类，更具体地说，涉及基于事件的图像聚类。
技术介绍
传统地，很多照片聚类算法依赖于时间信息来将照片组织为群组。例如，通常按拍摄照片的日期或通过标识照片的时间排序列表中的重要时间差来对照片进行分组。虽然时间是用于确定事件边界的关键指示符，但当单独使用时，所推导的值可能受限制。例如，在一个小时过去后，拍摄者可能处于60km外的新位置，或他们可能在同一位置。他们移动了多远是额外信息，其可以区分是否已经产生新事件。通常使用由与图像捕获设备(例如照相机)集成的实时时钟生成的时间戳来把时间信息与捕获的图像相关联。通常使用卫星定位/导航设备(比如全球定位系统(Global Positioning System, GPS)设备)来确定位置数据(有时被称为地理学数据、地理数据或地理标签)。此外，这样的设备可以与照相机集成。这样的信息当与捕获的图像相关联时是元数据，并且通常被组织成图像的JPEG (. jpg)文件的EXIF分量。用于基于时间和位置信息而将照片布置为群组的技术已经存在了很多年，然而，提供地理标签以及时间戳的照相机近来才进入主流使用。在没有将GPS信息嵌入照片的EXIF数据的照相机的情况下，用户将需要手动地将GPS信息注解到他们的照片，或随身携带GPS记录器，GPS记录器随后将通过交叉参考照片上的时间戳与GPS日志上的时间戳来提供用于照片的GPS信息。这两种方法都是不方便而且耗时的。可能争议的是，手动地对照片做地理标签或交叉参考GPS日志的开销远超过对于照片聚类使用位置信息所获得的潜在好处。结果，对照片做地理标签的开销意味着基于时间和位置的聚类算法没有被广泛采用。然而，随着在照片上提供地理标签的照相机变得更流行，使用时间和GPS信息对照片 进行分组的照片聚类算法将变得更广泛使用。结果，在EXIF数据中提供地理标签的照相机的预期增多的情况下，可以在将照片的集合分组为事件时利用这样的信息。当前的事件标识方法在照片的时间排序列表中查看相邻照片之间的时间差和距离差，并且尝试标识时间和距离离群值(outlier)。该方法可能在以下情况下并非总是有用当拍摄者对于同一事件拍摄两个照片集合——在一个位置拍摄一个并且然后当日稍后在相同位置拍摄更多照片时。在来自第一集合的最后照片与来自第二集合的第一照片之间的边界处，将认为是时间离群值，这是因为时间的较大改变；但不认为是距离离群值，这是因为其在相同区域中。其它技术寻求标识何时产生时间差或距离差离群值。这些方法的缺点在于，通过仅考虑时间或距离，新事件可能被不正确地检测。例如，对于旅行事件(比如在公共汽车上或小汽车中旅行的同时拍摄照片)，大距离差将被检测为离群值，导致旅行事件被错误地分成多个事件。此外，如果存在一个位置中拍摄的照片的短突发，但突发之间的时间被认为是离群值一则一个事件可能被错误地分成多个事件。此外，前述两种技术都不能容易地生成预定数量的聚类。可以通过改变针对什么内容构成离群值的阈值来调整聚类的数量。然而，这样的方法是不方便的并且所创建的聚类的数量无法容易地设置。
技术实现思路
现在公开一种用于基于元数据(诸如与每张照片关联的时间和位置信息等)而将照片的集合分组为事件的方法。时间和位置信息是新事件开始的关键指示符。在很多情况下，用户已经拍摄的两个照片之间的时间的明显改变和/或距离的明显改变指示新事件的开始。所述方法把旅行事件分组在一起以及把当拍摄者正在区域中游走时拍摄照片的事件分组在一起。通常将媒体对象(比如照片)分组为事件，以帮助用户容易地组织、浏览以及搜索它们。这些需求随着数字摄影的增长以及人们拍摄的大量照片而出现。在当前相册生成应用中，将照片分组为事件并且以有用的地理信息对事件进行标记，以协助用户根据其照片集合回想并且识别事件。这些特征帮助用户从其照片集合找寻并且选取事件，以创建相册。本公开内容涉及当前相册生成软件的分组方面。 根据本公开内容的一方面，提供了一种确定多个图像内的一个或更多个事件子集的方法。每个图像与指定由图像捕获设备捕获图像的时间和位置的时间数据和位置数据相关联。所述方法基于与多个图像的捕获时间排序列表中的每个相邻图像对的图像相关联的时间数据来确定用于每个相邻图像对的时间变量。然后基于与图像的排序列表中的每个相邻图像对的图像相关联的位置数据来确定用于每个相邻图像对的距离变量。所述方法确定图像捕获设备在多个图像中的每个图像的捕获时间和捕获位置处的速度数据。然后基于代价函数来将图像的排序列表划分为一个或更多个事件子集，所述代价函数是根据时间变量和距离变量的标准化而被确定的，其中，与所述速度数据相关地对时间变量和距离变量进行加权。还公开了其它方面。附图说明现将参照以下附图描述本专利技术的至少一个实施例，其中图I是将排序照片列表分组为事件的一般问题的图；图2示出考虑排序照片列表中的相邻照片之间的时间差以执行图像聚类的现有技术示例；图3示出考虑排序照片列表中的相邻照片之间的时间差和距离差以执行图像聚类的现有技术示例；图4是示出(基于标准化的时间变量和距离变量的加权和以及权重基于速度信息)推导排序列表中的相邻照片之间的“代价”的方法的高级别示图；图5是示出在排序列表中的所有相邻照片对之间计算的“代价”的示例的图，其中代价函数中的峰值对应于新事件的开始；图6是示出使用时间、位置和速度信息检测新事件的开始的处理的示意性流程图；图7是示出均值方差标准化的处理的示意性流程图8是示出计算速度变量的处理的示意性流程图；图9是示出计算代价函数的处理的示意性流程图；图10A、图IOB和图IOC是在两个飞机旅程上拍摄的图像的位置集合的示图。图IOB示出当不根据速度调整权重时将图像分组为事件。图IOC示出当根据速度调整权重时将图像分组为事件。图11是当使用根据本公开内容的图像聚类应用时用户遇到的第一屏幕的屏幕截图，其显示分组为事件的用户照片集合；图12是第二屏幕的屏幕截图，其中用户可以指定将使用多少扩展以及在什么扩展中将使用哪些事件；图13是用户选择在扩展中使用什么图像的第三屏幕的屏幕截图； 图14也是第三屏幕的屏幕截图，示出如何修改图像的布局；以及图15A和图15B形成在上面可以实践所描述的布置的通用计算机系统的示意性框图。具体实施例方式专利技术人注意到，时间和距离是非常不同的量，故此，这二者在处于可以合并在一起的状态下之前都需要经历变换。如果简单地加在一起，则在很多情况下最终将仅考虑一个量，因为该量将比另一量大若干数量级。至于可以如何以有用的方式组合这些不同的量，现有技术并未对专利技术人提供指示或指导。随着数字摄影的增长，人们拍摄的图像的数量已经显著增长。然而，随着所拍摄的照片的数量增长，照片集合变得更难以管理、排序以及找寻图像。公开了一种将照片的集合分组为可识别事件以提供组织并且协助用户识别其照片集合的不同部分的方法。该方法优选地用在相册生成应用中，其中，用户的集合被组织为事件，并且用户选择在其相册中使用什么事件。以下描述公开了一种将照片集合划分为与旅行事件对应的一个或更多个群组的系统。甚至在拍摄者正快速移动的情况下，比如在小汽车或公共汽车里的同时拍摄照片，或在区域(比如娱乐公园或博物馆)中游走的同时拍摄照片的情况下，该系统也将照片集合分组为适当的旅行事本文档来自技高网...

【技术保护点】
一种确定多个图像内的一个或更多个事件子集的方法，每个图像与指定由图像捕获设备捕获所述图像的时间和位置的时间数据和位置数据相关联，所述方法包括：基于与所述多个图像的捕获时间排序列表中的每个相邻图像对的图像相关联的所述时间数据来确定用于所述相邻图像对的时间变量；基于与图像的排序列表中的每个相邻图像对的图像相关联的所述位置数据来确定用于所述相邻图像对的距离变量；生成所述图像捕获设备在所述多个图像中的每个图像的捕获时间和捕获位置处的速度数据；以及基于代价函数来将图像的排序列表划分为一个或更多个事件子集，所述代价函数是根据所述时间变量和距离变量的标准化而被确定的，其中，与所述速度数据相关地对所述时间变量和所述距离变量进行加权。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：D·J·蒙德，R·桑斯特，B·J·德雷克，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：