用于经由社交媒体内容检测事件的方法和系统技术方案

本发明专利技术涉及一种用于经由社交媒体内容检测事件的方法和系统。一种方法包括：从至少一个社交媒体源获得多个图像；从所述多个图像提取至少一个可视语义概念；区分事件语义概念信号与背景语义概念信号以便检测所述多个图像中的事件；以及检索与所述事件语义概念信号关联的一个或多个图像以便呈现为所检测事件的可视描述。

【技术实现步骤摘要】
用于经由社交媒体内容检测事件的方法和系统
本专利技术的实施例一般地涉及信息技术，更具体地说，涉及社交媒体技术。
技术介绍
在现有方法中，使用支持向量机（SVM）分类器经由基于文本的输入（例如，基于文本的微博）执行社交媒体通道上的事件检测，以便从单个输入检测单个事件。但是，现有方法不包括用于理解相关图像以试图直观量化事件特性的机制。例如，在破坏性事件的情况下，事件特性的量化可以包括物理结构的损坏评估。相应地，现有方法仅承载有限的信息并且是语言特定的。因此，需要将非结构化图像转换为结构化语义，因为结构化语义随时间的变化趋势可以用于可训练且可扩展的事件检测。
技术实现思路
在本专利技术的一个方面，提供用于社交媒体事件检测和基于内容的检索的技术。一种用于经由社交媒体内容检测事件的示例性计算机实现的方法可以包括以下步骤：从至少一个社交媒体源获得多个图像；从所述多个图像提取至少一个可视语义概念；区分事件语义概念信号与背景语义概念信号以便检测所述多个图像中的事件；以及检索与所述事件语义概念信号关联的一个或多个图像以便呈现为所检测事件的可视描述。在本专利技术的另一个方面，一种用于经由社交媒体内容检测事件的示例性计算机实现的方法可以包括以下步骤：从至少一个社交媒体源获得多个图像；从所述多个图像提取至少一个可视语义概念；区分事件语义概念信号与背景语义概念信号以便检测所述多个图像中的事件；检索与所述事件语义概念信号关联的一个或多个图像；将与所述事件语义概念信号关联的所述一个或多个图像分组；使用用户反馈注释包含所述一个或多个图像的组；以及将所注释的包含所述一个或多个图像的组显示为所检测事件的可视描述。本专利技术的另一个方面或其元素可以以制品的形式实现，所述制品有形地包含计算机可读指令，当所述计算机可读指令被执行时，导致计算机执行在此描述的多个方法步骤。此外，本专利技术的另一个方面或其元素可以以装置的形式实现，所述装置包括存储器和至少一个处理器，所述至少一个处理器连接到所述存储器并且可操作以执行所述方法步骤。此外，本专利技术的另一个方面或其元素可以以构件的形式实现，所述构件用于执行在此描述的方法步骤或其元素；所述构件可以包括硬件模块（多个）或硬件和软件模块的组合，其中所述软件模块存储在有形的计算机可读存储介质（或多个此类介质）中。从以下将结合附图阅读的对本专利技术的示例性实施例的详细描述，本专利技术的这些和其它目标、特性和优点将变得显而易见。附图说明图1是示出根据本专利技术的一个实施例的生成事件概率数据的示意图；图2是示出根据本专利技术的一个实施例的图像和语义的关联数据以便表示事件的示意图；图3是示出根据本专利技术的一个实施例的用于经由社交媒体内容检测事件的技术的流程图；图4是示出根据本专利技术的一个实施例的用于经由社交媒体内容检测事件的技术的流程图；以及图5是其中可以实现本专利技术的至少一个实施例的示例性计算机系统的系统图。具体实施方式如在此描述的，本专利技术的一个方面包括使用时间解析的图像语义概念的社交媒体事件检测和基于内容的检索。如在此使用的，“事件”可以被视为用户可能有兴趣主动检测或追溯检索的未计划状态更改。本专利技术的至少一个实施例包括通过观察图像语义随时间的更改而检测大规模社交事件。此外，本专利技术的至少一个实施例包括捕获和检索与所检测事件相关的图像。实例事件可以包括各种活动，例如检阅、地震、龙卷风、体育事件等。如在此详述的，本专利技术的至少一个实施例包括随时间监视上传到一个或多个社交媒体网站的图像的语义。在一个实例实施例中，可以将图像流化到并行系统，所述并行系统实时向图像应用一组生成的语义模型（例如，1000个或更多）。此类语义例如可以包括各种类型的场景、物体、人员以及各种数量的场景、物体、人员。此外，可以测量语义信号的背景水平，并且可以将与背景水平的特定偏差视为事件。与语义关联的图像（包括特定事件信号）可以进一步被分组并呈现为事件的表示。如上所述，所监视和提取的图像语义可以包括各种类型的场景、物体和/或人员。可以先验提供一组标准语义分类器，或者用户可以训练他或她的一组专用语义分类器。在本专利技术的至少一个实施例中，直接从丰富的社交媒体可视数据（例如用户张贴的图像或视频）提取此类图像语义。本专利技术的各方面另外使用该信息直接从上传到社交媒体流的图像和视频检测大规模事件。可以在不受限制的时段内，从图像/视频语义更改检测不受限制的区域（例如城市、地区、州或国家）的未计划状态更改（或“事件”，如在此使用的）。根据本专利技术的一个或多个实施例，可以使用各种技术执行事件检测。一种实例技术包括在预定或用户指定的背景时间内测量语义的平均差和标准差。用户还可以针对事件检测设置异常值（outlier）阈值。例如，用户可以指定当在给定时间内（如果给出背景时段）上传的“碎石”照片数的概率小于5%时，发生事件。此外，在本专利技术的至少一个实施例中，用户可以指定背景时段和事件时段。背景时段可以被视为不包含事件特性的时段。此类实施例的一个附加方面包括学习足以将事件与非事件区别开的区分性特性图像语义，从而便于在将来检测类似于指定事件的事件。学习此类区分性特性图像语义例如可以通过以下操作实现：使用所有语义作为从中训练支持向量机（SVM）分类器的特征，并且将表征事件的图像作为正例，将未表征事件的图像作为反例。图1是示出根据本专利技术的一个实施例的生成事件概率数据的示意图。步骤102包括执行图像分析，例如特征提取、语义分类等。步骤104包括生成语义模型向量数据。该步骤可以包括量化图像（多个）的各种上下文方面，例如示出的绿色植物、水泥和/或沥青的数量。在本专利技术的一个实例实施例中，该步骤还可以包括产生每个语义的置信度得分。步骤106包括例如通过使用交互式机器学习和/或统计分析来执行事件检测。此外，步骤108包括生成事件概率数据。相应地，图1中所示的技术包括通过图像分析系统流化来自一个或多个社交媒体网站的图像以便提取语义内容。如步骤104中所述，这可以包括将流化后的数据表示为语义模型向量。语义模型向量是所有语义分类器的向量形式的串联输出。例如，可以随时间收集来自社交媒体通道的图像。在未发生感兴趣事件的背景时段（在此称为规则状态）内，图像和视频将具有其语义组成（semanticmakeup）的一种特定统计分布。在本专利技术的至少一个实施例中，可以针对在时帧△t内收集的所有图像计算实例语义模型向量值的平均值。当发生感兴趣事件（在此称为不规则状态）时，同样长的时段内的语义组成将根据事件特性而更改。在地震的一个示例性实例中，在该时段内，可能观察到更多包含建筑物、沥青和水泥的图像和视频。还如图1中所示，本专利技术的一个方面包括通过语义信号执行事件检测以便计算事件发生概率。本专利技术的一个实例实施例可以包括统计分析。例如，此类分析可能包括测量背景“规则状态”语义的平均差和标准差，并标识远离“规则状态”语义信号平均值的更改超过阈值数量的标准差的时段。还如所述的，本专利技术的一个实例实施例还可以包括实现监管式机器学习算法。例如，用户可以突出显示其中未发生感兴趣事件的时段，然后突出显示其中发生各种感兴趣事件的时段。机器学习算法可以确定每种类型事件语义之间的区别或确定没有事件语义，并且能够在将来根据该区别识别此类事件。同样，用户可以指定背景时段和事件时段两者。系统然本文档来自技高网...

【技术保护点】
一种用于经由社交媒体内容检测事件的方法，所述方法包括以下步骤：从至少一个社交媒体源获得多个图像；从所述多个图像提取至少一个可视语义概念；区分事件语义概念信号与背景语义概念信号以便检测所述多个图像中的事件；以及检索与所述事件语义概念信号关联的一个或多个图像以便呈现为所检测事件的可视描述；其中由计算机设备执行所述步骤中的至少一个步骤。

【技术特征摘要】
2012.09.24 US 13/625,1321.一种用于经由社交媒体内容检测事件的方法，所述方法包括以下步骤：从至少一个社交媒体源获得多个图像；从所述多个图像提取至少一个可视语义概念；区分事件语义概念信号与背景语义概念信号以便检测所述多个图像中的事件，其中，所述背景语义概念信号是未发生所述事件的时段的语义概念信号；以及检索与所述事件语义概念信号关联的一个或多个图像以便呈现为所检测事件的可视描述；其中由计算机设备执行所述步骤中的至少一个步骤。2.根据权利要求1的方法，其中来自至少一个社交媒体源的所述多个图像包括从照片和/或视频输入获得的图像。3.根据权利要求2的方法，其中所述照片和/或视频输入包括用户在至少一个社交媒体源上张贴的图像和/或视频。4.根据权利要求1的方法，其中所述获得包括实时流化来自所述至少一个社交媒体源的多个图像。5.根据权利要求1的方法，其中所述至少一个可视语义概念表征事件。6.根据权利要求1的方法，其中所述区分基于将所提取的至少一个可视语义概念中的每个可视语义概念的观察到的信号强度与预定异常值阈值相比较。7.根据权利要求1的方法，其中所述区分包括测量每个语义概念在用户指定的背景时段内的平均差和标准差。8.根据权利要求1的方法，其中所述区分包括使用交互式机器学习算法。9.根据权利要求8的方法，包括：将所述多个图像中对事件检测的贡献最显著的图像评估为事件相关。10.根据权利要求1的方法，其中所述区分包括执行统计分析以便计算事件发生概率。11.根据权利要求1的方法，包括：随时间的推移而测量每个语义概念信号。12.根据权利要求1的方法，包括：标识表示实时事件的一个或多个语义概念信号峰值。13.根据权利要求1的方法，包括：将使用全球定位系统GPS功能注释的图像叠加到地图上以便提供所述事件的地理空间表示。14.根据权利要求1的方法，包括：检索与所检测事件相关的一个或多个其它图像。15.根据权利要求1的方法，包括：在指定时段内监视上传到一个或多个社交媒体网站的图像的语义。16.根据权利要求15的方法，包括：将图像流化到并行系统，所述并行系统将一组生成的语义模型实时应用于所述图像。17.根据权利要求1的方法，包括：指定背景时段和事件时段。18.一种用于经由社交媒体内容检测事件的方法，所述方法包括以下步骤：从至少一个社交媒体源获得多个图像；从所述多个图像提取至少一个可视语义概念；区分事件语义概念信号与背景语义概念信号以便检测所述多个图像中的事件，其中，所述背景语义概念信号是未发生所述事件的时段的语义概念信号；检索与所述事件语义概念信号关联的一个或多个图像；将与所述事件语义概念信号关联的所述一个或多个图像分组；使用用户反馈注释包含所述一个或多个图像的组；以及将所注释的包含所述一个或多个图像的组显示为所检测事件的可视描述；其中由计算机设备执行所述步骤中的至少一个步骤。19.根据权利要求18的方法，其中所述区分基于将所提取的至少一个可视语义概念中的每个可视语义概念的信号强度与预定异常值阈值相比较。20.根据权利要求18的方法，包括：将使用全球定位系统GPS功能注释的图像叠加到地图上以便提供所述事件的地理空间表示。21.一种用于经由社交媒体内容检测事件的系统，所述系统包括：用于从至少一个社交媒体源获得多个图像的模块；用于从所述多个图像提取至少一个可视语义概念的模块；用于区分事件语义概念信号与背景语义概念信号以便检测所述多个图像中的事件的模块...

【专利技术属性】
技术研发人员：N·C·科德拉，A·耐特塞夫，J·R·史密斯，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US