一种面向大规模社交媒体数据的简化可视分析方法技术

本发明专利技术公开了一种面向大规模社交媒体数据的简化可视分析方法，该方法为：利用LDA模型对大规模社交媒体数据进行文本主题分析，并将结果投影至低维空间以直观地呈现主题的分布特征；量化和统计不同主题特征分布，设计高效的采样模型对大规模社交媒体数据进行采样，在维持大规模社交媒体数据空间分布的同时，尽可能地保持原始数据的主题特征分布；设计可视化与交互分析系统工具，集成主题分析和采样模型，设计主题河流图、柱状图、矩阵图、主题环图等可视化图形接口，从主题特征分布、时序演化、空间分布等不同角度对采样结果进行评估，支持用户对大规模具有地理标签的社交媒体数据进行简化和探索式分析。

【技术实现步骤摘要】
一种面向大规模社交媒体数据的简化可视分析方法
本专利技术属于新闻传播、图形学与可视化
，尤其涉及一种面向大规模社交媒体数据的简化可视分析方法。
技术介绍
社交媒体在人们生活中的运用及影响已远远超出人们的想象，随着时代的不断发展和社会的不断进步，社交媒体已渐渐成为人们的生活中不可或缺的一部分。李夏等将社交媒体数据通过Hadoop实现数据存储分析，从而高效优化Solr搜索引擎的索引生成，进一步对社会关系网格、用户群、用户情感、客户城市地图和话题趋势等进行分析；Amir等使用了一种多方法的数据分析方法来获得社交媒体数据中与流感相关的数据和实际流感爆发两种趋势之间的时空相关性，以此解释流感季节的行为模式，减少流感的传播与影响；Xu等提出了一种基于众包的城市突发事件计算算法，能够在社交媒体数据中有效的识别和传递时间信息，帮助特定的社会群体或政府有效的处理突发事件；Markus等通过过滤、聚类分析等方法对社交媒体数据进行处理，从而快速评估飓风哈维和伊尔玛所造成的损失。社交媒体数据在实时传播信息方面发挥了重要作用，然而由于其具有规模大、实时性强本文档来自技高网...

【技术保护点】
1.一种面向大规模社交媒体数据的简化可视分析方法，其特征在于，具体包括如下步骤：/n(1)利用LDA主题模型对大规模社交媒体数据进行文本语义分析，获得文本的主题向量表示，并将每个文本划分到其主题向量中最大值所对应的维度，获得每个文本所对应的主题特征；再利用t-SNE模型将文本的主题向量投影至低维空间，并根据低维空间中的数据分布来计算不同主题特征下的分布方差，以此衡量数据的主题特征分布。/n(2)设计高效采样模型对大规模社交媒体数据进行采样，在简化大规模社交媒体数据规模的基础上，维持大规模社交媒体数据的主题特征分布，且维持大规模社交媒体数据的时空分布特征，具体方法如下：/n(2.1)依次从不同主...

【技术特征摘要】
1.一种面向大规模社交媒体数据的简化可视分析方法，其特征在于，具体包括如下步骤：
(1)利用LDA主题模型对大规模社交媒体数据进行文本语义分析，获得文本的主题向量表示，并将每个文本划分到其主题向量中最大值所对应的维度，获得每个文本所对应的主题特征；再利用t-SNE模型将文本的主题向量投影至低维空间，并根据低维空间中的数据分布来计算不同主题特征下的分布方差，以此衡量数据的主题特征分布。
(2)设计高效采样模型对大规模社交媒体数据进行采样，在简化大规模社交媒体数据规模的基础上，维持大规模社交媒体数据的主题特征分布，且维持大规模社交媒体数据的时空分布特征，具体方法如下：
(2.1)依次从不同主题特征下随机采样一个数据对象，并计算...

【专利技术属性】
技术研发人员：周志光，张欣隆，郭智勇，郑微桦，
申请(专利权)人：浙江财经大学，
类型：发明
国别省市：浙江;33