一种基于用户词典的网络社交文本大数据处理方法及系统技术方案

本发明专利技术公开了一种基于用户词典的网络社交文本大数据处理方法及系统；对网络社交文本大数据分析价值的挖掘，以及网络社交文本大数据处理的方法与技术。采用集中式计算的方法，将半结构化数据的数据转化为结构化的数据，本发明专利技术主要是对半结构化的数据进行处理，通过对有代表性的样本微博中抽取相关的心理品质关键词，通过人工评判与问卷调查来删减词汇，构建某种心理品质的用户词典。基于模糊匹配及权重设置(程度级别词语与否定词)对微博文本消息中的关键词进行频数统计。

Network social text large data processing method and system based on user dictionary

The invention discloses a social network text data processing method and system based on user dictionary; social network text data analysis value and method of social network mining, text data processing and technology. Using the method of centralized computing, semi-structured data into structured data, the invention is mainly for processing of semi-structured data, based on the psychological quality of keyword extraction related to representative samples of micro-blog, through artificial evaluation and questionnaire survey to delete the vocabulary, to build a psychological quality user dictionary. Based on fuzzy matching and weight setting (degree level words and negative words), the frequency of keywords in micro-blog text messages is statistically analyzed.

【技术实现步骤摘要】
一种基于用户词典的网络社交文本大数据处理方法及系统
本专利技术涉及一种基于用户词典的网络社交文本大数据处理方法及系统。
技术介绍
随着互联网技术的迅速发展，网络无时无刻地不在影响着人们的生产、生活乃至社会发展。根据IDC(网络数据中心)预测，全球数据的额总量每两年就增加一倍，估计到2020年会达到35ZB，而且绝大部分数据具有非结构或半结构化的特点，人们对大数据的关注程度也日益升高。同时，互联网的发展也带动了以微博为主导的社交媒体的迅猛发展，不论是国外以Twitter为代表的社交媒体，还是国内以腾讯微博和新浪微博为代表社交媒体，其用户都在不断增长。如此巨大的用户基数，产生了巨大的数据，而这些数据蕴含着巨大的价值。网络社交文本大数据呈现出数量巨大、增长速度快、结构多样化等特点，传统的数据处理方式是总体中抽取样本来进行有关领域的分析，这样分析出来的结果并不是对真实数据的描述，只有采用新的数据处理方式才能获得大数据更加全面有效的信息。正如前文所述，微博文本数据也有非结构化或半结构化的特点，将其结构化处理对数据价值发掘具有重大意义。早期对于大数据的处理由于受到计算机硬件及技术的影响发展缓慢，巨大的信息资源并没有完全被发掘出来。目前的关于大数据的研究主要集中在云计算、视觉分析、数据挖掘等方面，大数据的处理技术中的分布式计算在大型集群中的简化数据处理技术，该技术需要通过计算机相互连接组成分散系统，比较复杂，技术实现较为困难。
技术实现思路
本专利技术的目的就是为了解决上述问题，提供一种基于用户词典的网络社交文本大数据处理方法及系统，本专利技术技术提出相应的网络社交文本非结构或半结构化数据如何转化为结构性的数据，对网络社交文本大数据分析价值的挖掘，以及网络社交文本大数据处理的方法与技术。采用集中式计算的方法，将半结构化数据的数据转化为结构化的数据，本专利技术主要是对半结构化的数据进行处理，通过对有代表性的样本微博中抽取相关的心理品质关键词，通过人工评判与问卷调查来删减词汇，构建某种心理品质的用户词典。基于模糊匹配及权重设置(程度级别词语与否定词)对微博文本消息中的关键词进行频数统计。为了实现上述目的，本专利技术采用如下技术方案：一种基于用户词典的网络社交文本大数据处理方法，包括：步骤(1)：网络社交文本大数据的获取：在新浪微博开放平台上获取新浪微博用户的微博文本，由于微博文本数据存储空间大以及为了保证大数据的获取速度，从网上下载了文本压缩文件；然后对文本压缩文件解压缩处理得到包含微博数据的txt文件，对包含微博数据的txt文件进行数据信息初步的提取；步骤(2)：用户词典的构建：从微博数据中筛选符合待研究心里品质的词汇，对该词汇进行预处理，根据预处理后的词汇编制调查问卷，根据调查问卷的问卷题目筛选结果，构建用户词典；步骤(3)：将微博文本消息与用户词典中的关键词进行模糊匹配，对关键词词频进行统计：步骤(31)：根据微博发布的时间点来划分微博片段，同时将用户词典中待匹配的关键词分解为单个字；步骤(32)：判断关键词当中的每一个字是否均在微博片段的文本消息中出现一次，若是，则关键词词频加一；若不是则关键词词频不变；对所有微博片段进行分析，找出用户词典中的各个关键词在每个月份的词频。统计每个月份含有各个关键词的频数，以csv文件格式进行保存；词频统计csv文件的第一列是关键词，第一行是含有该关键词的月份。根据各个关键词在每个月份的词频，判断被研究人员的待研究心理品质。若某个微博片段中含有多个关键词，则该微博片段的内容会同时与不同关键词进行模糊匹配。由于微博文本中的程度级别词语和否定词会影响到关键词的模糊匹配，将程度级别词语设置不同的权重；没有出现程度级别词语的权值记为1；否定词权重奇数次出现记为-1，偶数次出现记为1；每个关键词的词频＝程度级别词语权值*否定词权重+名词词频。所述步骤(1)中进行数据信息初步的提取是指采用文本遍历和文本过滤的方法过滤掉无用的信息，保留有用的信息，将有用的信息另存为txt文件。所述无用的信息包括：网络连接或表情符号；所述有用的信息包括：用户创建微博的时间、省份、微博内容以及用户性别。将程度词分为四个等级并赋予相应权重(2，1.75，1.5，0.5)。所述步骤(2)的步骤为：步骤(21)：确定待研究心理品质的维度；待研究心理品质指的是使用者的所研究的心理主题，待研究心理品质包括：生涯适应力或大五人格；步骤(22)：从微博排名前设定个数的用户的原创微博的微博文本内容中抽取符合待研究心理品质的词汇；抽取的词汇必须包括名词和趋势词；所述趋势词是指能表述事物发展动向的词，对抽取的词汇进行汇总整理，删除重复词汇，对含同义词或近义词进行合并处理；步骤(23)：问卷编制：问卷包括若干个题目，每个题目包括五个选项；每个题目对应一个待研究的心理品质维度；将合并处理的词作为题目，一个词汇对应一个题目，随机抽取人群作为被试人员，问卷采用Likert5点计分，从非常同意"、"同意"、"不一定"、"不同意"到"非常不同意"五种选项，分别记为5、4、3、2、1分；被试人员对某个题目的选项越集中，说明该题目对应的词汇越具有代表性。按照集中程度来进行问卷题目的删除：计算问卷中每个题目中各个选项的百分比，参考一致性系数的数值标准，保留单个选项百分比大于等于60％和两个选项百分比之和大于等于60％或且相邻三个选项中两两相邻选项百分比不能同时大于等于60％的词汇；步骤(24)：形成用户词典；按照步骤(23)的按照集中程度来进行问卷题目的删除方法，删除被试人员难以达成一致的词汇，保留被试人员能达成一致的词汇，构成了最终的待研究心理品质的用户词典，保留被试人员能达成一致的词汇就是用户词典的关键词；所述用户词典的关键词个数人为设定。例如：对于研究消费者信心指数来说，我们寻找工薪阶层，具有一定的购买力，请被试人员评价这些词汇在多大程度上符合他对当前(或未来一年)相关经济状况的看法。一种基于用户词典的网络社交文本大数据处理系统，包括：网络社交文本大数据的获取单元：在新浪微博开放平台上获取新浪微博用户的微博文本，由于微博文本数据存储空间大以及为了保证大数据的获取速度，从网上下载了文本压缩文件；然后对文本压缩文件解压缩处理得到包含微博数据的txt文件，对包含微博数据的txt文件进行数据信息初步的提取；用户词典的构建单元，用于从微博数据中筛选符合待研究心里品质的词汇，对该词汇进行预处理，根据预处理后的词汇编制调查问卷，根据调查问卷的问卷题目筛选结果，构建用户词典；微博文本消息中的关键词模糊匹配，关键词词频统计单元：根据微博发布的时间点来划分微博片段，将用户词典中待匹配的关键词分解为单个字，判断关键词当中的每一个字是否均在微博片段的文本消息中出现一次，若是，则关键词词频加一；若不是则关键词词频不变；对所有微博片段进行分析，找出用户词典中的各个关键词在每个月份的词频。本专利技术的有益效果为：1、将半结构化的数据转化为结构化的数据，具体的来说是二维的数据结构，转换数据结构之后更加地便于对数据进行分析；2、基于大数据来对数据的总体进行分析，全面进行描述真实的数据，克服了传统数据分析的一些弊端，例如：用样本估计总体，难以描述客观的世界，处理的误差小于传统数据等。3、微博数本文档来自技高网...

【技术保护点】
一种基于用户词典的网络社交文本大数据处理方法，其特征是，包括：步骤(1)：网络社交文本大数据的获取：在新浪微博开放平台上获取新浪微博用户的微博文本，由于微博文本数据存储空间大以及为了保证大数据的获取速度，从网上下载了文本压缩文件；然后对文本压缩文件解压缩处理得到包含微博数据的txt文件，对包含微博数据的txt文件进行数据信息初步的提取；步骤(2)：用户词典的构建：从微博数据中筛选符合待研究心里品质的词汇，对该词汇进行预处理，根据预处理后的词汇编制调查问卷，根据调查问卷的问卷题目筛选结果，构建用户词典；步骤(3)：微博文本消息中的关键词模糊匹配，关键词词频统计：步骤(31)：根据微博发布的时间点来划分微博片段，将用户词典中待匹配的关键词分解为单个字，步骤(32)：判断关键词当中的每一个字是否均在微博片段的文本消息中出现一次，若是，则关键词词频加一；若不是则关键词词频不变；对所有微博片段进行分析，找出用户词典中的各个关键词在每个月份的词频。

【技术特征摘要】
1.一种基于用户词典的网络社交文本大数据处理方法，其特征是，包括：步骤(1)：网络社交文本大数据的获取：在新浪微博开放平台上获取新浪微博用户的微博文本，由于微博文本数据存储空间大以及为了保证大数据的获取速度，从网上下载了文本压缩文件；然后对文本压缩文件解压缩处理得到包含微博数据的txt文件，对包含微博数据的txt文件进行数据信息初步的提取；步骤(2)：用户词典的构建：从微博数据中筛选符合待研究心里品质的词汇，对该词汇进行预处理，根据预处理后的词汇编制调查问卷，根据调查问卷的问卷题目筛选结果，构建用户词典；步骤(3)：微博文本消息中的关键词模糊匹配，关键词词频统计：步骤(31)：根据微博发布的时间点来划分微博片段，将用户词典中待匹配的关键词分解为单个字，步骤(32)：判断关键词当中的每一个字是否均在微博片段的文本消息中出现一次，若是，则关键词词频加一；若不是则关键词词频不变；对所有微博片段进行分析，找出用户词典中的各个关键词在每个月份的词频。2.如权利要求1所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，统计每个月份含有各个关键词的频数，以csv文件格式进行保存；词频统计csv文件的第一列是关键词，第一行是含有该关键词的月份。3.如权利要求1所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，根据各个关键词在每个月份的词频，判断被研究人员的待研究心理品质。4.如权利要求1所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，若某个微博片段中含有多个关键词，则该微博片段的内容会同时与不同关键词进行模糊匹配。5.如权利要求1所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，由于微博文本中的程度级别词语和否定词会影响到关键词的模糊匹配，将程度级别词语设置不同的权重；没有出现程度级别词语的权值记为1；否定词权重奇数次出现记为-1，偶数次出现记为1；每个关键词的词频＝程度级别词语权值*否定词权重+名词词频。6.如权利要求1所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，所述步骤(1)中进行数据信息初步的提取是指采用文本遍历和文本过滤的方法过滤掉无用的信息，保留有用的信息，将有用的信息另存为txt文件。7.如权利要求6所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，所述无用的信息包括：网络连接或表情符号；所述有用的信息包括：用户创建微博的时间、省份、微博内容以及用户性别。8.如权利要求5所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，将程度词分为四个等级并赋予相应权重(...

【专利技术属性】
技术研发人员：王鹏，石洁茹，张淑洁，张利会，李晓岳，耿后旺，朱干成，李沅林，刘晓芳，宋佳茹，孟广腾，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37