【技术实现步骤摘要】
面向可视化需求的基于知识图谱的Web数据优化方法
本专利技术涉及一种面向可视化需求的基于知识图谱的Web数据优化方法。
技术介绍
面向服务的计算(Service-OrientedComputing，SOC)是当前工业界与学术界都备受关注的一种针对分布式系统的计算范型。在SOC计算模式的发展推动下，Web服务得到了进一步的普及与应用。随着2000年REST(RepresentationalStateTransfer)架构风格的提出，REST服务逐渐成为Web服务的重要组成部分。REST服务简单、轻量、快速的特点促使它在Internet上盛行，并保持可观的指数增长，同时也带动了服务数量的增长。多样化的数据服务交叉融合了经济、医疗、体育、生活等多个领域，催生了巨量的数据。但是无论面对怎样的数据，人类获取数据的根本目的仍然在于获得数据中的有效信息。数据可视化通过交互式可视化界面及数据-图像转换技术来辅助用户对数据进行分析理解。可视化的基础是数据，而网络数据时代的数据是多源异构的(multi-sourceheterogeneo...
【技术保护点】
1.一种面向可视化需求的基于知识图谱的Web数据优化方法，其特征在于，所述方法包括以下步骤：/n第一步、目标领域语料库的构建：把网络语料内容作为构建知识图谱的基础，使用网络语料词条信息作为原始语料内容，为构建知识图谱而对原始网络语料内容进行筛选，比较分析网络词条的网页内容，原始语料内容中除了标题和正文信息外，还包含了HTML标签，词条本身的编辑信息，网页链接信息等与词条本身无关的冗余信息，对网络词条的内容进行过滤清洗，抽取标题与有效的正文内容，过滤内容包括：对词条的网页内容执行HTML标签/文本样式符号过滤、词条模板符号及非英文字符过滤、词条编辑信息过滤、图片信息过滤、链接...
【技术特征摘要】
1.一种面向可视化需求的基于知识图谱的Web数据优化方法，其特征在于，所述方法包括以下步骤：
第一步、目标领域语料库的构建：把网络语料内容作为构建知识图谱的基础，使用网络语料词条信息作为原始语料内容，为构建知识图谱而对原始网络语料内容进行筛选，比较分析网络词条的网页内容，原始语料内容中除了标题和正文信息外，还包含了HTML标签，词条本身的编辑信息，网页链接信息等与词条本身无关的冗余信息，对网络词条的内容进行过滤清洗，抽取标题与有效的正文内容，过滤内容包括：对词条的网页内容执行HTML标签/文本样式符号过滤、词条模板符号及非英文字符过滤、词条编辑信息过滤、图片信息过滤、链接信息过滤、页面专有标题属性名过滤以及数值过滤；
第二步、面向语料库的实体抽取：知识图谱是由实体与关系构成图结构的数据信息网，以“实体-关系-实体”的三元组来表示知识图谱的基础结构，三元组中包括了两个有现实语义关系的实体和两个实体间的关系，用G＝(head,relation,tail)的形式来表示，其中G表示三元组，head表示头实体，tail表示尾实体，relation表示头实体和尾实体间的关系；每个实体本身还包含了属性及属性值，将实体的属性也转化为与该实体相连的尾实体，并在两者间建立relation关系，实体抽取分为命名实体抽取、属性实体抽取及名词实体抽取三个阶段；
第三步：结合Word2vec，将语料库进行二次预分组，使用k-means聚类算法构建知识图谱:三元组G的结构为(head,relation,tail)，随着head和tail的不同，relation也有多种关系，relation实际上是知识图谱中的关系集合，用以表示多种实体间的复杂联系，其目的在于判断两个属性间是否存在语义关联，即两个实体间是否存在关系，而不关注存在何种关系，通过计算语料库词汇的词向量，将语料库进行二次分组，使用k-means聚类算法来抽取实体关系；
第四步、构建可视化模型树VT：对各种可视化图形进行分类，归纳总结各类图形的属性和结构特征，通过创建一种可视化模型树VT，来形式化地表达各类图形信息；
第五步、基于网络语料知识图谱的数据可视化优化匹配方法：定义M-JSON为RESTWeb服务返回的JSON的原型结构；将Web数据原型结构M-JSON与可视化模型树VT中的每个StructModel依据数据结构进行匹配，返回的结果是符合条件的候选坐标轴/图例的属性组合构成的集合；在结构匹配的基础上，利用第三步中构建的知识图谱，查询匹配出来的候选坐标轴/图例的属性组合否存在实际语义关联，根据查询结果优化匹配，选取有效的维度组合，以提升自动化生成图形的精确率。
2.如权利要求1所述的面向可视化需求的基于知识图谱的Web数据优化方法，其特征在于，所述第二步中，实体抽取分为命名实体抽取、属性实体抽取及名词实体抽取三个阶段；
2.1、实体抽取：实体抽取又称为命名实体识别，是从文本数据集中自动识别出命名实体，这通常指的是人名、地名、机构名词以及其它所有名称为标识的实体，该流程通过使用一些主流的命名实体识别系统来完成，其步骤包括：一、通过工具对语料库内容进行命名实体识别；二、将识别出的命名实体标注它的类型属性；三、根据类型属性对命名实体进行过滤，删除不合适的命名实体，保留其它命名实体的标注，同时将词条名称默认定义为命名实体；
2.2、属性实体抽取：以词条网络语料的信息框为属性的来源，从信息框中提取属性，然后在语料库中截取每个词条的信息框信息，按照信息框结构，提取属性名称，作为所属词条的名称所对应的命名实体的尾实体，不保留属性值，若某词条不存在信息框，则不必为该词条对应的命名实体创建尾实体；
2.3、名词实体抽取，包括四个步骤：单词拆分(Split)、词性标注(POSTagging)、停用词过滤(StopWordFiltering)和词干提取(Stemming)，命名实体抽取步骤中已经标注了识别出的命名实体，因此接下来的操作仅对标注的实体外的语料内容进行抽取。
3.如权利要求2所述的面向可视化需求的基于知识图谱的Web数据优化方法，其特征在于，所述2.3的过程如下：
2.3.1、单词拆分：使用正则表达式设计拆分规则模式，根据空格、符号、段落对语料库内容进行单词拆分，获取单词文本；
2.3.2、词性标注：为获取语料库中的名词，首先需要对文本词汇进行词性标注，词性标注也被称为语法标注或词类消疑，是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术，许多单词可能同时含有多个词性，拥有多种意义，而其词性的选择取决于上下文意义，将已进行命名实体标注的语料库作为标注对象文本进行词性标注，根据标注结果查找出名词对象，并在语料库中剔除非名词对象，但不包括非名词的词条名称，此时语料库中保留的是每个词条中的命名实体、名词对象及原有标点，并且所有内容仍然保持原有文本顺序；
2.3.3、停用词过滤：停用词这一名称来源于StopWord，指代在信息检索中为了节省存储空间和提高搜索效率，在处理自然语言文本时自动过滤掉的字或词，对于一个给定的目的，任何一类词语都可以被选作停用词，停用词包括两类：一类是人类语言中包含的功能词(FunctionWords)，这类功能词使用非常普遍，出现频率极高，但又没有确切的实际含义；另一类为实词(ContentWords)，这里指一部分有实际具体意义但又无明确指代或指向的词；在自然语言处理中，已有了停用词表(StopWordList)，将停用词表作为参照字典，通过单词比对从语料库中删除停用词，进一步精简语料库内容，确保保留语料中无停用词；
2.3.4、词干提取：词干化提取是一种去除形态词缀得到对应词根的过程，是英语等西方语言特有的处理过程；同一个英文单词有单数和复数的变形、时态的变形、人称代词对应不同谓语的变形，这些词虽然形式上有一些细微差别，但是都对应着相同的词根，在计算相关性的情况下应该作为相同的词来进行处理，这时就需要进行词干化处理；波特词干算法(PorterStemmingAlgorithm)是一种主流的词干提取算法，其核心理念是根据形态词缀的类型，对单词进行分类处理还原，除了部分特殊的变形，大多数的单词变形是有一定规律的，依照规律将形变分为6种类别。
4.如权利要求3所述的面向可视化需求的基于知识图谱的Web数据优化方法，其特征在于，所述2.3.4中，词干的提取步骤如下：
2.3.4.1、依照单词变形类别，针对每一种情况进行词缀去除与单词复原，获得语料库中名词对象的词干信息，以减少同词不同形的情况，6种不同单词变形如下：
2.3.4.1.1、复数、以ed和ing结尾的单词；
2.3.4.1.2、单词中包含元音，并以y结尾的单词；
2.3.4.1.3、双后缀的单词；
2.3.4.1.4、以-ic,-ful,-ness,-ative等为后缀的单词；
2.3.4.1.5、<c>vcvc<v>情形下，-ant，-ence等后缀的单词(c为辅音，v为元音)；
2.3.4.1.6、<c>vc<v>元音辅音间有超过1对vc的情形下，以e结尾的单词；
2.3.4.2、将还原为词干的名词对象创建为名词实体，并在语料库中更新名词对象，用词干形式来表示。
5.如权利要求1～4之一所述的面向可视化需求的基于知识图谱的Web数据优化方法，其特征在于，所述第三步中，知识图谱的构建流程如下：
3.1、使用Word2vec训练词向量：Word2vec是一种词向量工具，它将词表示成词的特征向量，使用Word2vec将词转换成数值形式，使用一个N维向量来表示；
3.2、将语料库进行两次预先分组：由于k-means算法的分簇易受数据集本身分布情况影响，为保证核心概念，即目标领域的主要分类对象为聚类中心，不能直接使用k-means聚类，要对语料库进行两次预先分组；
3.3、通过k-means聚类算法对小语料集合自动查找聚类中心，进行分簇，同时构建三元组，步骤如下：
3.3.1、根据小语料集合的大小决定k的大小，集合越大k值越大；
3.3.2、经过k-means聚类计算得到的质心所对应的实体将与上一层分组时的质心所对应的实体构建三元组；
其中，步骤3.3.2中k-means算法是一种无监督聚类算法，使用语料库经过Word2vec所训练出来的词向量来代表每一个词，将每个小语料集合作为数据集，使用k-means聚类算法进行聚类计算，k-means聚类的步骤如下：
3.3.2.1、选取数据集中的k个对象作为初始中心，每个对象代表一个聚类中心；
3.3.2.2、词向量样本中的对象，根据它们与这些聚类中心的欧氏距离，将它们分到距离它们最近的聚类中心所对应的类；
3.3.2.3、更新聚类中心：将每个类别中所有对象所对应的均值作为该类别的聚类中心，计算目标函数的值；
3.3.2.4、判断聚类中心和目标函数的值是否发生改变，若不变，则输出结果，若改变，则返回3.3.2.2；
3.3.3、将新的分组作为数据集合，再次调用k-means算法，重复步骤3.3.1～3.3.3，直至每个分组仅含有小于某个阈值Z的元素数量；
3.3.4、将每个分组中的数据点所对应的实体与当前质心所对应的实体构建三元组；
至此语料库中所有的实体都与其他实体建立了关系，它们对应构成的三元组相互组合，从而构成了知识图谱，由于自动聚类所查找出的簇心与分簇情况，有可能会产生相关性较弱的实体关系，因此知识图谱构建完成后需要人工校对筛查，去除相关性低的实体关联，以提高知识图谱的质量。
6.如权利要求5所述的面向可视化需求的基于知识图谱的Web数据优化方法，其特征在于，所述3.2的步骤如下：
3.2.1、对语料库一次分组，步骤如下：
3.2.1.1、将先前获取的目标领域标签的第一层子分类标签提取出来，目标领域标签形成核心实体，并生成第一层子分类标签集合Tag，其中共包含了n个子分类标签，每个标签都有一个对应的实体和词向量，并且这些实体都与核心实体相连，构成n个三元组；
3.2.1.2、将第一层子分类标签对象作为质心，计算语料库数据集中各个数据点到各个质心的欧式距离，然后根据就近原则，将数据点分配至每个质心所对应的类中，获得了以第一层子分类标签为质心的n个簇，即n个分组数据集，同时语料库也被分为了n个语料集合；
其中，步骤3.2.1.2中欧式距离(EuclideanDistance)是判断数据点所属类别的重要依据，假设有给定的样本与其中i,j＝1,2,…,m，表示样本数，n表示特征数，欧式距离的计算方式为：
3.2.2、结合TF-IDF算法，对语料库二次分组，其步骤如下：
3.2.2.1、通过计算TF-IDF查找出每个语料集合中的关键词；
其中，步骤3.2.2中TF-IDF算法是一种用于评估一个词对指定文档的重要性的数值统计方法，词频TF(TermFreq...
【专利技术属性】
技术研发人员：陆佳炜，王小定，高燕煦，朱昊天，徐俊，肖刚，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。