知识数据计算系统、方法、服务器及存储介质技术方案

本发明专利技术实施例公开了一种知识数据计算系统、方法、服务器及存储介质，该知识数据计算系统包括：数据存储模块，用于存储知识数据和知识图谱；数据计算模块，用于向开发者提供开发数据处理策略的接口，按照所述开发者自定义的数据处理策略对待处理的知识数据进行计算；知识图谱更新模块，用于根据处理后的数据更新所述数据存储模块中的知识图谱。本发明专利技术实施例提供通用的知识数据计算框架，支持策略开发者自定义的数据处理策略，降低开发成本，且支持不同场景下的数据加工处理需求。

【技术实现步骤摘要】
知识数据计算系统、方法、服务器及存储介质
本专利技术实施例涉及数据处理技术，尤其涉及一种知识数据计算系统、方法、服务器及存储介质。
技术介绍
知识图谱(KnowledgeGraph，KG)是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体-关系-实体”三元组，以及实体及其相关属性-值对，实体之间通过关系相互联结，构成网状的知识结构。通过知识图谱，可以实现Web从网页链接向概念链接转变，支持用户按主题而不是字符串检索，从而实现真正的语义检索，基于知识图谱的搜索引擎，能够以图形方式向用户反馈结构化的知识，用户不必浏览大量网页，就可以准确定位和深度获取知识。知识图谱的构建和更新，基于对所抓取的知识数据进行处理，得到符合要求的数据。不同的开发者可能有不同的数据计算需求，目前，开发者需要根据自己的计算需求搭建整套计算架构，开发成本较高。
技术实现思路
本专利技术实施例提供一种知识数据计算系统、方法、服务器及存储介质，以提供通用的知识数据计算框架，支持策略开发者自定义的数据处理策略，降低开发成本。第一方面，本专利技术实施例提供了一种知识数据计算系统，包括：数本文档来自技高网...

【技术保护点】
一种知识数据计算系统，其特征在于，包括：数据存储模块，用于存储知识数据和知识图谱；数据计算模块，用于向开发者提供开发数据处理策略的接口，按照所述开发者自定义的数据处理策略对待处理的知识数据进行计算；知识图谱更新模块，用于根据处理后的数据更新所述数据存储模块中的知识图谱。

【技术特征摘要】
1.一种知识数据计算系统，其特征在于，包括：数据存储模块，用于存储知识数据和知识图谱；数据计算模块，用于向开发者提供开发数据处理策略的接口，按照所述开发者自定义的数据处理策略对待处理的知识数据进行计算；知识图谱更新模块，用于根据处理后的数据更新所述数据存储模块中的知识图谱。2.根据权利要求1所述的系统，其特征在于，所述数据计算模块包括：流式计算子模块和/或批量计算子模块；所述流式计算子模块，用于向所述开发者提供开发流式处理策略的接口，按照所述开发者自定义的流式处理策略对待处理的流式知识数据进行流式计算；所述批量计算子模块，用于向所述开发者提供开发批量处理策略的接口，按照所述开发者自定义的批量处理策略对待处理的批量知识数据进行批量计算。3.根据权利要求2所述的系统，其特征在于，所述流式计算子模块包括：第一数据获取单元，用于从所述数据存储模块中获取所述待处理的流式知识数据，和/或，接收抓取的所述待处理的流式知识数据；流式计算单元，用于运行所述流式处理策略的插件，对所述待处理的流式知识数据进行流式计算。4.根据权利要求2所述的系统，其特征在于，所述批量计算子模块包括：第二数据获取单元，用于从所述数据存储模块中获取所述待处理的批量知识数据；批量计算单元，用于按照所述批量处理策略中的作业类型和作业顺序，对所述待处理的批量知识数据进行批量计算。5.根据权利要求4所述的系统，其特征在于，所述作业类型包括本地作业类型和分布式作业类型；所述批量计算单元具体用于：对于本地作业类型，在本地按照所述作业顺序执行各个作业，对所述待处理的批量知识数据进行批量计算；对于分布式作业类型，将作业转换成分布式作业，将所述分布式作业及所述待处理的批量知识数据发送至分布式集群进行批量计算。6.根据权利要求1-5中任一所述的系统，其特征在于，所述数据存储模块基于Hbase和Hadoop封装得到。7.根据权利要求1-5中任一所述的系统，其特征在于，所述系统还包括：报警接口，用于在所述数据处理策略运行失败的情况下，输出报警信息。8.根据权利要求1-5中任一所述的系统，其特征在...

【专利技术属性】
技术研发人员：王杰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11