一种数据的处理方法、系统、计算机设备和存储介质技术方案

本申请涉及一种数据的处理方法、系统、计算机设备和存储介质。所述方法包括：通过数据源采集目的数据流；对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据；对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱；根据对所述行业知识图谱的产品需求，输出数字化产品。通过该方法，基于大数据的处理、人工智能为支撑进行的系统重构，优化原有的业务流程，对系统的功能模块进行重新划分，重新定义了数据处理中新产品的开发，利用大数据分布式存储技术的多备份和弹性扩展等技术特点，保证了数据的安全性，便于系统维护，存储容量的扩充和性能升级。的扩充和性能升级。的扩充和性能升级。

【技术实现步骤摘要】
一种数据的处理方法、系统、计算机设备和存储介质


[0001]本申请涉及大数据领域，特别是涉及一种数据的处理方法、系统、计算机设备和存储介质。

技术介绍

[0002]现有的数据处理平台涵盖报告、新闻的撰写、质控、发布等各环节，是生产管理功能的一套在线协同办公系统，能为前台网站提供数据支撑，但是该平台系统已经运行多年，随着业务的发展，在数据处理能力、用户开放性能、数据独立性等方面已经不能满足业务发展要求，因此，提出了新的大数据处理平台的项目建设需求。
[0003]另一方面，由于传统数字处理系统需要从数据的收集、分析、整理再到输出运用，每一步的业务流程需求的人员需具备的技术知识差异大，其中数据分析相关业务人员需具备较高的技术知识，这导致整个数据处理流程成本高。例如，针对现在内容数据型行业如传媒业、产业研究行业的数据处理时，由于数据格式不一、标准不一，无法进行综合利用，没有使数据发挥出更大的价值。此外，传统的存储式技术由于它的不分布式架构不能加服务器，针对海量数据的处理时需要停机升级服务器，因此传统的数据处理系统针对海量大数据的存储读写存在性能不足的问题，无法快速的对海量数据进行有效的处理。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种数据的处理方法、系统计算机设备和存储介质。
[0005]第一方面，本专利技术实施例提供了一种数据处理的方法，包括以下步骤：
[0006]通过数据源采集目的数据流；
[0007]对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据；
[0008]对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱；
[0009]根据对所述行业知识图谱的产品需求，输出数字化产品。
[0010]进一步的，所述目的数据流的采集包括利用网络爬虫技术获取浏览器页面和数据接口的入口数据，所述入口数据包括非结构化数据、半结构化数据和结构化数据；所述网络爬虫技术至少包括分布式爬虫技术、智能爬虫技术和反爬虫技术。
[0011]进一步的，所述对所述目的数据流进行预处理包括：对所述目的数据流进行自然语言的处理，完成对所述目的数据流的情感分析，并对所述目的数据流进行摘要和标签关键词提取。
[0012]进一步的，所述行业知识图谱的构建包括：对所述结构化数据直接转化为图谱结构；对所述非结构化数据和所述半结构化数据先进行实体关系标注，结合深度学习算法进行三元组的提取，并基于行业本体数据库和行业应用的知识库，进行数据的融合对齐，去除
重复后保存于图形数据库中。
[0013]进一步的，输出的所述数字化产品至少包括：专家问答系统界面、可视化搜索分析系统界面、信息推荐系统界面。
[0014]另一方面，本专利技术实施例还一种数据处理系统，包括：
[0015]数据采集模块，用于通过数据源采集目的数据流；
[0016]数据预处理模块，用于对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据；
[0017]数据体系构建模块，用于对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱；
[0018]产品输出模块，用于根据对所述行业知识图谱的产品需求，输出数字化产品。
[0019]进一步的，所述数据预处理模块还用于对所述目的数据流进行自然语言的处理，完成对所述目的数据流的情感分析，并对所述目的数据流进行摘要和标签关键词提取。
[0020]进一步的，所述数据体系构建模块包括结构化处理单元和非结构化处理单元，所述结构化处理单元用于将所述结构化数据直接转化为图谱结构；所述非结构化处理单元用于将所述非结构化数据和所述半结构化数据先进行实体关系标注，结合深度学习算法进行三元组的提取，并基于行业本体数据库和行业应用的知识库，进行数据的融合对齐，去除重复后保存于图形数据库中。
[0021]本专利技术的另一个实施例还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0022]本专利技术的另一个实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0023]上述数据的处理方法、系统计算机设备和存储介质，该处理方法包括通过数据源采集目的数据流；对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据；对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱；根据对所述行业知识图谱的产品需求，输出数字化产品。在所述数据处理的方法中基于大数据的处理、人工智能为支撑进行的系统重构，重构了原有的业务流程，先完成对目的数据流的采集，再通过对目的数据流的预处理，使得转化的文本数据统一，并通过行业知识图谱的构建，为问答、搜索、推荐等智能化场景提供基础支持。此外，通过对系统的功能模块进行重新划分，重新定义了数据处理中新产品的开发，通过分布式存储技术，解决了海量大数据存储读写性能的问题，利用大数据分布式存储技术的多备份和弹性扩展等技术特点，保证了数据的安全性，便于系统维护，存储容量的扩充和性能升级。
附图说明
[0024]图1为一个实施例中数据的处理方法的应用环境图；
[0025]图2为一个实施例中数据的处理方法的流程示意图；
[0026]图3为一个实施例中所述目的数据流进行预处理流程示意图；
[0027]图4为一个实施例中数据的处理系统的结构框图；
[0028]图5为一个实施例中计算机设备的内部结构图。
具体实施方式
[0029]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0030]本申请提供的数据处理的方法，可以应用于如图1所示的应用环境中。其中，终端101通过网络与服务器102进行通信。其中，终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0031]具体地，服务器102可获取数据源，将获取数据源传递至终端101，终端101接收到数据源后，通过爬虫技术获取目的数据流，对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据。对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱。根据对所述行业知识图谱的产品需求，输出数字化产品。
[0032]优选地，服务器102通过利用大数据技术获取海量外部数据以及内部数据，以人工智能技术中自然语言处理技术对各类型数据特别是文本数据进行高效的智能处理分析及输出，终端101涉及到从数据采集、数据预处理、分析、整理输出各个环节以及数据产品化。
[0033]在一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括以下步骤：通过数据源采集目的数据流；对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据；对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱；根据对所述行业知识图谱的产品需求，输出数字化产品。2.根据权利要求1所述的数据处理的方法，其特征在于，所述目的数据流的采集包括利用网络爬虫技术获取浏览器页面和数据接口的入口数据，所述入口数据包括非结构化数据、半结构化数据和结构化数据；所述网络爬虫技术至少包括分布式爬虫技术、智能爬虫技术和反爬虫技术。3.根据权利要求1所述的数据处理的方法，其特征在于，所述对所述目的数据流进行预处理包括：对所述目的数据流进行自然语言的处理，完成对所述目的数据流的情感分析，并对所述目的数据流进行摘要和标签关键词提取。4.根据权利要求2所述的数据处理的方法，其特征在于，所述行业知识图谱的构建包括：对所述结构化数据直接转化为图谱结构；对所述非结构化数据和所述半结构化数据先进行实体关系标注，结合深度学习算法进行三元组的提取，并基于行业本体数据库和行业应用的知识库，进行数据的融合对齐，去除重复后保存于图形数据库中。5.根据权利要求1所述的数据处理的方法，其特征在于，输出的所述数字化产品至少包括：专家问答系统界面、可视化搜索分析系统界面、信息推荐系统界面。6.一种数据处理系统，其特征在于，...

【专利技术属性】
技术研发人员：乌斯曼，
申请(专利权)人：广州市西美信息科技有限公司，
类型：发明
国别省市：