数据处理平台制造技术

本发明专利技术公开了一种数据处理平台，包括基于超融合架构的数据中台和统一资源管理平台，所述数据中台包括数据管理单元、第一数据处理单元、第二数据处理单元、数据库单元和数据调取单元，所述数据管理单元用于获取数据以及数据的管理，所述第一数据处理单元用于对非结构化数据进行处理得到对应的第一数据标签，所述第二数据处理单元用于对结构化数据进行处理得到对应的第二数据标签，所述数据库单元用于数据、第一数据标签和第二数据标签的存储和管理，所述数据调取单元用于对数据库单元中的数据进行调取。本发明专利技术提供的数据处理平台，进行资料查找时，操作简单效率高，而且匹配度高。而且匹配度高。而且匹配度高。

【技术实现步骤摘要】
数据处理平台


[0001]本专利技术涉及数据检索
，具体地说，涉及一种数据处理平台。

技术介绍

[0002]现有技术中，数据库中资料查找都是使用者输入查询句后，由系统根据其中的关键字进行查找，然后再进行筛选，其匹配度低，进一步筛选比较麻烦，而且精准度不高。

技术实现思路

[0003]本专利技术的目的在于提供一种数据处理平台，进行资料查找时，操作简单效率高，而且匹配度高。
[0004]本专利技术公开的数据处理平台所采用的技术方案是:
[0005]一种数据处理平台，包括基于超融合架构的数据中台和统一资源管理平台，所述数据中台包括数据管理单元、第一数据处理单元、第二数据处理单元、数据库单元和数据调取单元，所述数据管理单元用于获取数据以及数据的管理，所述第一数据处理单元用于对非结构化数据进行处理得到对应的第一数据标签，所述第二数据处理单元用于对结构化数据进行处理得到对应的第二数据标签，所述数据库单元用于数据、第一数据标签和第二数据标签的存储和管理，所述数据调取单元用于对数据库单元中的数据进行调取。
[0006]作为优选方案，所述第一数据处理单包括数据获取模块和文本处理模块，所述数据获取模块用于从数据管理单元获取非结构化数据，所述文本处理模块用于对非结构化数据进行词频计算并得到对应的第一数据标签。
[0007]作为优选方案，所述数据调取单元包括可视化模块，所述用于可视化模块用于根据第一数据标签和第二数据标签对数据库单元中的数据进行调取。
[0008]作为优选方案，所述可视化模块包括报表图、仪表图和驾驶舱中的至少一个。
[0009]作为优选方案，所述数据调取单元包括查询模块，所述查询模块用于根据关键字对数据库单元中的数据进行调取。
[0010]作为优选方案，还包括NLP语音识别单元和AI学习单元，所述NLP语音识别单元用于对语音进行识别，并提取语音中的关键字，所述AI学习单元用于将所述关键字与数据进行匹配训练。
[0011]作为优选方案，所述NLP语音识别单元包括用于识别语音并提取关键字的基本语音识别模块，以及用于识别连续语音并提取连续关键字的连续语音识别模块。
[0012]作为优选方案，所述数据库单元包括依次连接ETL模块、数据融合和实体库，所述ETL模块分别与第一数据处理单元和第二数据处理单元连接，所述实体库与数据调取单元连接。
[0013]本专利技术公开的数据处理平台的有益效果是：数据管理单元将获取的全部数据进行统一的管理，第一数据处理单元对非结构化数据进行处理得到对应的第一数据标签，第二数据处理单元对结构化数据进行处理得到对应的第二数据标签，从而实现全部数据的标签
化。然后将数据、第一数据标签和第二数据标签存储至数据库单元，用户可以通过数据调取单元对数据库单元中的数据进行调取。本方案通过超融合架构可以解决传统虚拟化架构带来的一系列问题，其具备业务高可用、数据安全及自动化运维管理一体化的特性。且超融合架构简化基础架构的建设，降低运维管理成本，让用户更多的精力投入到业务创新中。然后通过对数据进行标签化形成第一数据标签和第二数据标签，实现数据的快速调取，操作简单效率高，提高数据调取的精准度。
附图说明
[0014]图1是本专利技术数据处理平台的结构示意图。
[0015]图2是本专利技术数据处理平台的数据中台结构示意图。
具体实施方式
[0016]下面结合具体实施例和说明书附图对本专利技术做进一步阐述和说明:
[0017]请参考图1和图2，数据处理平台包括基于超融合架构的数据中台和统一资源管理平台。所述数据中台包括数据管理单元、第一数据处理单元、第二数据处理单元、数据库单元和数据调取单元。所述数据管理单元用于获取数据以及数据的管理，所述第一数据处理单元用于对非结构化数据进行处理得到对应的第一数据标签，所述第二数据处理单元用于对结构化数据进行处理得到对应的第二数据标签。所述数据库单元用于数据、第一数据标签和第二数据标签的存储和管理，所述数据调取单元用于对数据库单元中的数据进行调取。
[0018]数据管理单元将获取的全部数据进行统一的管理，第一数据处理单元对非结构化数据进行处理得到对应的第一数据标签，第二数据处理单元对结构化数据进行处理得到对应的第二数据标签，从而实现全部数据的标签化。然后将数据、第一数据标签和第二数据标签存储至数据库单元，用户可以通过数据调取单元对数据库中的数据进行调取。本方案通过超融合架构可以解决传统虚拟化架构带来的一系列问题，其具备业务高可用、数据安全及自动化运维管理一体化的特性。且超融合架构简化基础架构的建设，降低运维管理成本，让用户更多的精力投入到业务创新中。然后通过对数据进行标签化形成第一数据标签和第二数据标签，实现数据的快速调取，操作简单效率高，提高数据调取的精准度。
[0019]本实施例中，将全部数据分为结构化数据和非结构化数据，对于结构化数据，其数据标签通过映射关系得到，对于非结构化数据，其数据标签可以通过文本抽取后统计得到，也可以是直接人为的添加。
[0020]本实施例中，数据管理单元的数据来源包括各种表格文档，例如Excel、PDF等文档，还包括各种数据库中的数据，例如MySQL、Oracel等数据库，还包括各种来自终端的数据，例如PC或者APP等。结合项目场景，可将数据来源分为内部数据获取和外部数据获取。内部数据比如说，服务对象自身产生的数据(企业ERP系统、CRM系统等)、RDBMS、NoSQL、数据仓库、系统日志采集系统等；外部数据比如说，互联网采集数据(网络采集程序)、物联网设备采集数据、购买第三方数据(数据接口)、公开数据(政府公开数据等)。
[0021]本实施例中，所述第一数据处理单包括数据获取模块和文本处理模块，所述数据获取模块用于从数据管理单元获取非结构化数据，所述文本处理模块用于对非结构化数据
进行词频计算并得到对应的第一数据标签。具体的，文本处理模块对数据通过文本抽取得到若干词组，然后进行词频统计，并将其中的词组作为数据标签。
[0022]本实施例中，所述数据调取单元包括可视化模块，所述用于可视化模块用于根据第一数据标签和第二数据标签对数据库单元中的数据进行调取。具体的，当用户对第一数据标签和第二数据标签进行搜索时，可视化模块将相关的数据进行统计，并且可以以报表图、仪表图或者驾驶舱的形式进行表现。
[0023]本实施例中，所述数据调取单元包括查询模块，所述查询模块用于根据关键字对数据库单元中的数据进行调取。进一步的，还包括NLP语音识别单元和AI学习单元，所述NLP语音识别单元用于对语音进行识别，并提取语音中的关键字，所述AI学习单元用于将所述关键字与数据进行匹配训练。所述NLP语音识别单元包括用于识别语音并提取关键字的基本语音识别模块，以及用于识别连续语音并提取连续关键字的连续语音识别模块。具体的，连续语音识别模块进行语音识别时，在每获取一段语音后都会确认语音输入是否结束，若没有则继续获取下一段语音，直至确认语音输入结束。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理平台，其特征在于，包括基于超融合架构的数据中台和统一资源管理平台，所述数据中台包括数据管理单元、第一数据处理单元、第二数据处理单元、数据库单元和数据调取单元，所述数据管理单元用于获取数据以及数据的管理，所述第一数据处理单元用于对非结构化数据进行处理得到对应的第一数据标签，所述第二数据处理单元用于对结构化数据进行处理得到对应的第二数据标签，所述数据库单元用于数据、第一数据标签和第二数据标签的存储和管理，所述数据调取单元用于对数据库单元中的数据进行调取。2.如权利要求1所述的数据处理平台，其特征在于，所述第一数据处理单包括数据获取模块和文本处理模块，所述数据获取模块用于从数据管理单元获取非结构化数据，所述文本处理模块用于对非结构化数据进行词频计算并得到对应的第一数据标签。3.如权利要求1所述的数据处理平台，其特征在于，所述数据调取单元包括可视化模块，所述用于可视化模块用于根据第一数据标签和第二数据标签对数据库单元中...

【专利技术属性】
技术研发人员：王培凯，周召安，
申请(专利权)人：海南硬壳科技有限公司，
类型：发明
国别省市：