一种数据管理平台及数据管理方法技术

一种数据管理平台及数据管理方法。本发明专利技术公开了一种数据管理平台。所述数据管理平台接收并存储初始数据，并根据用户需求对所述初始数据进行处理以生成结果数据，并将所述结果数据反馈给所述用户，所述数据管理平台包括大数据处理平台模块以处理所述初始数据，所述大数据处理平台模块采用历史数据处理方式处理当前时间段之前的历史数据并存储历史数据处理结果，所述大数据处理平台模块采用大数据实时分析方式处理实时数据，并展示实时数据处理结果。本发明专利技术另一方面提供一种数据管理方法，所述数据处理方法采用N‑△n的方式处理历史数据以及M‑△m方式处理实时数据，便于批量获取指定数据，方便数据查询和数据存储，能提高数据处理的时效性。

A data management platform and method

【技术实现步骤摘要】
一种数据管理平台及数据管理方法
本专利技术属于电子数据
，尤其涉及一种数据管理平台及数据管理方法。
技术介绍
电子智能设备的应用越来越广泛，已经成为人们日常不可缺少的工具，如笔记本电脑、手机、平板电脑、智能手表等等。网络技术的发展进一步将电子智能设备的作用扩展至社会生活的方方面面。人们在使用电子智能设备产生了大量的数据，如何存储管理这些数据成为当前的技术热点。目前出现的数据管理平台功能单一，交互单调，很多都只有数据存储或数据统计功能。而且，目前的数据管理平台在面对海量数据的存储和处理时，效率较低。
技术实现思路
本专利技术提供一种数据管理平台。所述数据管理平台接收并存储初始数据，并根据用户需求对所述初始数据进行处理以生成结果数据，并将所述结果数据反馈给所述用户，所述数据管理平台包括大数据处理平台模块以处理所述初始数据，所述大数据处理平台模块采用历史数据处理方式处理当前时间段之前的历史数据并存储历史数据处理结果，所述大数据处理平台模块采用大数据实时分析方式处理实时数据，并展示实时数据处理结果，其中，所述历史数据处理方式采用历史数据N-△n处理方式，所述历史数据N-△n处理方式中，N为当前累计时间，△n为当前时间最小单位；所述大数据实时分析方式采用实时数据M-△m处理方式，所述实时数据M-△m处理方式中，M为全部数据，△m为热数据，M-△m为存档数据。本专利技术另一方面提供一种数据管理方法，应用于包括大数据处理平台模块的数据管理平台。所述数据管理方法包括：接收初始数据；存储初始数据；分析所述初始数据；根据用户需求将分析后的结果数据展示给所述用户；其中，所述大数据处理平台模块采用历史数据处理方式处理当前时间段之前的历史数据并存储历史数据处理结果，所述大数据处理平台模块采用大数据实时分析方式处理实时数据，并展示实时数据处理结果，其中，所述历史数据处理方式采用历史数据N-△n处理方式，所述历史数据N-△n处理方式中，N为当前累计时间，△n为当前时间最小单位；所述大数据实时分析方式采用实时数据M-△m处理方式，所述实时数据M-△m处理方式中，M为全部数据，△m为热数据，M-△m为存档数据。本专利技术提供的数据处理方法采用N-△n的方式处理历史数据以及M-△m方式处理实时数据，便于批量获取指定数据，方便数据查询和数据存储，能提高数据处理的时效性，同时采用支持向量机对初始数据进行分类处理操作，在实现类标签与数据的映射关系的同时进行至少一个特征维度的权重初始化，可以提高实时数据处理的准确性。附图说明图1为本专利技术实施例提供的数据管理平台示意图。图2为所述数据管理平台部分模块示意图。图3为所述数据管理平台更为具体的模块示意图。图4为本专利技术实施例提供的数据管理方法的流程示意图。图5为所述数据管理方法的数据存储的流程示意图。图6为所述数据管理方法的数据爬取的流程示意图。图7为所述数据管理方法的数据打标签的流程示意图。具体实施方式为使本专利技术的目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，采用本专利技术实施例提供的一种数据管理平台900。数据管理平台900接收并存储初始数据，并根据用户需求对所述初始数据进行处理以生成结果数据，并将所述结果数据反馈给所述用户。数据管理平台900包括数据单元100与产品单元200。其中，数据单元100接收并存储初始数据，产品单元200根据用户需求对初始数据进行处理以生成结果数据，并将结果数据反馈给用户。如图2所示，数据单元100包括爬虫平台模块110、数据系统模块120、RPC服务模块130、数据接收平台模块140及大数据处理平台模块150。爬虫平台模块110从数据源自动爬取初始数据，并进行处理传送给数据系统模块120。数据系统模块120将初始数据进行分类，并经由RPC服务模块130提供初始数据给数据接收平台模块140。大数据处理平台模块150接收来自数据接收平台模块140的数据并进行相应处理。大数据处理平台模块150将初始数据缓冲到数据集群，并进行校验分析后进行存储。图1中产品单元200还包括数据接口模块210、数据服务模块220和标签系统模块230。数据接口模块接收来自数据单元100的初始数据并分析初始数据。数据服务模块220根据用户需求将分析后的结果数据展示给用户。标签系统模块230基于数据平台的数据提取标签，并对结果数据打标签。图3给出更为具体的示意图。爬虫平台模块110从数据源爬取初始数据，经数据处理后传送至数据系统模块120。数据系统模块120将初始数据区分为交通数据、小区商圈POI(PointofInterest，兴趣点)数据、天气数据、路网数据等分类数据。RPC(RemoteProcedureCallProtocol，远程过程调度协议)服务模块130经由交通服务、小区商圈POI服务、天气服务、路网服务将分类数据传送至数据接收平台模块140。数据接收平台模块140对经由Kafkacluster(卡夫卡集群，图3中用缩写Kc表示)和Sparkstreaming(图3中用缩写Ss表示)的数据进行数据验证，将验证通过的数据传至Hbasecluster(图3中用缩写Hc表示)，将验证失败的异常数据一方面通过统计服务后展示给客户，另一方面经异常数据库后进行数据修复，之后也传至Hbasecluster。大数据处理平台模块150包括存储平台、数据收集平台、实时计算平台、离线计算平台。大数据处理平台模块150对来自数据接收平台模块140的数据进行数据清洗过滤，并对未通过清洗过滤的异常数据进行数据修复后，得到熟数据。其中，数据存储平台其一将数据按照类别(数据质量、数据种类、数据频率等)进行分类存储，便于数据查询和分析，更加方便管理和升级；其二对于大数据进行缓冲存储，通过采用缓冲机制以降低单位时间内数据量巨大造成的冲击。在数据处理方面，大数据处理平台模块150采用历史数据处理方式处理当前时间段之前的历史数据并存储历史数据处理结果，所述大数据处理平台模块采用大数据实时分析方式处理实时数据，并展示实时数据处理结果。其中，所述历史数据处理方式采用历史数据N-△n处理方式，所述历史数据N-△n处理方式中，N为当前累计时间，△n为当前时间最小单位；所述大数据实时分析方式采用实时数据M-△m处理方式，所述实时数据M-△m处理方式中，M为全部数据，△m为热数据，M-△m为存档数据。当采用历史数据N-△n的方式处理历史数据时，针对N-△n的数据，也就是过去式数据进行分析、分类、保存，数据的存储均按照类别索引算法，该算法具有高效海量和高可用等特点，每段数据均有自己的序列索引，每个索引均按照时间、空间、分类标签等属性设置，既方便数据查询又方便数据存储。在历史数本文档来自技高网...

【技术保护点】
1.一种数据管理平台，其特征在于，所述数据管理平台接收并存储初始数据，并根据用户需求对所述初始数据进行处理以生成结果数据，并将所述结果数据反馈给所述用户，所述数据管理平台包括大数据处理平台模块以处理所述初始数据，所述大数据处理平台模块采用历史数据处理方式处理当前时间段之前的历史数据并存储历史数据处理结果，所述大数据处理平台模块采用大数据实时分析方式处理实时数据，并展示实时数据处理结果，其中，所述历史数据处理方式采用历史数据N-△n处理方式，所述历史数据N-△n处理方式中，N为当前累计时间，△n为当前时间最小单位；所述大数据实时分析方式采用实时数据M-△m处理方式，所述实时数据M-△m处理方式中，M为全部数据，△m为热数据，M-△m为存档数据。/n

【技术特征摘要】
1.一种数据管理平台，其特征在于，所述数据管理平台接收并存储初始数据，并根据用户需求对所述初始数据进行处理以生成结果数据，并将所述结果数据反馈给所述用户，所述数据管理平台包括大数据处理平台模块以处理所述初始数据，所述大数据处理平台模块采用历史数据处理方式处理当前时间段之前的历史数据并存储历史数据处理结果，所述大数据处理平台模块采用大数据实时分析方式处理实时数据，并展示实时数据处理结果，其中，所述历史数据处理方式采用历史数据N-△n处理方式，所述历史数据N-△n处理方式中，N为当前累计时间，△n为当前时间最小单位；所述大数据实时分析方式采用实时数据M-△m处理方式，所述实时数据M-△m处理方式中，M为全部数据，△m为热数据，M-△m为存档数据。


2.根据权利要求1所述数据管理平台，其特征在于，所述历史数据N-△n处理方式针对所述过去式数据进行分析、分类、保存，其中所述保存操作采用类别索引算法。


3.根据权利要求2所述数据管理平台，其特征在于，所述类别索引算法每段数据均有对应的序列索引，每个序列索引均按照时间、空间、分类标签设置。


4.根据权利要求3所述数据管理平台，其特征在于，所述实时数据M-△m处理方式针对所述存档数据建立分析索引算法，所述分析索引算法中的索引结构包括时间段及基础分类标签。


5.根据权利要求4所述数据管理平台，其特征在于，所述数据管理平台包括数据单元及产品单元，所述数据单元接收并存储初始数据，所述产品单元根据用户需求对所述初始数据进行处理以生成结果数据，并将所述结果数据反馈给所述用户，其中所述产品单元包括数据接口模块和数据服务模块，所述数据接口模块接收来自所述数据单元的所述初始数据并分析所述初始数据，所述数据服务模...

【专利技术属性】
技术研发人员：李明，
申请(专利权)人：北京睦合达信息技术股份有限公司，
类型：发明
国别省市：北京;11