一种大数据分类利用方法及系统技术方案

本发明专利技术公开了一种大数据分类利用方法及系统，步骤如下：将每个终端的所有运行数据保存在主数据库；将每个终端将对应一级分类节点的运行数据保存在辅助分支数据库内，建立辅助分支数据库内之间的联动检索；利用二级筛选节点的筛选指标处理特定的运行数据，得到消除干扰信息的筛选分类数据；将对应一级分类节点的筛选分类数据保存在子存储单元内，并且将筛选分类数据的特征关键字逐一提取记载；在辅助分支数据库内查找目标对象，并且根据目标对象在辅助分支数据库内的特征关键字，从主数据库内查找该目标对象在每个一级分类节点的所有运行数据记录。本发明专利技术将大数据分为实时数据和异常数据，减轻了大数据处理负担，降低大数据分类应用中的难度。

A big data classification and utilization method and system

【技术实现步骤摘要】
一种大数据分类利用方法及系统
本专利技术涉及大数据数据处理
，具体涉及一种大数据分类利用方法及系统。
技术介绍
大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。目前对大数据的分类方式，大多只是将大数据从数据结构上划分为结构化、半结构化和非结构化数据，将不同结构的数据保存在不同的数据库内，在实际应用中将半结构化或者非结构化数据转化为结构化数据应用。但是这种大数据分类的方式仅仅为了方便对数据的存储，而对数据存储后的处理并不任何帮助，技术人员还是需要从海量的数据中进行数据筛选和清洗，导致数据库边保存和边应用的操作下应用强度大，容易造成数据库崩溃而发生数据丢失的问题。
技术实现思路
本专利技术的目的在于提供一种大数据分类利用方法及系统，以解决现有技术中仅仅在数据保存时对数据进行分类，分类的数据无法对后续的数据处理操作有帮助，导致数据库边保存和边应用的操作下应用强度大，容易造成数据库崩溃而发生数据丢失的问题的技术问题。为解决上述技术问题，本专利技术具体提供下述技术方案：一种大数据分类利用方法及系统，包括以下步骤：步骤100、实时收集终端的运行数据，并且将每个所述终端的所有运行数据保存在主数据库；步骤200、设定用于提取特定的所述运行数据的一级分类节点，将每个终端对应所述一级分类节点的运行数据保存在辅助分支数据库内，建立所有辅助分支数据库与主数据库之间的关联关系，并且将所述辅助分支数据库内的运行数据作为检索引子在其他的辅助分支数据库进行检索；步骤300、设定用于对特定的所述运行数据进行数据过滤处理的二级筛选节点，利用所述二级筛选节点的筛选指标处理特定的所述运行数据，得到消除干扰信息的筛选分类数据，以减小所述辅助分支数据库的占用空间；步骤400、将对应所述一级分类节点的所述筛选分类数据保存在子存储单元内，并且将所述筛选分类数据的特征关键字逐一提取记载；步骤500、在所述辅助分支数据库内查找目标对象，并且根据目标对象在所述辅助分支数据库内的特征关键字，从所述主数据库内查找该目标对象在每个所述一级分类节点的所有运行数据记录。作为本专利技术的一种优选方案，在步骤200中，所述一级分类节点具体为用于定时提取多个运行数据的数据分析时间点，每个所述终端将所述数据备份时间点的运行数据实现分类存储的实现步骤为：步骤201、将每个所述终端的实时运行数据通过第一数据保存路径存储在所述主数据库内；步骤202、将每个所述主数据库应所述数据备份时间点的特定运行数据通过第二数据保存路径存储在所述辅助分支数据库内；步骤203、所述辅助分支数据库对所述特定运行数据进行过滤处理以仅保存异常数据。作为本专利技术的一种优选方案，在步骤300中，所述二级筛选节点的筛选指标用于滤除处于正常范围的运行数据，且用于保留存储处于非正常范围的运行数据，从所述辅助分支数据库存储的运行数据内直接得到每个所述终端的异常数据，并且针对性选择若干个异常数据进行保存。作为本专利技术的一种优选方案，将所述数据分析时间点的特定运行数据保存在所述辅助分支数据库的具体实现步骤为：步骤301、在数据分析时间点的特定运行数据中提取与二级筛选节点相同的数据因子；步骤302、根据二级筛选节点的筛选指标与数据因子的比对情况，确定处于正常范围的运行数据以及非正常范围的运行数据；步骤303、处于正常范围的运行数据进行剔除，同时保留处于非正常范围的运行数据；步骤304、对处于非正常范围的运行数据根据相同间隔进行二次过滤，从非正常范围的运行数据内针对性的选择若干个异常数据作为筛选分类数据进行保存，以减小辅助分支数据库的占用空间。作为本专利技术的一种优选方案，在步骤200中，在其中一个所述辅助分支数据库内搜索出运行数据后，将该所述运行数据作为检索引子在剩余的所述辅助分支数据库内搜索该运行数据，根据该运行数据在所有辅助分支数据库的出现次数设定该运行数据的异常等级。作为本专利技术的一种优选方案，在步骤400中，将每个所述一级分类节点的筛选分类数据单独保存在一个所述子存储单元内，并且每个所述子存储单元的标识名称为每个所述一级分类节点的起点时间和终点时间，所述子存储单元内存储有所述筛选分类数据的原始数据以及提取记载的特征关键字。作为本专利技术的一种优选方案，在步骤500中，选择运行数据的特征关键字作为目标对象，先从所述辅助分支数据库查找同一个目标对象的非正常记录，并且再从所述主数据库内查找该目标对象的详细运行数据记录，具体的实现步骤为：步骤501、以目标对象的特征关键字作为检索因子，从所有的辅助分支数据库查找该目标对象处于非正常范围的历史记录；步骤502、根据该目标对象对应的所述一级分类节点，在与每个所述辅助分支数据库直接关联的主数据库内检索该目标对象的详细运行数据记录；步骤503、统计该目标对象的异常频率，确定该目标对象的异常等级。为解决上述技术问题，本专利技术还进一步提供下述技术方案：一种大数据分类利用系统，包括：主数据库，用于实时保存每个终端的运行数据；辅助分支数据库，从所述主数据库的空间内划分出的单个个体，用于保存每个终端的异常数据；定时数据备份单元，用于将所述主数据库内的运行数据定时发送到所述辅助分支数据库；数据过滤筛选单元，用于对所述定时数据备份单元的运行数据进行过滤清理，以将所述辅助分支数据库内仅保存位于非正常范围的异常数据；子存储单元，用于在所述辅助分支数据库内对每个所述定时数据备份单元内的异常数据创建一个子存储夹；数据联动单元，用于将所有辅助分支数据库建立联动关系，以实现在所有辅助分支数据库内对同一个运行数据的同步检索。作为本专利技术的一种优选方案，所述数据过滤筛选单元还用于定量选取若干个非正常范围的异常数据以减小所述辅助分支数据库占用的空间大小。作为本专利技术的一种优选方案，每个所述子存储单元的标识名称包括所述定时数据备份单元的备份起点和备份终点，根据异常数据所在的所述子存储单元的标识名称从所述主数据库内检索该异常数据在备份起点和备份终点之间的详细运行数据。本专利技术与现有技术相比较具有如下有益效果：本专利技术根据终端的运行情况，定时提取若干运行数据进行备份且在备份的过程中进行数据处理，以确定终端运行数据中的异常数据，利用大数据的分类管理方式将大数据分为实时数据和异常数据，并且运行数据出现异常的概率来判断该运行数据对应目标对象的异常等级，从而避免了现有的大数据应用操作中需要对海量的数据进行异常检测，减轻了大数据处理负担，降低大数据分类应用中的难度。<本文档来自技高网...

【技术保护点】
1.一种大数据分类利用方法，其特征在于，包括以下步骤：/n步骤100、实时收集终端的运行数据，并且将每个所述终端的所有运行数据保存在主数据库；/n步骤200、设定用于提取特定的所述运行数据的一级分类节点，将每个终端对应所述一级分类节点的运行数据保存在辅助分支数据库内，建立所有辅助分支数据库与主数据库之间的关联关系，并且将所述辅助分支数据库内的运行数据作为检索引子在其他的辅助分支数据库进行检索；/n步骤300、设定用于对特定的所述运行数据进行数据过滤处理的二级筛选节点，利用所述二级筛选节点的筛选指标处理特定的所述运行数据，得到消除干扰信息的筛选分类数据，以减小所述辅助分支数据库的占用空间；/n步骤400、将对应所述一级分类节点的所述筛选分类数据保存在子存储单元内，并且将所述筛选分类数据的特征关键字逐一提取记载；/n步骤500、在所述辅助分支数据库内查找目标对象，并且根据目标对象在所述辅助分支数据库内的特征关键字，从所述主数据库内查找该目标对象在每个所述一级分类节点的所有运行数据记录。/n

【技术特征摘要】
1.一种大数据分类利用方法，其特征在于，包括以下步骤：
步骤100、实时收集终端的运行数据，并且将每个所述终端的所有运行数据保存在主数据库；
步骤200、设定用于提取特定的所述运行数据的一级分类节点，将每个终端对应所述一级分类节点的运行数据保存在辅助分支数据库内，建立所有辅助分支数据库与主数据库之间的关联关系，并且将所述辅助分支数据库内的运行数据作为检索引子在其他的辅助分支数据库进行检索；
步骤300、设定用于对特定的所述运行数据进行数据过滤处理的二级筛选节点，利用所述二级筛选节点的筛选指标处理特定的所述运行数据，得到消除干扰信息的筛选分类数据，以减小所述辅助分支数据库的占用空间；
步骤400、将对应所述一级分类节点的所述筛选分类数据保存在子存储单元内，并且将所述筛选分类数据的特征关键字逐一提取记载；
步骤500、在所述辅助分支数据库内查找目标对象，并且根据目标对象在所述辅助分支数据库内的特征关键字，从所述主数据库内查找该目标对象在每个所述一级分类节点的所有运行数据记录。


2.根据权利要求1所述的一种大数据分类利用方法，其特征在于：在步骤200中，所述一级分类节点具体为用于定时提取多个运行数据的数据分析时间点，每个所述终端将所述数据备份时间点的运行数据实现分类存储的实现步骤为：
步骤201、将每个所述终端的实时运行数据通过第一数据保存路径存储在所述主数据库内；
步骤202、将每个所述主数据库应所述数据备份时间点的特定运行数据通过第二数据保存路径存储在所述辅助分支数据库内；
步骤203、所述辅助分支数据库对所述特定运行数据进行过滤处理以仅保存异常数据。


3.根据权利要求2所述的一种大数据分类利用方法，其特征在于：在步骤300中，所述二级筛选节点的筛选指标用于滤除处于正常范围的运行数据，且用于保留存储处于非正常范围的运行数据，从所述辅助分支数据库存储的运行数据内直接得到每个所述终端的异常数据，并且针对性选择若干个异常数据进行保存。


4.根据权利要求3所述的一种大数据分类利用方法，其特征在于：将所述数据分析时间点的特定运行数据保存在所述辅助分支数据库的具体实现步骤为：
步骤301、在数据分析时间点的特定运行数据中提取与二级筛选节点相同的数据因子；
步骤302、根据二级筛选节点的筛选指标与数据因子的比对情况，确定处于正常范围的运行数据以及非正常范围的运行数据；
步骤303、处于正常范围的运行数据进行剔除，同时保留处于非正常范围的运行数据；
步骤304、对处于非正常范围的运行数据根据相同间隔进行二次过滤，从非正常范围的运行数据内针对性的选择若干个异常数据作为筛选分类数据进行保存，以减小辅助分支数据库的占用空间。


5.根据权利要求4...

【专利技术属性】
技术研发人员：方志彦，
申请(专利权)人：韶关市志通达信息科技有限公司，
类型：发明
国别省市：广东;44