【技术实现步骤摘要】
一种分布式大数据有序智能分管方法、系统及存储介质
[0001]本公开涉及大数据处理
，尤其涉及一种分布式大数据有序智能分管方法
、
系统及存储介质和电子设备
。
技术介绍
[0002]大数据，即巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取
、
管理
、
处理
、
并整理成为帮助企业经营决策更积极目的的大量非结构化和半结构化数据
。
因而一般大数据具有五个特性：数量
Volume、
种类
Variety、
价值
Value、
真实性
Veracity、
速度
Velocity。
[0003]而在当今信息爆炸的时代，大数据处理成为了各个行业的重要需求，用户对于大数据的管理
、
处理和应用，也越来越要求数据上的处理和管理全面性以及及时性，尤其是大数据处理的时效性，要求对于数据的处理效率需要满足当下对数据信息的需求速度
。
[0004]对于大数据的处理和应用，对大数据的有序管理，就成为大数据高效处理和应用中的重要一环，只有高效
、
有序实现大数据的分管，才能按照数据处理逻辑
、
时序，快速实现各种数据类型的任务调度，为不同大数据处理任务提供适配的数据
。
[0005]因此，有必要提出一种智能分管和高效分管大数据的技术方案，以此来对接大数据...
【技术保护点】
【技术特征摘要】
1.
一种分布式大数据有序智能分管方法，其特征在于，包括如下步骤：采集大数据并发送至分布式文件系统
HDFS
；分布式文件系统
HDFS
对所述大数据进行批处理，并将批处理的所述大数据进行分布式储存；大数据
AI
分管平台接收用户输入的大数据分管指令，并进行响应，通过大数据
AI
分管平台上预设的
AI
分管模型，基于
AI
分管策略对所述分布式文件系统
HDFS
中呈分布式储存的所述大数据进行有序分管和调取；将调取的所述大数据缓存在分布式数据存储数据库中指定的
Nosql
模型中，等待用户从所述
Nosql
模型中查看所调取的所述大数据
。2.
根据权利要求1所述的一种分布式大数据有序智能分管方法，其特征在于，分布式文件系统
HDFS
对所述大数据进行批处理，并将批处理的所述大数据进行分布式储存，包括：批量对所述大数据进行预处理和清洗；对批量处理后的所述大数据，按照数据属性进行数据分类，得到由若干数据
m
组成的数据集
M
：
M={
文本数据
m1
，图像数据
m2
，时间序列数据
m3}
；将所述数据集
M
中的若干数据
m
分布式储存于所述分布式文件系统
HDFS
的各个存储节点；将各个所述数据
m
的数据属性，绑定在对应的所述存储节点的节点身份
ID
之下，用于分布式存储管理
。3.
根据权利要求2所述的一种分布式大数据有序智能分管方法，其特征在于，在大数据
AI
分管平台接收用户输入的大数据分管指令之前，还包括：将所述分布式文件系统
HDFS
的各个存储节点的节点身份
ID
，发送至所述大数据
AI
分管平台；所述大数据
AI
分管平台接收各个存储节点的节点身份
ID
，并对各个存储节点的节点身份
ID
进行身份
ID
登记
。4.
根据权利要求3所述的一种分布式大数据有序智能分管方法，其特征在于，所述
AI
分管模型的生成方法，包括：获取对应各个所述数据
m
的历史数据，并根据所述历史数据选择对应的
AI
模型；使用所述历史数据对所述
AI
模型进行模型训练，生成识别和分管所述历史数据的所述
AI
分管模型，包括：用于识别并分管所述文本数据
m1
的第一
AI
分管模型，以及用于识别并分管所述图像数据
m2
的第二
AI
分管模型，以及用于识别并分管所述时间序列数据
m3
的第三
AI
分管模型；将所述
AI
分管模型部署于所述大数据
AI
分管平台，并进行模型工作参数配置
。5.
根据权利要求4所述的一种分布式大数据有序智能分管方法，其特征在于，所述
AI
分管策略的配置方法，包括：设置优先级排序规则，所述
AI
分管模型按...
【专利技术属性】
技术研发人员：王文雅，
申请(专利权)人：北京优特捷信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。