一种分布式轻量级大数据处理方法、装置、计算机存储介质及电子设备制造方法及图纸

本发明专利技术提供一种分布式轻量级大数据处理方法、装置、计算机存储介质及电子设备，所述方法包括：采集数据，并对所述数据进行预处理；将预处理后的所述数据写入数据库；从所述数据库中拉取数据，按照分片规则将所述数据保存到共享文件系统中；slave按照分片规则，从共享文件系统读取历史数据，并从所述数据库同步实时数据；slave执行数据分析，并将分析结果通知master；master对收到的分析结果进行合并、排序。根据本发明专利技术实施例的方法，业务开发周期短，部署和运维难度低，成本低，处理速度快。

【技术实现步骤摘要】
一种分布式轻量级大数据处理方法、装置、计算机存储介质及电子设备
本专利技术涉及分布式数据处理
，尤其涉及一种分布式轻量级大数据处理方法、装置、计算机存储介质及电子设备。
技术介绍
目前业界针对分布式服务协调通常使用两种方案，一种是基于Hadoop、sorl等开源大数据分析框架进行开发；另一种是通过Map/Reduce或者全文检索模型，处理数据得出分析结果。目前常用的两种方案存在多种不足：a)框架复杂，对实现业务的开发者门槛较高；b)包含组件较多，部署、运维难度大；c)原始数据保存在磁盘中，数据读取速度依赖磁盘io性能，成为数据处理速度的瓶颈；d)为达到数据分析速度，需要较大的服务器集群规模，服务器成本高。因此，存在改进需要。
技术实现思路
有鉴于此，本专利技术提供一种分布式轻量级大数据处理方法、处理装置、计算机存储介质及电子设备，能够有效提高数据分析处理的速度，减少服务器成本，降低部署和运维难度。为解决上述技术问题，一方面，本专利技术提供一种分布式轻量级大数据处理本文档来自技高网...

【技术保护点】
1.一种分布式轻量级大数据处理方法，其特征在于，所述方法包括：/n采集数据，并对所述数据进行预处理；/n将预处理后的所述数据写入数据库；/n从所述数据库中拉取数据，按照分片规则将所述数据保存到共享文件系统中；/nslave按照分片规则，从共享文件系统读取历史数据，并从所述数据库同步实时数据；/nslave执行数据分析，并将分析结果通知master；/nmaster对收到的分析结果进行合并、排序。/n

【技术特征摘要】
1.一种分布式轻量级大数据处理方法，其特征在于，所述方法包括：
采集数据，并对所述数据进行预处理；
将预处理后的所述数据写入数据库；
从所述数据库中拉取数据，按照分片规则将所述数据保存到共享文件系统中；
slave按照分片规则，从共享文件系统读取历史数据，并从所述数据库同步实时数据；
slave执行数据分析，并将分析结果通知master；
master对收到的分析结果进行合并、排序。


2.根据权利要求1所述的分布式轻量级大数据处理方法，其特征在于，所述数据库为mysql。


3.根据权利要求1所述的分布式轻量级大数据处理方法，其特征在于，所述方法包括：
每天凌晨定时从所述数据库中拉取数据。


4.根据权利要求1所述的分布式轻量级大数据处理方法，其特征在于，所述从所述数据库中拉取数据，按照分片规则将所述数据保存到共享文件系统中，包括：
所述数据以文件形式保存到共享文件系统中。


5.根据权利要求4所述的分布式轻量级大数据处理方法，其特征在于，所述数据以二进制文件形式保存到共享文件系统中。


6.根据权利要求1所述的分布式轻量级大数据处理方法，其特征在于，所述方法包括：
所述数据库设置定时任务，定时转储和清...

【专利技术属性】
技术研发人员：黄松钦，李文杰，黄仝宇，汪刚，宋一兵，侯玉清，刘双广，
申请(专利权)人：高新兴科技集团股份有限公司，
类型：发明
国别省市：广东;44