一种商业数据分析方法及平台技术

本发明专利技术公开了一种商业数据分析方法，将最基础业务流水数据跑批预处理的方式生成各维度需要的基础数据，采用了Elastic Job开源中间件的分片技术以及方案制定最优的分片策略对每一个任务大批量处理成百万、上千万量级的数据，将海量数据拆成可配置化小块进行相互独立的跑批处理并结合多线程，完成每日的海量数据的分析处理。此种商业数据分析方法，采用的是分布式任务技术结合MongoDB大数据存储的高性能读取、存储特点实现大数据的清洗、分析的目的。

【技术实现步骤摘要】
一种商业数据分析方法及平台
本专利技术涉及大数据分析领域，特别涉及一种商业数据分析方法。
技术介绍
随着公司的业务发展，现在已经达到亿级别的海量数据，我们需要在海量数据中有针对性的清洗、分析、抽离出不同维度的数据以方便宏观分析，数据挖掘，业务驱动，以及各业务提供数据服务等。如何对海量数据进行有效清洗、过滤、分析、处理、存储，是我们急需解决的问题。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种商业数据分析方法，采用的是分布式任务技术结合MongoDB大数据存储的高性能读取、存储特点实现大数据的清洗、分析的目的。本专利技术解决其技术问题所采用的技术方案是：一种商业数据分析方法，包括：S1、数据收集：数据来源于各个业务组的主业务流水表；S2、数据预处理：对从一个或多个数据源中收集到的业务数据集合进行筛选和整合，以保证需要分析数据的有效性和有价值性；S3、数据处理与分析：对海量数据进行并行分析与处理，挖掘大数据集合中的数据关联性，形成对事物的描述模式或属性规则的画像，构建数本文档来自技高网...

【技术保护点】
1.一种商业数据分析方法，其特征在于，包括：/nS1、数据收集：数据来源于各个业务组的主业务流水表；/nS2、数据预处理：对从一个或多个数据源中收集到的业务数据集合进行筛选和整合，以保证需要分析数据的有效性和有价值性；/nS3、数据处理与分析：采用Elastic Job开源中间件的分片技术并且制定最优的分片策略，对每一个任务大批量处理成百万、上千万量级的数据，将海量数据拆成可配置化的小块进行相互独立的跑批处理，对海量数据进行并行分析与处理，挖掘大数据集合中的数据关联性，形成对事物的描述模式或属性规则的画像，构建数据模型和海量训练数据提升数据分析与预测的准确性；/nS4、数据存储：使用mongo...

【技术特征摘要】
1.一种商业数据分析方法，其特征在于，包括：
S1、数据收集：数据来源于各个业务组的主业务流水表；
S2、数据预处理：对从一个或多个数据源中收集到的业务数据集合进行筛选和整合，以保证需要分析数据的有效性和有价值性；
S3、数据处理与分析：采用ElasticJob开源中间件的分片技术并且制定最优的分片策略，对每一个任务大批量处理成百万、上千万量级的数据，将海量数据拆成可配置化的小块进行相互独立的跑批处理，对海量数据进行并行分析与处理，挖掘大数据集合中的数据关联性，形成对事物的描述模式或属性规则的画像，构建数据模型和海量训练数据提升数据分析与预测的准确性；
S4、数据存储：使用mongoDB数据库保存处理后的数据；
S5、数据可视化与应用：通过计算机图形或图像的直观方式显示给用户，并可与用户进行交互式处理，数据结果以API服务方式对外提供以满足应用场景。


2.根据权利要求1所述的一种商业数据分析方法，其特征在于，所述步骤S1中：所述主业务流水表记录每个业务职能最初始最原始的数据流水。


3.根据权利要求1所述的一种商业数据分析方法，其特征在于，所述步骤S1中：所述主业务流水表包括订单流水表、交易流水表以及用户行为日志表。


4.根据权利要求1所述的一种商业数据分析方法，其特征在于，所述步骤S2中：所述数据源包括同构或异构的数据库、文件系统以及服务接口。


5.根据权利要求1所述的一种商业数据分析方法，其特征在于，所述步骤S3中：通过采用分布式处理技术与存储形式，对海量数据进行并行分析与处理，对各种结构化、非结构化的数据执行分布式统计分析以及对未知数据的分布式挖掘。


6.根据权利要求1所述的一种商业数据分析方法，其特征在于，所述步骤S3中：所述对海量数据进行并行分析与处理包括整理、统计、加工、聚类与分类以及关联分析。


7....

【专利技术属性】
技术研发人员：张俊，熊招，单鲁军，
申请(专利权)人：银盛支付服务股份有限公司，
类型：发明
国别省市：广东;44