一种大数据的实时获取方法及装置制造方法及图纸

本发明专利技术公开了一种大数据的实时获取方法及装置，其中，该方法包括：通过数据配置中心获取目标数据和目标数据库对应的源数据表结构，所述目标数据库包括所述目标数据；将所述目标数据进行第一处理得到目标入库数据，并将目标存储数据库对应的存储数据表结构和所述源数据表结构进行同步，得到目标存储数据表结构；将所述目标入库数据和所述目标存储数据表结构进行第二处理后写入目标存储数据库。本发明专利技术可实时同步表结构和大数据，实时智能第获取大数据。

A real-time acquisition method and device of big data

【技术实现步骤摘要】
一种大数据的实时获取方法及装置
本专利技术涉及大数据
，特别是涉及一种大数据的实时获取方法及装置。
技术介绍
大数据体系一般分为数据采集、数据计算、数据服务、以及数据应用几大层次。在数据采集层，主要分为日志采集和数据源数据同步。大数据是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站和顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。现有大数据采集或同步程序存在以下问题：首先是大数据常用的数据采集程序使用起来不够智能，维护工作量大；其次是实时同步数据配置繁琐，不能自动识别表结构并同步；最后是现有的实时同步程序较少，并且同步效率比较低。
技术实现思路
本专利技术实施例提供一种大数据的实时获本文档来自技高网...

【技术保护点】
1.一种大数据的实时获取方法，其特征在于，包括：/n通过数据配置中心获取目标数据和目标数据库对应的源数据表结构，所述目标数据库包括所述目标数据；/n将所述目标数据进行第一处理得到目标入库数据，并将目标存储数据库对应的存储数据表结构和所述源数据表结构进行同步，得到目标存储数据表结构；/n将所述目标入库数据和所述目标存储数据表结构进行第二处理后写入目标存储数据库；/n其中，所述数据配置中心在获取所述目标数据之前已经配置完成，所述数据配置中心存储的数据包括实时获取大数据的过程中涉及的相关参数数据、服务器地址和数据库地址。/n

【技术特征摘要】
1.一种大数据的实时获取方法，其特征在于，包括：
通过数据配置中心获取目标数据和目标数据库对应的源数据表结构，所述目标数据库包括所述目标数据；
将所述目标数据进行第一处理得到目标入库数据，并将目标存储数据库对应的存储数据表结构和所述源数据表结构进行同步，得到目标存储数据表结构；
将所述目标入库数据和所述目标存储数据表结构进行第二处理后写入目标存储数据库；
其中，所述数据配置中心在获取所述目标数据之前已经配置完成，所述数据配置中心存储的数据包括实时获取大数据的过程中涉及的相关参数数据、服务器地址和数据库地址。


2.根据权利要求1所述的大数据的实时获取方法，其特征在于，所述通过数据配置中心获取目标数据和目标数据库对应的源数据表结构，包括：
通过数据配置中心获取所述目标数据对应的目标数据库地址；
访问所述目标数据库地址进入目标数据库，从所述目标数据库获取所述目标数据和所述目标数据库对应的源所述数据表结构。


3.根据权利要求1所述的大数据的实时获取方法，其特征在于，所述将所述目标数据进行第一处理得到目标入库数据，包括：
对所述目标数据的指定字段进行解析处理，并对所述目标数据的不规范数据进行清洗处理，得到所述目标入库数据。


4.根据权利要求1所述的大数据的实时获取方法，其特征在于，所述将目标存储数据库对应的存储数据表结构和所述源数据表结构进行同步，得到目标存储数据表结构，包括：
判断所述存储数据表结构是否和所述源数据表结构相同；
若否，则以所述源数据表结构为标准表结构，将所述存储数据表结构进行更新，得到目标存储数据表结构，否则保持所述存储数据表结构不变，其中所述目标存储数据表结构和所述源数据表结构相同。


5.根据权利要求4所述的大数据的实时获取方法，其特征在于，所述判断所述存储数据表结构是否和所述源数据表结构相同，包括：
从缓存获取最新的缓存数据表结构，最新的所述缓存数据表结构与所述存储数据表结构相同；
判断所述存储数据表结构...

【专利技术属性】
技术研发人员：林建明，刘成果，
申请(专利权)人：深圳无域科技技术有限公司，
类型：发明
国别省市：广东;44