数据同步方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及到大数据处理领域，揭示了一种数据同步方法、装置、计算机设备和存储介质，其中方法包括：获取接收到的数据的数据源；根据预设的数据源与HIVE库的映射关系，将所述数据存放在多个HIVE库中与所述数据源对应的目标HIVE库里；将所述目标HIVE库中的数据同步至大数据平台。本申请将所有的数据根据数据来源而进行分类，然后依次将分类后的数据同步到大数据平台，加快了数据同步的效率以及准确性。而且在对所有数据来源的数据采用同样的方式进行规范整理，更有利于减小数据同步时间。

【技术实现步骤摘要】
数据同步方法、装置、计算机设备和存储介质
本申请涉及到大数据处理领域，特别是涉及到一种数据同步方法、装置、计算机设备和存储介质。
技术介绍
随着信息技术的飞速发展，网络的普及化程度越来越高，对应的各用户产生的数据也呈指数增长。目前服务器对用户的数据进行同步时，是首先将所有的数据存储在大数据平台上的数据库中，再根据数据的类型将数据库中对应的数据同步到大数据平台。大数据平台上的同步功能在同步数据时，会有下游任务对同步任务造成一定的影响，减慢同步数据的时间。所以提供一种新的数据同步方法是亟需解决的问题。
技术实现思路
本申请的主要目的为提供一种将数据进行整理后再进行同步的数据同步方法、装置、计算机设备和存储介质。为了实现上述专利技术目的，本申请提出一种数据同步方法，包括：获取接收到的数据的数据源；根据预设的数据源与HIVE库的映射关系，将所述数据存放在多个HIVE库中与所述数据源对应的目标HIVE库里；分别将所述目标HIVE库中的数据同步至大数据平台。进一步地，所述根据预设的数据源与HIVE库的映射关系，将所述数据存放在多个HIVE库中与所述数据源对应的目标HIVE库里的步骤之后包括：将所述多本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，包括：获取接收到的数据的数据源；根据预设的数据源与HIVE库的映射关系，将所述数据存放在多个HIVE库中与所述数据源对应的目标HIVE库里；将所述目标HIVE库中的数据同步至大数据平台。

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：获取接收到的数据的数据源；根据预设的数据源与HIVE库的映射关系，将所述数据存放在多个HIVE库中与所述数据源对应的目标HIVE库里；将所述目标HIVE库中的数据同步至大数据平台。2.如权利要求1所述的数据同步方法，其特征在于，所述根据预设的数据源与HIVE库的映射关系，将所述数据存放在多个HIVE库中与所述数据源对应的目标HIVE库里的步骤之后包括：将所述多个HIVE数据库中的数据按照同样的Sqoop脚本进行规范整理。3.如权利要求1所述的数据同步方法，其特征在于，所述将所述目标HIVE库中的数据同步至大数据平台的步骤包括：获取到大数据平台的需求信息；根据所述需求信息，调度所述目标HIVE库中的指定数据到大数据平台，以完成对所述指定数据的同步。4.如权利要求3所述的数据同步方法，其特征在于，所述根据需求信息，调度所述目标HIVE库中的指定数据到大数据平台，以完成对所述指定数据的同步的步骤之前，包括：根据大数据平台的需求信息，在所述目标HIVE库中构建大数据平台可识别的数据表；根据所述数据表的抽数模式构建对应的脚本和建表语句；根据所述脚本和建表语句自动生成调度所述目标HIVE库的指定数据到大数据平台的调度任务。5.如权利要求4所述的数据同步方法，其特征在于，所述根据所述数据表的抽数模式构建对应的脚本...

【专利技术属性】
技术研发人员：席旭亮，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东,44