【技术实现步骤摘要】
一种大数据的同步策略
本专利技术涉及数据同步处理
,具体领域为一种大数据的同步策略。
技术介绍
在数据处理领域,通常需要进行数据的读取、数据筛洗,同步等过程。其中原始数据的存档通常存储在MySql、SqlServer、PostgreSql;对于不同的数据源拥有者,一般是不会共享原始数据,原始数据也基本不能直接使用;传统的大数据同步策略通常情况下,一次性将变动的数据通过接口的方式推送过来,造成数据量过大,影响现有的系统的健康运行,同时也影响现有的业务的正常运行。边同步边运行势必会造成脏数据的产生,对于业务的执行造成难以挽回的错误和损失。
技术实现思路
本专利技术的目的在于提供一种大数据的同步策略,以解决现有技术中大数据处理过程中数据错误的问题。为实现上述目的,本专利技术提供如下技术方案:一种大数据的同步策略,包括本方数据源和第三方数据源,第三方数据源包括有多种数据源,数据源同步具体处理步骤为:(1)基于分布式的计算任务分析数据分组,并与相对应的第三方数据源进行匹配;(2)根据数据更新日期进行增量数据约定更新;(3)针对人的操作行为分析,根据增量数据的峰谷值判断进行相应时间段内数据同步;(4)在完成相应时间段内的数据同步后,将数据同步完成的结束时间固化传到本方数据源的数据库内;(5)根据步骤(4)中的结束时间作为下一个时间段的开始时间;(6)在相同时间段内同步的多种数据源的数据,进行同一份时间段内数据管理;( ...
【技术保护点】
1.一种大数据的同步策略,其特征在于:包括本方数据源和第三方数据源,第三方数据源包括有多种数据源,/n数据源同步具体处理步骤为:/n(1)基于分布式的计算任务分析数据分组,并与相对应的第三方数据源进行匹配;/n(2)根据数据更新日期进行增量数据约定更新;/n(3)针对人的操作行为分析,根据增量数据的峰谷值判断进行相应时间段内数据同步;/n(4)在完成相应时间段内的数据同步后,将数据同步完成的结束时间固化传到本方数据源的数据库内;/n(5)根据步骤(4)中的结束时间作为下一个时间段的开始时间;/n(6)在相同时间段内同步的多种数据源的数据,进行同一份时间段内数据管理;/n(7)同步的多种数据源的数据,根据预设的策略进行相应的分表数据库管理;/n(8)在数据发生错误时,数据在下次同步任务时,根据该数据库中最后一次固化的结束时间进行,本次同步时间段内的开始时间。/n
【技术特征摘要】
1.一种大数据的同步策略,其特征在于:包括本方数据源和第三方数据源,第三方数据源包括有多种数据源,
数据源同步具体处理步骤为:
(1)基于分布式的计算任务分析数据分组,并与相对应的第三方数据源进行匹配;
(2)根据数据更新日期进行增量数据约定更新;
(3)针对人的操作行为分析,根据增量数据的峰谷值判断进行相应时间段内数据同步;
(4)在完成相应时间段内的数据同步后,将数据同步完成的结束时间固化传到本方数据源的数据库内;
(5)根据步骤(4)中的结束时间作为下一个时间段的开始时间;
(6)在相同时间段内同步的多种数据源的数据,进行同一份时间段内数据管理;
(7)同步的多种数据源的数据,根据预设的策略进行相应的分表数据库管理;
(8)在数据发生错...
【专利技术属性】
技术研发人员:张福军,陆昕,鲍碧波,蔡永干,
申请(专利权)人:绿漫科技有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。