一种数据合成方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术公开了一种数据合成方法、装置、计算机设备和存储介质。该方法包括：实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。使用本发明专利技术的技术方案，可以实现对不同数据源和不同到达时间的数据进行实时合成处理。据进行实时合成处理。据进行实时合成处理。

【技术实现步骤摘要】
一种数据合成方法、装置、计算机设备和存储介质


[0001]本专利技术实施例涉及数据处理技术，尤其涉及一种数据合成方法、装置、计算机设备和存储介质。

技术介绍

[0002]数据合成也即数据的关联合并，是指从大规模数据中发现数据之间隐含的关系与规律，将多种数据信息进行提取计算，合并生成一类数据的过程。
[0003]传统的数据关联分析为离线分析，将多种数据存储到数据库中进行关联分析，在海量数据的关联分析场景下，传统的离线关联分析无法满足数据的实时计算需求，并且离线分析需要耗费的计算成本较高，效率较低。而在大数据领域，如果要对数据进行实时合成，在多个数据源接入的数据到达时间不同的情况下，可能会存在部分数据无法被合成的情况。

技术实现思路

[0004]本专利技术实施例提供了一种数据合成方法、装置、计算机设备和存储介质，以实现对不同数据源和不同到达时间的数据进行实时合成处理。
[0005]第一方面，本专利技术实施例提供了一种数据合成方法，该方法包括：
[0006]实时获取多个数据源接入的待合成数据，并获取各待合成数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据合成方法，其特征在于，包括：实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。2.根据权利要求1所述的方法，其特征在于，在实时获取多个数据源接入的待合成数据之前，还包括：响应于用户的目标数据源接入指令，通过与所述目标数据源接入指令匹配的目标数据源接入组件，接入目标数据源的待合成数据。3.根据权利要求1所述的方法，其特征在于，对目标待合成数据和/或缓存数据进行数据合成，包括：如果确定当前时间为与目标时间窗口匹配的延迟等待时间，则对目标待合成数据和/或缓存数据进行数据合成。4.根据权利要求3所述的方法，其特征在于，所述待合成数据包括主数据源对应的待合成数据，以及至少一个从数据源对应的待合成数据；根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，包括：在主数据源对应的各待合成数据中，获取数据生成时间位于目标时间窗口内的待合成数据作为目标待合成数据；在至少一个从数据源对应的各待合成数据中，获取数据生成时间位于目标时间窗口内以及延迟等待时间之前的待合成数据作为目标待合成数据。5.根据权利要求4所述的方法，其特征在于，确定与所述目标时间窗...

【专利技术属性】
技术研发人员：张建浩，盛磊，武林红，陈浩，侯立冬，孟宝权，傅强，蔡琳，梁彧，田野，王杰，杨满智，金红，陈晓光，
申请(专利权)人：恒安嘉新北京科技股份公司，
类型：发明
国别省市：