一种数据拼接方法、装置、介质及电子设备制造方法及图纸

本发明专利技术实施例提供了一种数据拼接方法、装置、介质及电子设备，该数据拼接方法包括：从源数据库中确定出日志文件的变更数据，将变更数据加入至消息队列；对消息队列中的变更数据进行预处理，确定出变更数据中的待拼接数据；根据预设数据库表的外键对各个待拼接数据进行拼接，将拼接后所获得的拼接数据同步至目标数据库。本发明专利技术实施例的技术方案能够以对现有业务系统无入侵的改动方式，实现分布式数据库数据的拼接操作，提供了高效率的实时查询，提高了数据查询与追踪的响应速度。

A data splicing method, device, medium and electronic equipment

【技术实现步骤摘要】
一种数据拼接方法、装置、介质及电子设备
本专利技术涉及计算机
，具体而言，涉及一种数据拼接方法、装置、介质及电子设备。
技术介绍
随着互联网和大数据技术的推广和普及，分布式集群的数据仓库已逐步成为主流。目前数据仓库的数据来源主要包括存放于关系型数据库的会员、订单等结构化数据，以及用户行为、应用日志、图像视频等以文件形式存储的非结构化数据，其中存放于关系型数据库的会员、订单等结构化数据是数据仓库数据来源中最重要的部分，也是数据分析和挖掘最有价值的部分。为了系统的性能考虑和高扩展性，现有建设系统都以积木方式构建，大多以微服务形式存在，并且对数据库的拆分会非常细化，但系统微服务化后，一个完整的业务单据(比如电商系统中的订单)，它的状态、分布于各个系统(订单的物流信息、订单的支付信息、订单的结算信息、开票情况)，此时，业务人员想要全流程跟踪此订单时，需要在各个系统进行查看，实施难度大且繁琐。现有技术中对该订单的信息进行拼接一般采用如下方式:方式1：通过数据的离线加工，对数据进行建模，建立数据仓库，提供系统进行查询，本文档来自技高网...

【技术保护点】
1.一种数据拼接方法，其特征在于，包括：/n从源数据库中确定出日志文件的变更数据，将所述变更数据加入至消息队列；/n对所述消息队列中的变更数据进行预处理，确定出所述变更数据中的待拼接数据；/n根据预设数据库表的外键对各个所述待拼接数据进行拼接，将拼接后所获得的拼接数据同步至目标数据库。/n

【技术特征摘要】
1.一种数据拼接方法，其特征在于，包括：
从源数据库中确定出日志文件的变更数据，将所述变更数据加入至消息队列；
对所述消息队列中的变更数据进行预处理，确定出所述变更数据中的待拼接数据；
根据预设数据库表的外键对各个所述待拼接数据进行拼接，将拼接后所获得的拼接数据同步至目标数据库。


2.根据权利要求1所述的数据拼接方法，其特征在于，所述从源数据库中确定出日志文件的变更数据包括：
对所述关系型数据库中的日志文件进行实时检测，确定出所述日志文件中更改数据库表以及更改内容的变更数据。


3.根据权利要求1所述的数据拼接方法，其特征在于，所述对所述变更数据进行预处理，确定出所述变更数据中的待拼接数据包括：
预设的Strom集群获取所述消息队列中的变更数据后，分发所述变更数据；
根据预设的目标字段对所分发的变更数据进行识别，获得符合所述目标字段的变更数据；
将所述符合所述目标字段的变更数据确定为所述待拼接数据，并将所述待拼接数据进行map封装。


4.根据权利要求1所述的数据拼接方法，其特征在于，所述根据预设数据库表的外键对各个所述待拼接数据进行拼接，将拼接后所获得的拼接数据同步至目标数据库包括：
根据所述预设的业务表外键判断各个所述待拼接数据之间的关联关系；
将所确定出有关联关系的待拼接数据进行拼接，获得拼接数据；
将所述拼接数据同步至目标数据库。


5.根据权利要求4所述的数据拼接方法，其特征在于，所述方法还包括：
判断所述拼接数据是否需要继续拼接；
当确定所述拼接数据需要继续拼接后，将所述拼接数据导入至中转数据库中，并检测是否获取需要继续拼接的待拼接数据；
当获取需要继续拼接的待拼接数据后，将所述中转数据库中的拼接数据取出与所述需要继续拼接的待拼接数据进行拼接，获得第二次拼接后的拼接数据；
将所述第二次拼接后的拼接数据同步至目标数据库。


6.一种数据拼接装置，没其特征在于，包括：
确定模块，用于从源数据库中确定出日志文件的变更数据，将所述变更数据加入至消息队列；
预处理...

【专利技术属性】
技术研发人员：张学刚，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11