【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种元数据向多种数据库的数据分发部署方法及系统。
技术介绍
1、随着大数据、物联网、人工智能等技术发展，数据分析已从传统的数仓转化为自动化、智能化大数据分析，尤其大模型的发展，加速图片、视频的智能生成落地运用，成果形式从简单的报表延伸为模型、复杂图数据、图片数据、视频数据等类型，传统的关系型数据成果共享一般采用将结构化数据转化为通用sql分发至接收端数据库，适合于结构化数据分发，不适用于非结构化数据共享模式；如何使用统一的方式封装共享成果，屏蔽共享成果的异构性和接收端数据库的差异性，实现接收端统一处理运用成为关键因素。
技术实现思路
1、本申请实施例提供一种元数据向多种数据库的数据分发部署方法及系统，使用统一的方式封装共享成果，屏蔽异构数据的结构差异，实现接收端统一处理运用。
2、本申请实施例提供一种元数据向多种数据库的数据分发部署方法，包括：
3、预先定义元数据结构，其中所述元数据结构包括元数据节点类型与属性范围，以形成json格式的共享数据的元数据信息，所述元数据结构可动态扩展，用以支持数据分发；
4、对需要进行分发的原始数据，进行动态数据拆分，在数据拆分后过程中根据网络拥塞程度以及各接收端最小处理容量和最小缓存容量的和来确定数据分片数量；
5、将拆分后的原始数据的各分片数据单元分别与所述原始数据对应的元数据，按照预设数据封装规范，封装成通用数据包，其中所述元数据具有预先定义的元数据结构；
6
7、可选的，所述元数据结构包括：类型、名称、描述、日期以及版本。
8、可选的，对需要进行分发的原始数据，进行动态数据拆分包括：
9、根据网络带宽确定网络拥塞程度满足：
10、nc＝nb/[(1/t)*log2n]
11、其中，nc是网络拥塞程度，t是发送每个bit所需时间，n是传输的码数，nb是网络带宽；
12、根据确定的网络拥塞程度，计算数据分片数量满足：
13、sn＝ceil(dc*nc*k/min(rhc+rcc))
14、其中，sn数据分片数量，ceil为向上取整函数，min(rhc+rcc)是各接收端最小处理容量和最小缓存容量的和，k为实际环境下分发部署系统运行的最优运行参数；
15、根据数据分片数量，确定单个数据分片大小满足：
16、sdc＝dc/sn
17、其中，sdc为单个数据分片大小，dc为原始数据总大小。
18、可选的，所述数据封装结构包括分片数据段和数据校验段，其中拆分的数据分片记录在所述分片数据段中。
19、可选的，所述数据封装结构还包括元数据信息、数据编号、数据长度、分片数量、分片索引、保留位、分片数据、数据校验位。
20、可选的，将拆分后的原始数据的各分片数据单元分别与所述原始数据对应的元数据，按照预设数据封装规范，封装成通用数据包之后，还包括：
21、将封装后的通用数据包推送至相应的缓存队列，以待分发。
22、可选的，将封装后的通用数据包推送至各个数据部署代码服务具体包括：
23、将封装后的通用数据包推送至各个数据部署代码服务，以使得各数据部署代码服务缓存通用数据包，并按照数据编号获取通用数据包，合并生成原始数据；
24、基于元数据信息生成执行代码，并根据解析的元数据信息和接收端数据库类型，生成相应的数据处理程序。
25、本申请实施例还提出一种元数据向多种数据库的数据分发部署系统，包括数据统一接收服务、数据封装引擎、数据推送服务和数据部署代码服务，其中：
26、数据统一接收服务，用以存储数据资源池的原始数据以及经数据封装引擎处理后的通用数据包；
27、所述数据封装引擎，用以对需要进行分发的原始数据，进行动态数据拆分，在数据拆分后过程中根据网络拥塞程度以及各接收端最小处理容量和最小缓存容量的和来确定数据分片数量，以及将拆分后的原始数据的各分片数据单元分别与所述原始数据对应的元数据，按照预设数据封装规范，封装成通用数据包，并存储至数据统一接收服务，其中所述元数据具有预先定义的元数据结构；
28、所述数据推送服务，用以将封装后的通用数据包推送至各个数据部署代码服务，以使得各数据部署代码服务根据接收端数据库类型，生成相关数据指令。
29、本申请实施例使用统一的方式封装共享成果，屏蔽异构数据的结构差异，实现接收端统一处理运用。
30、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
本文档来自技高网...【技术保护点】
1.一种元数据向多种数据库的数据分发部署方法，其特征在于，包括：
2.如权利有要求1所述的元数据向多种数据库的数据分发部署方法，其特征在于，所述元数据结构包括：类型、名称、描述、日期以及版本。
3.如权利有要求1所述的元数据向多种数据库的数据分发部署方法，其特征在于，对需要进行分发的原始数据，进行动态数据拆分包括：
4.如权利有要求1所述的元数据向多种数据库的数据分发部署方法，其特征在于，所述数据封装结构包括分片数据段和数据校验段，其中拆分的数据分片记录在所述分片数据段中。
5.如权利有要求4所述的元数据向多种数据库的数据分发部署方法，其特征在于，所述数据封装结构还包括元数据信息、数据编号、数据长度、分片数量、分片索引、保留位、分片数据、数据校验位。
6.如权利有要求1所述的元数据向多种数据库的数据分发部署方法，其特征在于，将拆分后的原始数据的各分片数据单元分别与所述原始数据对应的元数据，按照预设数据封装规范，封装成通用数据包之后，还包括：
7.如权利有要求1所述的元数据向多种数据库的数据分发部署方法，其特征
8.一种元数据向多种数据库的数据分发部署系统，其特征在于，包括数据统一接收服务、数据封装引擎、数据推送服务和数据部署代码服务，其中：
...【技术特征摘要】
1.一种元数据向多种数据库的数据分发部署方法，其特征在于，包括：
2.如权利有要求1所述的元数据向多种数据库的数据分发部署方法，其特征在于，所述元数据结构包括：类型、名称、描述、日期以及版本。
3.如权利有要求1所述的元数据向多种数据库的数据分发部署方法，其特征在于，对需要进行分发的原始数据，进行动态数据拆分包括：
4.如权利有要求1所述的元数据向多种数据库的数据分发部署方法，其特征在于，所述数据封装结构包括分片数据段和数据校验段，其中拆分的数据分片记录在所述分片数据段中。
5.如权利有要求4所述的元数据向多种数据库的数据分发部署方法，其特征在于，...
【专利技术属性】
技术研发人员：史启升，田飞，肖芳，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。