一种依托分布式数据库实现服务器间数据交换系统技术方案

本发明专利技术涉及数据处理技术领域，公开了一种依托分布式数据库实现服务器间数据交换系统，该系统包括数据采集模块

【技术实现步骤摘要】
一种依托分布式数据库实现服务器间数据交换系统


[0001]本专利技术涉及数据处理
，具体涉及一种依托分布式数据库实现服务器间数据交换系统
。

技术介绍

[0002]随着信息化的发展，建立统一的数据中心将成为趋势，分布式架构中包括多个节点，每个节点具有数据处理能力和数据存储能力，节点间可以共享数据资源，并发的多个数据会造成数据冲突，无法对持续产生的大量数据进行数据交换，数据交换的效率较低，因此，研究一种依托分布式数据库实现服务器间数据交换系统对于数据交换效率具有重要的意义
。

技术实现思路

[0003]本专利技术的目的是为了解决上述问题，设计了一种依托分布式数据库实现服务器间数据交换系统
。
[0004]本专利技术提供一种依托分布式数据库实现服务器间数据交换系统，所述依托分布式数据库实现服务器间数据交换系统包括数据采集模块
、
数据处理模块
、
数据分析模块
、
数据请求模块
、
数据交换模块和数据传输模块，其中，数据采集模块，用于采集不同地理位置的服务器产生的第一待处理数据，并将所述第一待处理数据传输至分布式数据库；数据处理模块，用于对采集到的所述第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据；数据分析模块，用于对所述第二待处理数据进行数据分析，并将分析后得到的数据进行划分，得到多个数据单元，并将所述数据单元传入到数据传输节点中；数据请求模块，用于发起数据交换请求，基于所述数据交换请求确定数据消费者的服务器，并获取所述数据消费者的服务器对应的数据通道；数据交换模块，用于提取所述数据交换请求中携带的需求数据信息，从所述数据传输节点中提取所述需求数据信息对应的数据单元；数据传输模块，用于通过所述数据通道加密传输所述需求数据信息对应的数据单元至数据消费者的服务器
。
[0005]可选的，在本专利技术第一种实现方式中，所述数据采集模块包括抽取子模块
、
运行子模块和抓取子模块，其中，抽取子模块，用于建立数据抓取任务，从所述数据抓取任务中确定需要抽取的数据元素，根据所述数据元素从不同地理位置的服务器中抽取数据，得到初始数据；运行子模块，用于对所述初始数据进行第一数据清洗，并确定数据字段，判断所述初始数据是否符合目标格式，若是，则运行数据抓取任务，通过数据抓取工具将从不同地理位置的服务器中进行抓取，得到抓取的数据；
抓取子模块，用于对所述抓取的数据进行第二数据清洗和数据处理，以去除重复项和处理缺失值，得到第一待处理数据
。
[0006]可选的，在本专利技术第二种实现方式中，所述数据处理模块包括聚类子模块
、
计算子模块
、
求解子模块和标准化子模块，其中，聚类子模块，用于读取所述第一待处理数据，建立多个基本聚类，计算多个基础聚类中存在相同数据点的聚类簇，得到聚类簇结果；计算子模块，用于计算所述聚类簇结果的相似度，得到相似度结果，并基于所述相似度结果计算所述第一待处理数据的整合信息熵；求解子模块，用于以所述整合信息熵为初始聚类中心选择标准，重复求解整合信息熵，直至不产生新的聚类，输出所述第一待处理数据的数据整合结果；标准化子模块，用于对所述数据整合结果得到的数据进行数据标准化处理，得到第二待处理数据
。
[0007]可选的，在本专利技术第三种实现方式中，所述数据分析模块包括初始化子模块
、
降序排序子模块和判断子模块，其中，初始化子模块，用于初始化
LightGBM
模型参数，输入迭代步数
、
大梯度数据采样率
、
小梯度数据采样率和损失函数；降序排序子模块，用于将梯度绝对值进行降序排序，得到排序结果生成一个大梯度样本点的子集和一个小梯度样本点的子集，合并大梯度样本与小梯度样本；判断子模块，用于将小梯度样本与权重系数因子相乘，使用采样后的样本学习一个新的弱学习器，判断是否达到迭代次数或者模型是否收敛，若是则输出训练好的数据分析模型
。
[0008]可选的，在本专利技术第四种实现方式中，所述判断子模块包括选取单元
、
计算单元
、
比较单元和输出单元，其中，选取单元，用于通过均匀随机采样得到的超参数，选取前
n
个元素放入第一结果集合中，其中
n
不等于0；计算单元，用于从所述第一结果集合中选取随机数，并计算各元素的特征值，得到第一特征值集合，将所述第一特征值集合中最小的特征值作为评判阈值；比较单元，用于将所述第一结果集合之外的元素计算出各元素的特征值，得到第二特征值集合，将所述第二特征值集合与所述评判阈值进行比较，若所述第二特征值集合中的值大于所述评判阈值，则用所述第二特征值集合中的值所对应的元素替换所述第一结果集合中拥有最小特征值的元素；输出单元，用于通过排序，直至将元素全部替换完成，得到最终的第二结果集合，根据超参数所对应的验证误差，将所述第二结果集合连续减半，将最后一组超参数设置作为最优超参数输出
。
[0009]可选的，在本专利技术第五种实现方式中，所述数据请求模块包括构造子模块
、
转换子模块和选择子模块，其中，构造子模块，用于获取数据消费者的服务器的神经网络处理器单元，构造决策矩阵，其中所述决策矩阵的集合至少包括神经网络处理器单元的动态参数；转换子模块，用于选取成本权重值和效益权重值，基于所述成本权重值和效益权
重值将所述矩阵转换为规范化矩阵；选择子模块，用于计算所述规范化矩阵中可用神经网络处理器单元的加权平均值，并选择加权平均值最高的神经网络处理器单元作为所述数据消费者的服务器对应的数据通道
。
[0010]可选的，在本专利技术第六种实现方式中，所述数据传输模块包括选择子模块
、
数据聚拢子模块和密文转换子模块，其中，选择子模块，用于随机选择初始第一素数和初始第二素数，将所述初始第一素数与初始第二素数作为两个因数，并基于所述初始第一素数与初始第二素数构建数据单元中的核心数据的提取函数；数据聚拢子模块，用于设定
RSA
算法的最大素数长度为
100
位，采用十进制机制对所述核心数据的提取函数进行数据聚拢，并数据聚拢到
200
位以下，得到当前第一素数和当前第二素数，将所述当前第一素数和当前第二素数作为
RSA
算法加密过程中的加密参数，得到所述需求数据信息对应的数据单元加密传输中的子密钥；密文转换子模块，用于通过所述子密钥对所述需求数据信息对应的数据单元进行密文转换，得到传输密文数据，将所述传输密文数据传输至数据消费者的服务器
。
[0011]可选的，在本专利技术第七种实现方式中，所述依托分布式数据库实现服务器间数据交换系统的运行方法包括以下步骤：采集不同地理位置的服务器产生的第一待处理数据，并将所述第一待处理数据传输至分布式数据库；对采集到的所述第一待处理数据进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述依托分布式数据库实现服务器间数据交换系统包括数据采集模块
、
数据处理模块
、
数据分析模块
、
数据请求模块
、
数据交换模块和数据传输模块，其中，数据采集模块，用于采集不同地理位置的服务器产生的第一待处理数据，并将所述第一待处理数据传输至分布式数据库；数据处理模块，用于对采集到的所述第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据；数据分析模块，用于对所述第二待处理数据进行数据分析，并将分析后得到的数据进行划分，得到多个数据单元，并将所述数据单元传入到数据传输节点中；数据请求模块，用于发起数据交换请求，基于所述数据交换请求确定数据消费者的服务器，并获取所述数据消费者的服务器对应的数据通道；数据交换模块，用于提取所述数据交换请求中携带的需求数据信息，从所述数据传输节点中提取所述需求数据信息对应的数据单元；数据传输模块，用于通过所述数据通道加密传输所述需求数据信息对应的数据单元至数据消费者的服务器
。2.
如权利要求1所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述数据采集模块包括抽取子模块
、
运行子模块和抓取子模块，其中，抽取子模块，用于建立数据抓取任务，从所述数据抓取任务中确定需要抽取的数据元素，根据所述数据元素从不同地理位置的服务器中抽取数据，得到初始数据；运行子模块，用于对所述初始数据进行第一数据清洗，并确定数据字段，判断所述初始数据是否符合目标格式，若是，则运行数据抓取任务，通过数据抓取工具将从不同地理位置的服务器中进行抓取，得到抓取的数据；抓取子模块，用于对所述抓取的数据进行第二数据清洗和数据处理，以去除重复项和处理缺失值，得到第一待处理数据
。3.
如权利要求1所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述数据处理模块包括聚类子模块
、
计算子模块
、
求解子模块和标准化子模块，其中，聚类子模块，用于读取所述第一待处理数据，建立多个基本聚类，计算多个基础聚类中存在相同数据点的聚类簇，得到聚类簇结果；计算子模块，用于计算所述聚类簇结果的相似度，得到相似度结果，并基于所述相似度结果计算所述第一待处理数据的整合信息熵；求解子模块，用于以所述整合信息熵为初始聚类中心选择标准，重复求解整合信息熵，直至不产生新的聚类，输出所述第一待处理数据的数据整合结果；标准化子模块，用于对所述数据整合结果得到的数据进行数据标准化处理，得到第二待处理数据
。4.
如权利要求1所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述数据分析模块包括初始化子模块
、
降序排序子模块和判断子模块，其中，初始化子模块，用于初始化
LightGBM
模型参数，输入迭代步数
、
大梯度数据采样率
、
小梯度数据采样率和损失函数；降序排序子模块，用于将梯度绝对值进行降序排序，得到排序结果生成一个大梯度样
本点的子集和一个小梯度样本点的子集，合并大梯度样本与小梯度样本；判断子模块，用于将小梯度样本与权重系数因子相乘，使用采样后的样本学习一个新的弱学习器，判断是否达到迭代次数或者模型是否收敛，若是则输出训练好的数据分析模型
。5.
如权利要求4所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述判断子模块包括选取单元
、
计算单元
、
比较单元和输出单元，其中，选取单元，用于通过均匀随机采样得到的超参数，选取前
n
个元素放入第一结果集合中，其中
n
不等于0；计算单元，用于从所述第一结果集合中选取随机数，并计算各元素的特征值，得到第一特征值集合，将所述第一特征值集合中最小的特征值作为评判阈值；比较单元，用于将所述第一结果集合之外的元素计算出各元素的特征值，得到第二特征值集合，将所述第二特征值集合与所述评判阈值进行比较，若所述第二特征值集合中的值大于所述评判阈值，则...

【专利技术属性】
技术研发人员：陈玉刚，
申请(专利权)人：中科迅联智慧网络科技北京有限公司，
类型：发明
国别省市：