数据仓库的数据处理基础架构制造技术

一种数据仓库的数据处理基础架构，包括第二核心交换机、虚拟局域网交换机、第一光纤交换机和第二光纤交换机，还包括第一并行专业系统硬件服务器群、数据仓库硬件服务器群和第二并行专业系统硬件服务器群，各服务器群分别与第二核心交换机、虚拟局域网交换机、第一光纤交换机和第二光纤交换机建立通信链路。这样软件系统在业务数据建模的时候考虑维度设计时就可以区分并行系统的相同模型下的数据。在进行主数据加载考虑数据流设计时，从数据处理基础架构获得可区分的并行两系统的主数据。

【技术实现步骤摘要】
数据仓库的数据处理基础架构
本专利技术涉及一种数据处理的硬件结构，特别是涉及一种海量数据处理的硬件结构。
技术介绍
在集团企业中实施ERP中，集团中的有限公司会采用独立的ERP专业系统，例如在集团公司采用完整的SAP的开发、测试、采集调试和生产等专业系统，而在不同的二级企业也会采用完整的开发、测试、采集调试和生产系统，但是集团层面建立数据仓库时对来自不同专业系统的数据处理会出现以下问题：由于数据来源于两套业务系统，集团和有限公司的业务数据，如采购订单、销售订单等等，可能会出现编码范围重复。由于数据来源于两套业务系统，集团和有限公司的主数据，包括人力数据、物料编码等等，可能会出现编码重复。
技术实现思路
本专利技术的目的是提供一种数据仓库的数据处理基础架构，利用改变数据仓库与并行系统数据处理的基础硬件架构，解决现有并行的业务系统数据无法在数据仓库进行有效数据处理的技术问题。本专利技术的数据仓库的数据处理基础架构，包括第二核心交换机、虚拟局域网交换机、第一光纤交换机和第二光纤交换机，还包括第一并行专业系统硬件服务器群、数据仓库硬件服务器群和第二并行专业系统硬件服务器群，各服务器群分别与第二核心交换机、虚拟局域网交换机、第一光纤交换机和第二光纤交换机建立通信链路。所述第一并行专业系统硬件服务器群包括第一开发服务器、第一测试服务器、第一采集与调试服务器和第一生产服务器，各服务器分别包括四个数据端口，每个服务器的第一数据端口连接第二核心交换机，每个服务器的第二数据端口连接虚拟局域网交换机，每个服务器的第三数据端口连接第一光纤交换机，每个服务器的第四数据端口连接第二光纤交换机。所述数据仓库硬件服务器群包括第二开发服务器、第二测试服务器、第二采集与调试服务器、第三采集与调试服务器和第二生产服务器，各服务器分别包括四个数据端口，每个服务器的第一数据端口连接第二核心交换机，每个服务器的第二数据端口连接虚拟局域网交换机，每个服务器的第三数据端口连接第一光纤交换机，每个服务器的第四数据端口连接第二光纤交换机。所述第二并行专业系统硬件服务器群包括第四采集与调试服务器和第三生产服务器，各服务器分别包括四个数据端口，每个服务器的第一数据端口连接第二核心交换机，每个服务器的第二数据端口连接虚拟局域网交换机，每个服务器的第三数据端口连接第一光纤交换机，每个服务器的第四数据端口连接第二光纤交换机。还包括日志服务器，第一存储服务器、第二存储服务器和磁带机，实例服务器，核心数据库服务器；核心数据库服务器的第一组电数据端口与第一核心交换机建立冗余数据链路，核心数据库服务器的第二组电数据端口与第二核心交换机建立冗余数据链路，核心数据库服务器的第三组电数据端口与虚拟局域网交换机的不同网段建立数据链路，实例服务器的第一组电数据端口与第一核心交换机建立冗余数据链路，实例服务器的第二组电数据端口与虚拟局域网交换机的不同网段建立数据链路。核心数据库服务器的第一组光数据端口与第一光纤交换机建立数据链路，核心数据库服务器的第二组光数据端口与第二光纤交换机建立数据链路。第一光纤交换机和第二光纤交换机通过光数据端口分别与日志服务器，第一存储服务器、第二存储服务器和磁带机建立数据链路。在第一开发服务器和第二开发服务器上分别安装开发环境系统，在第一测试服务器和第二测试服务器上分别安装测试环境系统，在第一采集与调试服务器、第二采集与调试服务器和第四采集与调试服务器上分别安装真实环境调试系统，在第一生产服务器、第二生产服务器和第三生产服务器上分别安装正式生产系统；还包括配置装置、信号装置和传输装置；配置装置，用于接收并行系统中，相同软件专业系统的数据和信号，完成对数据和信号来源的定义，并输出；信号装置，用于接收并行系统的数据和信号，完成相同软件专业系统中相同类型数据的标志和区分，并输出；传输装置，用于将并行系统中各软件专业系统的数据和信号进行匹配，完成数据校验后传输至数据仓库的对应软件专业系统。利用所述的数据仓库的数据处理基础架构，进行数据仓库软件专业系统部署时，包括以下步骤：在数据处理基础架构上的相应服务器上部署开发、测试、采集调试和生产专业软件系统；在配置装置中设置区分并行专业系统相同对象模型的参考数据；在信号装置中设置区分并行专业系统相同类型数据的标志信号；在进行数据仓库各系统的传输流沿开发-测试-采集调试-生产顺序传输前，将采集调试系统复制到另一个采集与调试服务器，并激活；通过传输装置完成各系统间数据与信号传输，并行系统的两组差异化的采集调试系统和生产系统的数据在数据仓库的相应系统中融合。本专利技术的数据仓库的数据处理基础架构中，将并行系统中的源数据生成的专业系统的硬件架构归一化，使得在源数据生成系统统一的基础上，区别专业系统不同分支形成的专业系统，并将树形结构的专业系统与数据仓库的硬件架构对接，从硬件架构上保证了软件专业系统中数据可朔源，可以根据硬件架构确定数据的差异性和相关性。这样软件系统在业务数据建模的时候考虑维度设计时就可以区分并行系统的相同模型下的数据。在进行主数据加载考虑数据流设计时，从数据处理基础架构获得可区分的并行两系统的主数据。下面结合附图对本专利技术的实施例作进一步说明。附图说明图1为本专利技术数据仓库的数据处理基础架构的硬件体系结构示意图；图2为本专利技术数据仓库的数据处理基础架构的并行系统连接结构示意图；图3为利用本专利技术数据仓库的数据处理基础架构的软件系统的结构示意图；图4为利用本专利技术数据仓库的数据处理基础架构进行软件系统优化时的方法流程图。具体实施方式如图1所示，本实施例中包括第一核心交换机11、第二核心交换机12、虚拟局域网交换机15、第一光纤交换机13和第二光纤交换机14，还包括日志服务器19，第一存储服务器16、第二存储服务器17和磁带机18，实例服务器51，核心数据库服务器52，核心数据库服务器52的第一组电数据端口与第一核心交换机11建立冗余数据链路，核心数据库服务器52的第二组电数据端口与第二核心交换机12建立冗余数据链路，核心数据库服务器52的第三组电数据端口与虚拟局域网交换机15的不同网段建立数据链路，实例服务器51的第一组电数据端口与第一核心交换机11建立冗余数据链路，实例服务器51的第二组电数据端口与虚拟局域网交换机15的不同网段建立数据链路。核心数据库服务器52的第一组光数据端口与第一光纤交换机13建立数据链路，核心数据库服务器52的第二组光数据端口与第二光纤交换机14建立数据链路。第一光纤交换机13和第二光纤交换机14通过光数据端口分别与日志服务器19，第一存储服务器16、第二存储服务器17和磁带机18建立数据链路。日志服务器19、磁带机18、第一存储服务器16与光纤交换机在本地部署，第二存储服务器17在异地部署。以上硬件架构，通过交换机数据端口在核心数据库服务器52、实例服务器51和存储服务器间建立链路网络，使得核心生产系统获得最可靠的运维环境，使得各专业系统在物理架构上有效分离，任何一个项目系统的改变都不会对核心系统直接产生干扰。如图2所示，本实施例中包括第一并行专业系统硬件服务器群S01、数据仓库硬件服务器群S02和第二并行专业系统硬件服务器群S03，第一并行专业系统硬件服务器群S01包括第一开发服务器D01、第一测试服务本文档来自技高网...

【技术保护点】
一种数据仓库的数据处理基础架构，包括第二核心交换机（12）、虚拟局域网交换机（15）、第一光纤交换机（13）和第二光纤交换机（14），其特征在于：还包括第一并行专业系统硬件服务器群（S01）、数据仓库硬件服务器群（S02）和第二并行专业系统硬件服务器群（S03），各服务器群分别与第二核心交换机（12）、虚拟局域网交换机（15）、第一光纤交换机（13）和第二光纤交换机（14）建立通信链路。

【技术特征摘要】
1.一种数据仓库的数据处理基础架构，包括第二核心交换机(12)、虚拟局域网交换机(15)、第一光纤交换机(13)和第二光纤交换机(14)，其特征在于：还包括第一并行专业系统硬件服务器群(S01)、数据仓库硬件服务器群(S02)和第二并行专业系统硬件服务器群(S03)，各服务器群分别与第二核心交换机(12)、虚拟局域网交换机(15)、第一光纤交换机(13)和第二光纤交换机(14)建立通信链路；所述第一并行专业系统硬件服务器群(S01)包括第一开发服务器(D01)、第一测试服务器(Q01)、第一采集与调试服务器(M01)和第一生产服务器(P01)，各服务器分别包括四个数据端口，每个服务器的第一数据端口连接第二核心交换机(12)，每个服务器的第二数据端口连接虚拟局域网交换机(15)，每个服务器的第三数据端口连接第一光纤交换机(13)，每个服务器的第四数据端口连接第二光纤交换机(14)；所述数据仓库硬件服务器群(S02)包括第二开发服务器(D02)、第二测试服务器(Q02)、第二采集与调试服务器(M02)、第三采集与调试服务器(M03)和第二生产服务器(P02)，各服务器分别包括四个数据端口，每个服务器的第一数据端口连接第二核心交换机(12)，每个服务器的第二数据端口连接虚拟局域网交换机(15)，每个服务器的第三数据端口连接第一光纤交换机(13)，每个服务器的第四数据端口连接第二光纤交换机(14)；所述第二并行专业系统硬件服务器群(S03)包括第四采集与调试服务器(M11)和第三生产服务器(P11)，各服务器分别包括四个数据端口，每个服务器的第一数据端口连接第二核心交换机(12)，每个服务器的第二数据端口连接虚拟局域网交换机(15)，每个服务器的第三数据端口连接第一光纤交换机(13)，每个服务器的第四数据端口连接第二光纤交换机(14)；还包括日志服务器(19)，第一存储服务器(16)、第二存储服务器(17)和磁带机(18)，实例服务器(51)，核心数据库服务器(52)；核心数据库服务器(52)的第一组电数据端口与第一核心交换机(11)建立冗余数据链路，核心数据库服务器(52)的第二组电数据端口与第二核心交换机(12)建立冗余数据链路，核心数据库...

【专利技术属性】
技术研发人员：王小玲，应洁，李文湘，陈旸华，杨凯，谢正华，赵晖，陈凯，任芳，李源，
申请(专利权)人：中国海洋石油总公司，
类型：发明
国别省市：