用于网站集群的数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种用于网站集群的数据处理方法和装置。其中，该用于网站集群的数据处理方法包括：获取目标网站的配置信息，配置信息为目标网站与链入链出网站之间的配置关系的信息，链入链出网站为与目标网站之间存在数据链入链出的网站，目标网站和链入链出网站为同一网站集群中的网站；获取目标网站的数据源，数据源用于存储目标网站的链入链出数据；通过配置信息对数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据；以及统计过滤后的链入链出数据的流量值。通过本发明专利技术，解决了相关技术中在统计网站集群中的目标网站的数据链入链出的流量值时，导致需要抽取很多无关数据的问题。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种用于网站集群的数据处理方法和装置。其中，该用于网站集群的数据处理方法包括：获取目标网站的配置信息，配置信息为目标网站与链入链出网站之间的配置关系的信息，链入链出网站为与目标网站之间存在数据链入链出的网站，目标网站和链入链出网站为同一网站集群中的网站；获取目标网站的数据源，数据源用于存储目标网站的链入链出数据；通过配置信息对数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据；以及统计过滤后的链入链出数据的流量值。通过本专利技术，解决了相关技术中在统计网站集群中的目标网站的数据链入链出的流量值时，导致需要抽取很多无关数据的问题。【专利说明】用于网站集群的数据处理方法和装置
本专利技术涉及数据处理领域，具体而言，涉及一种用于网站集群的数据处理方法和 >J-U ρ?α装直。
技术介绍
网站集群是指一群能够进行数据共享、数据呈送的相互关联的网站的集合。目前，在相关技术中，在统计某个网站集群内各个网站到该网站集群内其它网站的数据链入链出的流量值时，通常采用传统的统计方式，即，先从各个数据库中抽取链入链出到目标网站的所有数据，再过滤掉不属于目标网站所在的网站集群内的其他网站的数据，得到过滤后的数据，然后统计过滤后的数据的流量值，并将这些数据插入到目标数据源中。 然而，在上述统计方案中，由于要对目标网站的所有数据源中的数据进行全部抽取，导致需要抽取很多无关数据，增加了数据抽取负担，并且降低了系统性能以及数据传输速度。 针对相关技术中在统计网站集群中的目标网站的数据链入链出的流量值时，导致需要抽取很多无关数据的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术的主要目的在于提供一种用于网站集群的数据处理方法和装置，以解决相关技术中在统计网站集群中的目标网站的数据链入链出的流量值时，导致需要抽取很多无关数据的问题。 为了实现上述目的，根据本专利技术的一个方面，提供了一种用于网站集群的数据处理方法。该方法包括:获取目标网站的配置信息，所述配置信息为所述目标网站与链入链出网站之间的配置关系的信息，所述链入链出网站为与所述目标网站之间存在数据链入链出的网站，所述目标网站和所述链入链出网站为同一网站集群中的网站；获取所述目标网站的数据源，所述数据源用于存储所述目标网站的链入链出数据；通过所述配置信息对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据；以及统计所述过滤后的链入链出数据的流量值。 进一步地，通过所述配置信息对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据包括:根据所述配置信息生成结构化查询语言SQL配置语句；执行所述SQL配置语句以生成临时表，所述临时表用于存储所述配置信息；以及根据所述临时表对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据。 进一步地，根据所述配置信息生成结构化查询语言SQL配置语句包括:将所述配置信息进行转化，得到转化信息；申明临时表变量；以及将所述转化信息插入临时表变量，得到所述SQL配置语句。 进一步地，在统计所述过滤后的链入链出数据的流量值之前，所述数据处理方法还包括:获取结构化查询语言SQL抽取语句；通过所述SQL抽取语句对过滤后的链入链出数据进行抽取，得到抽取后的链入链出数据，其中，统计所述抽取后的链入链出数据的流量 值。 进一步地，在通过所述SQL抽取语句对过滤后的链入链出数据进行抽取，得到抽取后的链入链出数据之后，所述数据处理方法还包括:将抽取得到的链入链出数据存储至目标数据库中；或者将所述抽取得到的链入链出数据存储至数据仓库中。 为了实现上述目的，根据本专利技术的另一方面，提供了一种用于网站集群的数据处理装置。该装置包括:第一获取单元，用于获取目标网站的配置信息，所述配置信息为所述目标网站与链入链出网站之间的配置关系的信息，所述链入链出网站为与所述目标网站之间存在数据链入链出的网站，所述目标网站和所述链入链出网站为同一网站集群中的网站；第二获取单元，用于获取所述目标网站的数据源，所述数据源用于存储所述目标网站的链入链出数据；过滤单元，用于通过所述配置信息对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据；以及统计单元，用于统计所述过滤后的链入链出数据的流量值。 进一步地，所述过滤单元包括:生成模块，用于根据所述配置信息生成结构化查询语言SQL配置语句；执行模块，用于执行所述SQL配置语句以生成临时表，所述临时表用于存储所述配置信息；以及过滤模块，用于根据所述临时表对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据。 进一步地，所述生成模块包括:转化子模块，用于将所述配置信息进行转化，得到转化信息；申明子模块，用于申明临时表变量；以及插入子模块，用于将所述转化信息插入临时表变量，得到所述SQL配置语句。 进一步地，所述数据处理装置还包括:第三获取单元，用于在统计所述过滤后的链入链出数据的流量值之前，获取结构化查询语言SQL抽取语句；抽取单元，用于通过所述SQL抽取语句对过滤后的链入链出数据进行抽取，得到抽取后的链入链出数据，其中，所述统计单元还用于统计所述抽取后的链入链出数据的流量值。 进一步地，所述数据处理装置还包括:第一存储单元，用于在通过所述SQL抽取语句对过滤后的链入链出数据进行抽取，得到抽取后的链入链出数据之后，将抽取得到的链入链出数据存储至目标数据库中；或者第二存储单元，用于将所述抽取得到的链入链出数据存储至数据仓库中。 通过本专利技术，采用获取目标网站的配置信息，配置信息为目标网站与链入链出网站之间的配置关系的信息，链入链出网站为与目标网站之间存在数据链入链出的网站，目标网站和链入链出网站为同一网站集群中的网站；获取目标网站的数据源，数据源用于存储目标网站的链入链出数据；通过配置信息对数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据；以及统计过滤后的链入链出数据的流量值，由于在抽取数据之前就对链入链出数据进行了过滤，解决了相关技术中在统计网站集群中的目标网站的数据链入链出的流量值时，导致需要抽取很多无关数据的问题，达到了仅仅抽取需要抽取的链入链出数据进行流量值统计的效果。 【专利附图】【附图说明】 构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中: 图1是根据本专利技术实施例的用于网站集群的数据处理装置的示意图； 图2是根据本专利技术实施例的优选的用于网站集群的数据处理装置的示意图； 图3是根据本专利技术实施例的用于网站集群的数据处理方法的流程图；以及 图4是根据本专利技术实施例的优选的用于网站集群的数据处理方法的流程图。 【具体实施方式】 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。 为了使本领域的技术人员更好的理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。根据本专利技术中的实施例，在本领域普通技术人员没有做出创造性劳动前提本文档来自技高网...

【技术保护点】
一种用于网站集群的数据处理方法，其特征在于，包括：获取目标网站的配置信息，所述配置信息为所述目标网站与链入链出网站之间的配置关系的信息，所述链入链出网站为与所述目标网站之间存在数据链入链出的网站，所述目标网站和所述链入链出网站为同一网站集群中的网站；获取所述目标网站的数据源，所述数据源用于存储所述目标网站的链入链出数据；通过所述配置信息对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据；以及统计所述过滤后的链入链出数据的流量值。

【技术特征摘要】

【专利技术属性】
技术研发人员：洪超，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11