一种通过计算集群进行网页排序的方法及装置制造方法及图纸

本发明专利技术实施例提供一种通过计算集群进行网页排序的方法及装置，所述方法包括：将pagerank矩阵保存在计算集群的磁盘上；从所述计算集群的磁盘载入pagerank矩阵；在所述计算集群的多个处理器的内存中分配空间，将pagerank矩阵和向量分块并行存储；利用所述计算集群的多个处理器并行执行pagerank矩阵和向量的矩阵向量积的计算，从而根据计算结果进行网页排序。上述技术方案具有如下有益效果：通过计算过程的优化，能够降低处理器间的通信量、提高处理器利用率，从而让求解速度更快。

【技术实现步骤摘要】
一种通过计算集群进行网页排序的方法及装置
本专利技术涉及多处理器
，尤其涉及一种通过计算集群进行网页排序的方法及装置。
技术介绍
PageRank是一种按照网页的重要程度对网页排序的算法，PageRank的核心思想非常简单：如果一个网页被很多其他网页链接到的话说明这个网页比较重要，也就是PageRank值会相对较高。如果一个PageRank值很高的网页链接到一个其他的网页，那么被链接到的网页的PageRank值会相应地因此而提高。求解PageRank值的众多方法中，特征值法是一个重要方法。该方法具体来说就是求解一个矩阵的特征向量。求解特征向量的方法有很多，举一个例子来说：“幂法”。简单解释幂法：随机产生一个向量x_0，把它与矩阵A相乘得到x_1＝A*x_0；再与A相乘得到x_2＝A*x_1；再与A相乘……；重复无穷多次得到的向量就是A的特征向量。实际上不用无穷多次，只要次数足够多就可以得到近似解。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：现有技术的计算速度太慢，幂法的本文档来自技高网...

【技术保护点】
1.一种通过计算集群进行网页排序的方法，其特征在于，所述方法包括：/n将pagerank矩阵保存在计算集群的磁盘上；/n从所述计算集群的磁盘载入pagerank矩阵；/n在所述计算集群的多个处理器的内存中分配空间，将pagerank矩阵和向量分块并行存储；/n利用所述计算集群的多个处理器并行执行pagerank矩阵和向量的矩阵向量积的计算，从而根据计算结果进行网页排序。/n

【技术特征摘要】
1.一种通过计算集群进行网页排序的方法，其特征在于，所述方法包括：
将pagerank矩阵保存在计算集群的磁盘上；
从所述计算集群的磁盘载入pagerank矩阵；
在所述计算集群的多个处理器的内存中分配空间，将pagerank矩阵和向量分块并行存储；
利用所述计算集群的多个处理器并行执行pagerank矩阵和向量的矩阵向量积的计算，从而根据计算结果进行网页排序。


2.如权利要求1所述通过计算集群进行网页排序的方法，其特征在于，所述计算集群有多个处理器，每个处理器有多个协处理器；所述处理器为CPU，所述协处理器为如下的一种或多种：GPU、FPGA、DSP。


3.如权利要求2所述通过计算集群进行网页排序的方法，其特征在于，所述利用所述计算集群的多个处理器并行执行pagerank矩阵和向量的矩阵向量积的计算，包括：
处理器在计算程序开始就做一次通信，收发非对角块所需的计算元素，然后不等待通信结束，控制协处理器做对角块计算；等待协处理器计算完成后，处理器再收发下一次计算所需的计算元素，协处理器开始下一次计算。


4.如权利要求1所述通过计算集群进行网页排序的方法，其特征在于，
利用所述计算集群的多个处理器，并行执行pagerank矩阵和向量的矩阵向量积的计算时，求解pagerank矩阵的特征值的一个方法为双正交Lancz...

【专利技术属性】
技术研发人员：赵永华，于天禹，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：北京;11