一种在计算机集群上进行矩阵乘积运算的方法和系统技术方案

本发明专利技术提供了一种在计算机集群上进行矩阵乘积运算的方法和装置，所述计算机集群上部署有分布式文件系统、用来执行映射Map任务和化简Reduce任务的多个计算节点，其中的方法具体包括：在所述多个计算节点上执行第一Map任务、第一Reduce任务、第二Map任务和第二Reduce任务；其中，所述第一Map任务进行第一处理得到相应的第一键值对结果；所述第一Reduce任务对第一键值对结果中相同主键的键值进行聚合；第二Map任务识别得到第一矩阵和第二矩阵的元素，并进行两两组合求乘积运算，得到第二键值对结果；第二Reduce任务对所述第二键值对结果中相同主键的键值进行求和。本发明专利技术能够提高矩阵乘积的运算速度。

【技术实现步骤摘要】

本申请涉及计算机并行运算
，特别是涉及一种在计算机集群上进行矩阵乘积运算的方法和系统。
技术介绍
目前，随着高性能应用和运算需求的迅猛发展，单台计算机已经不能解决一些超大规模应用问题，如空间连接、多个数据集的最近邻查询等。这就需要将多台计算机资源联合起来，构成计算机集群，共同解决大规模应用问题。海盗(Hadoop)就是这样一个分布式系统的集群架构，可以实现高效率的并行计算和海量存储。Hadoop由许多兀素构成,其最底部是海盗分布式文件系统(Hadoop DistributedFile System, HDFS)，它存储Hadoop集群中所有存储节点上的文件；HDFS的上一层是映射化简(MapReduce)引擎，MapReduce引擎是一个分布式计算框架,用于数据分析处理。主键-键值(key-value)存储可以为HDFS元数据存储管理带来更好的扩展性，故在Hadoop中常用于存储运算中的中间数据或结果数据。用计算机对大规模矩阵进行运算在工程和科学运算中有着广泛应用，例如在算法中动态规划优化、图邻接矩阵的最小最大边路径问题、数据处理中变量的映射和关联等应用领域均需要进行矩阵乘积本文档来自技高网...

【技术保护点】
一种在计算机集群上进行矩阵乘积运算的方法，所述计算机集群上部署有分布式文件系统、用来执行映射Map任务和化简Reduce任务的多个计算节点，其特征在于，所述方法包括：在所述多个计算节点上执行第一Map任务、第一Reduce任务、第二Map任务和第二Reduce任务；其中，所述第一Map任务从分布式文件系统读取第一矩阵和第二矩阵的行数据，并对所述行数据进行第一处理得到相应的第一键值对结果，并输出；所述第一Reduce任务对所述第一键值对结果中相同主键的键值进行聚合，并将相应的聚合结果输出至分布式文件系统；所述第二Map任务从分布式文件系统读取所述聚合结果，从所述聚合结果中识别得到第一矩阵和第二矩...

【技术特征摘要】

【专利技术属性】
技术研发人员：张一凡，张中峰，罗峰，黄苏支，李娜，
申请(专利权)人：北京亿赞普网络技术有限公司，
类型：发明
国别省市：