数据中心系统及方法、Map节点、Reduce节点、设备、芯片技术方案

本申请提供一种基于Map

【技术实现步骤摘要】
数据中心系统及方法、Map节点、Reduce节点、设备、芯片


[0001]本申请涉及数据处理技术、无线通信技术的
，具体涉及一种基于Map
‑
Reduce的传算一体数据处理方法及数据中心系统、Map节点、Reduce节点、电子设备、芯片。

技术介绍

[0002]用于进行大数据计算处理的数据中心系统中，其核心组成部分通常包括用于进行大数据分布式统计计算的映射
‑
归约（Map
‑
Reduce）计算模型，其中Map
‑
Reduce是一种基于索引关键词
‑
数值（Key
‑
Value）结构（即键值对）的分布式计算模型，模型中的映射节点（Map Node）和归约节点（Reduce Node）之间是基于通信网络（如有线通信网络、无线通信网络等）连接在一起，并基于该通信网络进行数据传输。
[0003]传统数据中心系统的整体性能，容易受到通信网络在实际场景中的应用部署限制，比如采用有线通信网络时，需要考虑有线网络拓扑、有线网卡部署成本、传输冲突检测机制对传输效率限制等实际应用限制，又比如采用无线通信网络时，需要面对无线传输机制的设置、传输效率提升等应用限制，整体灵活性、场景适应性不高；而且，因传输和计算是属于两个独立且分离环节，即在OSI（Open System Interconnection）模型中的物理层进行大数据的数据通信传输，以及在应用层上进行大数据的Map
‑
Reduce计算，大数据计算处理的整体性能有待提高。

技术实现思路

[0004]有鉴于此，本说明书实施例提供一种基于Map
‑
Reduce的传算一体数据处理方法及数据中心系统、Map节点、Reduce节点、电子设备、芯片，以基于Map
‑
Reduce架构，在数据中心系统中实现传输和计算一体（即传算一体）的Map
‑
Reduce整体数据处理架构，不仅能够节约资源开销，而且能够提升处理效率，以及能够为大数据计算处理的数据中心系统提供一种全新计算处理架构。
[0005]本说明书实施例提供以下技术方案：本说明书实施例提供一种基于Map
‑
Reduce的传算一体数据中心系统，包括：多个Map节点和一个Reduce节点，多个所述Map节点与所述Reduce节点之间无线通信连接；每一个所述Map节点与所述Reduce节点之间的距离均相等；所述Map节点包括映射装置和无线发送装置，其中所述映射装置用于对输入的待处理数据进行映射处理，所述映射处理包括将所述待处理数据中各个数据对应的Key值分别与签名用的正交序列对应映射；所述无线发送装置用于在时间同步下，将被映射后的所述正交序列向空中进行无线信号发送；所述Reduce节点包括无线接收装置、相关器单元和键值对统计单元，其中所述无线接收装置用于对所述多个Map节点在所述时间同步下发送的无线信号进行无线接收；所述相关器单元用于对所述无线信号进行正交序列相关解调，以在解调后获得该正交序列对应的Value计数结果；所述键值对统计单元用于根据所述相关器单元输出的Value计数结
果，统计出输入到所述多个Map节点的所述待处理数据对应的Key
‑
Value键值对结果。
[0006]与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：本专利技术中多个Map节点和Reduce节点之间无线连接，并且多个Map节点和Reduce节点之间形成无线通信拓扑结构，在网络结构上可以实现多个Map节点同时向Reduce节点进行无线数据传输，提高数据传输的效率，并且不需要通过有线网络封包的形式实现，降低网络封包的相关开销；另外，本专利技术中Map节点和Reduce节点通过正交序列进行数据传输和数据处理，将Map
‑
Reduce中的Key和正交序列进行关联，从而在空口实现数据传输和计算，得到Key对应的Value，提升Map
‑
Reduce的计算效率，实现了传算一体的数据中心系统和数据处理架构。
附图说明
[0007]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0008]图1是一种传统有线网络构成的数据中心系统的结构示意图；图2是Map节点与Reduce节点之间基于交换机实现多点接入有线通信网络的结构示意图；图3是Map节点与Reduce节点之间点对点有线通信网络的结构示意图；图4是一种传统无线网络构成的数据中心系统的结构示意图；图5是一种传统数据中心系统进行Map
‑
Reduce计算处理的结构示意图；图6是输入文本被Map
‑
Reduce计算处理的结构示意图；图7是本申请中一种基于Map
‑
Reduce的传算一体数据中心系统的结构示意图；图8是本申请中实现传算一体的空口架构的结构示意图；图9是本申请中Map节点进行映射和形成数据包的结构示意图；图10是本申请中多个Map节点在时间同步下一起向Reduce节点发送混合无线信号的结构示意图；图11是本申请中一种混合无线信号被相关处理的结构示意图；图12是本申请中另一种混合无线信号被相关处理的结构示意图；图13是本申请中Reduce节点通过相关解调得到Value值的结果示意图；图14是本申请中一种包含4个Map节点和一个Reduce节点的数据中心系统的结构示意图；图15是本申请中一种Map节点的结构示意图；图16是本申请中一种Reduce节点的示意图；图17是本申请中一种Map节点进行映射和无线发送的硬件结构示意图；图18是本申请中一种Reduce节点进行无线接收和相关解调的硬件结构示意图；图19是本申请中一种具有无线通信网络和有线通信网络的传算一体数据中心系统的结构示意图。
具体实施方式
[0009]下面结合附图对本申请实施例进行详细描述。
[0010]以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0011]要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Map
‑
Reduce的传算一体数据中心系统，包括：多个Map节点和一个Reduce节点，其特征在于，多个所述Map节点与所述Reduce节点之间无线通信连接；每一个所述Map节点与所述Reduce节点之间的距离均相等；所述Map节点包括映射装置和无线发送装置，其中所述映射装置用于对输入的待处理数据进行映射处理，所述映射处理包括将所述待处理数据中各个数据对应的Key值分别与签名用的正交序列对应映射；所述无线发送装置用于在时间同步下，将被映射后的所述正交序列向空中进行无线信号发送；所述Reduce节点包括无线接收装置、相关器单元和键值对统计单元，其中所述无线接收装置用于对所述多个Map节点在所述时间同步下发送的无线信号进行无线接收；所述相关器单元用于对所述无线信号进行正交序列相关解调，以在解调后获得该正交序列对应的Value计数结果；所述键值对统计单元用于根据所述相关器单元输出的Value计数结果，统计出输入到所述多个Map节点的所述待处理数据对应的Key
‑
Value键值对结果。2.根据权利要求1所述的基于Map
‑
Reduce的传算一体数据中心系统，其特征在于，所述映射装置包括：多个正交序列生成器和映射开关，每个所述正交序列生成器生成一个所述正交序列；所述映射开关将上层生成的Key数据映射到对应的所述正交序列生成器；所述正交序列生成器根据所述映射开关的映射结果生成Key对应的正交序列，将所述正交序列作为第一基带信号传递到所述无线发送装置。3.根据权利要求1所述的基于Map
‑
Reduce的传算一体数据中心系统，其特征在于，所述相关器单元包括多个正交序列相关器；所述键值对统计单元包括多个相关峰电平判决器；其中，每个所述正交序列相关器与所述正交序列一一对应，一个所述正交序列相关器与对应的一个相关峰电平判决器连接；所述正交序列相关器用于对输入的所述无线信号执行正交序列相关解调，并输出所述无线信号对应的电平值；所述相关峰电平判决器用于对与其连接的所述正交序列相关器输出的电平值进行判决计数，以得到该正交序列相关器对应正交序列的Value计数结果。4.根据权利要求1所述的基于Map
‑
Reduce的传算一体数据中心系统，其特征在于，所述多个Map节点部署于以所述Reduce节点为圆心的圆周上。5.根据权利要求4所述的基于Map
‑
Reduce的传算一体数据中心系统，其特征在于，所述多个Map节点等间距地部署于以所述Reduce节点为圆心的圆周上。6.根据权利要求1
‑
5中任意一项所述的基于Map
‑
Reduce的传算一体数据中心系统，其特征在于，所述Map节点还包括第一有线网卡，以及所述Reduce节点还包括第二有线网卡；其中，所述Map节点与所述Reduce节点之间基于所述第一有线网卡和所述第二有线网卡构成有线通信网络。7.根据权利要求6所述的基于Map
‑
Reduce的传算一体数据中心系统，其特征在于，所述有线通信网络包括基于交换机的有线通信网络。8.一种基于Map
‑
Reduce的传算一体数据处理方法，其特征在于，适用于...

【专利技术属性】
技术研发人员：徐方鑫，冉建军，胡林平，杨瑾，
申请(专利权)人：上海朗力半导体有限公司，
类型：发明
国别省市：