数据处理方法及装置制造方法及图纸

本公开提供一种数据处理方法及装置，涉及互联网技术领域。方法应用于通过交换机与存储集群通信的计算节点，方法包括：计算得到待存储数据在所述存储集群中对应的至少两个存储节点；根据所述至少两个存储节点获得对应的组播地址；将待存储数据封装在组播报文中，以所述组播地址作为所述组播报文的目的地址，并将该组播报文发送至所述交换机，通过所述交换机将所述组播报文发送至所述存储集群中与所述组播地址对应的至少两个存储节点，以对所述待存储数据进行存储。从而提升数据处理性能。

Data Processing Method and Device

The present disclosure provides a data processing method and device, which relates to the field of Internet technology. The method is applied to computing nodes communicating with storage cluster through switches. The method includes: calculating at least two storage nodes corresponding to the data to be stored in the storage cluster; obtaining corresponding multicast address according to the at least two storage nodes; encapsulating the data to be stored in the multicast message, using the multicast address as the destination address of the multicast message, and The multicast message is sent to the switch through which the multicast message is sent to at least two storage nodes corresponding to the multicast address in the storage cluster to store the data to be stored. In order to improve the performance of data processing.

【技术实现步骤摘要】
数据处理方法及装置
本公开涉及互联网
，具体而言，涉及一种数据处理方法及装置。
技术介绍
随着互联网技术的快速发展，各种场景下的数据量正变得越来越大，相应地，需要对大量数据进行存储等处理。例如，在分布式存储系统中，为了确保数据存储可靠性，往往会进行多副本存储，通过保存同一份数据的多个拷贝提升数据存储可靠性。
技术实现思路
有鉴于此，本公开提供一种数据处理方法及装置。第一方面，本公开提供了一种数据处理方法，应用于通过交换机与存储集群通信的计算节点，所述方法包括：计算得到待存储数据在所述存储集群中对应的至少两个存储节点；根据所述至少两个存储节点获得对应的组播地址；将待存储数据封装在组播报文中，以所述组播地址作为所述组播报文的目的地址，并将该组播报文发送至所述交换机，通过所述交换机将所述组播报文发送至所述存储集群中与所述组播地址对应的至少两个存储节点，以对所述待存储数据进行存储。可选地，计算得到待存储数据在所述存储集群中对应的至少两个存储节点的步骤，包括：获取所述存储集群中存储节点的拓扑信息以及存储集群中的存储配置信息；根据所述拓扑信息和存储配置信息计算得到待存储数据在所述存储集群中对应的至少两个存储节点。可选地，根据所述至少两个存储节点获得对应的组播地址的步骤，包括：查询预设的组播地址数据表中是否存在与所述至少两个存储节点对应的组播地址，若存在与所述至少两个存储节点对应的组播地址，获得该组播地址。可选地，所述方法还包括：若不存在与所述至少两个存储节点对应的组播地址，则根据预先设定的所述存储集群中各存储节点的编号，得到与所述至少两个存储节点对应的编号组，所述编号组中与所述至少两个存储节点分别对应的各编号按大小依次排列；获得所述存储集群中与所述至少两个存储节点数量相同的各存储节点分别对应的编号组的全序关系；将预设的组播地址段的全序关系和所述存储集群中与所述至少两个存储节点数量相同的各存储节点分别对应的编号组的全序关系进行映射，获得与所述至少两个存储节点对应的组播地址；将与所述至少两个存储节点对应的组播地址添加至所述组播地址数据表。可选地，所述方法还包括：判断是否接收到所述至少两个存储节点中的每个存储节点发送的存储确认信息，若接收到所述至少两个存储节点中的每个存储节点发送的存储确认信息，判定所述待存储数据存储完成。第二方面，本公开提供一种数据处理方法，应用于通过交换机与计算节点通信的存储集群，所述方法包括：从所述交换机获取地址解析协议ARP表；从所述ARP表中得到所述存储集群中各存储节点的IP地址和端口信息；获得所述存储集群中与至少两个存储节点对应的组播地址；将每个组播地址及其对应的IP地址和端口信息发送至所述交换机。第三方面，本公开提供一种数据处理方法，应用于分布式存储系统，所述分布式存储系统包括计算节点、交换机和存储集群，所述存储集群中包括多个存储节点，所述方法包括：计算节点将待存储数据封装在组播报文中并发送至交换机，所述组播报文的组播地址与所述存储集群中的至少两个存储节点对应；所述交换机接收所述计算节点发送的组播报文，根据所述组播报文中的组播地址查找到至少两个目的端口，将所述组播报文复制后通过所述至少两个目的端口分别发送至对应的存储节点；所述存储节点接收到所述组播报文后，将所述组播报文中的待存储数据进行存储。可选地，所述计算节点中预设有组播地址数据表；所述计算节点将待存储数据封装在组播报文中并发送至交换机的步骤，包括：计算得到待存储数据在所述存储集群中对应的至少两个存储节点；查询预设的组播地址数据表中是否存在与所述至少两个存储节点对应的组播地址，若存在与所述至少两个存储节点对应的组播地址，获得该组播地址；将待存储数据封装在组播报文中，以所述组播地址作为所述组播报文的目的地址，并将该组播报文发送至所述交换机；其中，所述组播地址数据表中按照所述存储集群可包括的最大存储节点数量，建立与所述存储集群中至少两个存储节点对应的组播地址，在所述存储集群中的存储节点扩容或者缩容过程中，添加或者删除所述组播地址数据表中的对应信息，并将所述存储节点扩容或者缩容结果更新至所述交换机。第四方面，本公开提供一种数据处理装置，应用于通过交换机与存储集群通信的计算节点，所述数据处理装置包括：计算模块，用于计算得到待存储数据在所述存储集群中对应的至少两个存储节点；地址获得模块，用于根据所述至少两个存储节点获得对应的组播地址；报文处理模块，用于将待存储数据封装在组播报文中，以所述组播地址作为所述组播报文的目的地址，并将该组播报文发送至所述交换机，通过所述交换机将所述组播报文发送至所述存储集群中与所述组播地址对应的至少两个存储节点，以对所述待存储数据进行存储。可选地，所述计算模块通过以下步骤计算得到待存储数据在所述存储集群中对应的至少两个存储节点：获取所述存储集群中存储节点的拓扑信息以及存储集群中的存储配置信息；根据所述拓扑信息和存储配置信息计算得到待存储数据在所述存储集群中对应的至少两个存储节点。可选地，所述地址获得模块通过以下步骤根据所述至少两个存储节点获得对应的组播地址：查询预设的组播地址数据表中是否存在与所述至少两个存储节点对应的组播地址，若存在与所述至少两个存储节点对应的组播地址，获得该组播地址。可选地，所述地址获得模块还用于在不存在与所述至少两个存储节点对应的组播地址时，执行以下步骤：根据预先设定的所述存储集群中各存储节点的编号，得到与所述至少两个存储节点对应的编号组，所述编号组中与所述至少两个存储节点分别对应的各编号按大小依次排列；获得所述存储集群中与所述至少两个存储节点数量相同的各存储节点分别对应的编号组的全序关系；将预设的组播地址段的全序关系和所述存储集群中与所述至少两个存储节点数量相同的各存储节点分别对应的编号组的全序关系进行映射，获得与所述至少两个存储节点对应的组播地址；将与所述至少两个存储节点对应的组播地址添加至所述组播地址数据表。第五方面，本公开提供一种数据处理装置，应用于通过交换机与计算节点通信的存储集群，所述数据处理装置包括：表项获取模块，用于从所述交换机获取地址解析协议ARP表；信息获取模块，用于从所述ARP表中得到所述存储集群中各存储节点的IP地址和端口信息，获得所述存储集群中与至少两个存储节点对应的组播地址；信息发送模块，用于将每个组播地址及其对应的IP地址和端口信息发送至所述交换机。第六方面，本公开提供一种计算节点，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述由计算节点执行的数据处理方法。第七方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在计算节点执行上述由计算节点执行的数据处理方法。本公开提供的数据处理方法及装置，通过组播报文的形式实现待存储数据的多副本存储处理，优化了数据传输的网络利用率，减少了网络转发次数，降低了时延，提升了数据处理性能。为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本公开的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于通过交换机与存储集群通信的计算节点，所述方法包括：计算得到待存储数据在所述存储集群中对应的至少两个存储节点；根据所述至少两个存储节点获得对应的组播地址；将待存储数据封装在组播报文中，以所述组播地址作为所述组播报文的目的地址，并将该组播报文发送至所述交换机，通过所述交换机将所述组播报文发送至所述存储集群中与所述组播地址对应的至少两个存储节点，以对所述待存储数据进行存储。

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于通过交换机与存储集群通信的计算节点，所述方法包括：计算得到待存储数据在所述存储集群中对应的至少两个存储节点；根据所述至少两个存储节点获得对应的组播地址；将待存储数据封装在组播报文中，以所述组播地址作为所述组播报文的目的地址，并将该组播报文发送至所述交换机，通过所述交换机将所述组播报文发送至所述存储集群中与所述组播地址对应的至少两个存储节点，以对所述待存储数据进行存储。2.根据权利要求1所述的数据处理方法，其特征在于，计算得到待存储数据在所述存储集群中对应的至少两个存储节点的步骤，包括：获取所述存储集群中存储节点的拓扑信息以及存储集群中的存储配置信息；根据所述拓扑信息和存储配置信息计算得到待存储数据在所述存储集群中对应的至少两个存储节点。3.根据权利要求1所述的数据处理方法，其特征在于，根据所述至少两个存储节点获得对应的组播地址的步骤，包括：查询预设的组播地址数据表中是否存在与所述至少两个存储节点对应的组播地址，若存在与所述至少两个存储节点对应的组播地址，获得该组播地址。4.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：若不存在与所述至少两个存储节点对应的组播地址，则根据预先设定的所述存储集群中各存储节点的编号，得到与所述至少两个存储节点对应的编号组，所述编号组中与所述至少两个存储节点分别对应的各编号按大小依次排列；获得所述存储集群中与所述至少两个存储节点数量相同的各存储节点分别对应的编号组的全序关系；将预设的组播地址段的全序关系和所述存储集群中与所述至少两个存储节点数量相同的各存储节点分别对应的编号组的全序关系进行映射，获得与所述至少两个存储节点对应的组播地址；将与所述至少两个存储节点对应的组播地址添加至所述组播地址数据表。5.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：判断是否接收到所述至少两个存储节点中的每个存储节点发送的存储确认信息，若接收到所述至少两个存储节点中的每个存储节点发送的存储确认信息，判定所述待存储数据存储完成。6.一种数据处理方法，其特征在于，应用于通过交换机与计算节点通信的存储集群，所述方法包括：从所述交换机获取地址解析协议ARP表；从所述ARP表中得到所述存储集群中各存储节点的IP地址和端口信息；获得所述存储集群中与至少两个存储节点对应的组播地址；将每个组播地址及其对应的IP地址和端口信息发送至所述交换机。7.一种数据处理方法，其特征在于，应用于分布式存储系统，所述分布式存储系统包括计算节点、交换机和存储集群，所述存储集群中包括多个存储节点，所述方法包括：计算节点将待存储数据封装在组播报文中并发送至交换机，所述组播报文的组播地址与所述存储集群中的至少两个存储节点对应；所述交换机接收所述计算节点发送的组播报文，根据所述组播报文中的组播地址查找到至少两个目的端口，将所述组播报文复制后通过所述至少两个目的端口分别发送至对应的存储节点；所述存储节点接收到所述组播报文后，将所述组播报文中的待存储数据进行存储。8.根据权利要求7所述的数据处理方法，其特征在于，所述计算节点中预设有组播地址...

【专利技术属性】
技术研发人员：张天洁，
申请(专利权)人：新华三技术有限公司成都分公司，
类型：发明
国别省市：四川,51