【技术实现步骤摘要】
一种高效的纠删分布式存储写入方法、系统、介质及终端
本专利技术涉及计算机领域，尤其涉及一种高效的纠删分布式存储写入方法、系统、介质及终端。
技术介绍
在大数据环境下，元数据的体量也非常大，元数据的存取性能是整个分布式文件系统性能的关键，分布式元数据管理架构通过将元数据分散在多个结点上.解决了元数据服务器的性能瓶颈等问题。但是，在传统的IO模型中，在客户端写入IPC视频文件时，一种方式是采用一线程一socket链接的模式，会造成并发链接过多，线程上下文切换频繁，导致CPU利用率低；另一种是采用x线程处理y个链接(x<y),减少服务端的线程数，但是在写入并发量高时，较少的x线程数却无法及时处理完y个链接的写入业务，导致视频文件在传输中丢失，。此外，在服务端一般采用seek后写入视频文件，在多线程写入同一磁盘还需要加锁保护，同样会带来非常大的系统开销。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术提供一种高效的纠删分布式存储写入方法、系统、介质及终端，以解决上述技术问题。本专利技术...
【技术保护点】
1.一种高效的纠删分布式存储写入方法，其特征在于，包括：/n通过客户端向元数据服务器发起第一请求信息，所述第一请求信息包括并发的用于写入数据节点端的每个数据块的blockID信息；/n元数据服务器根据所述第一请求信息，在数据节点创建数据块对应的元数据，并将对应的blockID信息反馈至客户端；/n客户端根据所述block ID信息，向数据节点发起用于请求打开数据节点端的数据块操作句柄的第二请求信息；/n根据所述数据块操作句柄，将待存储数据写入数据节点，并关闭写入的数据块。/n
【技术特征摘要】
1.一种高效的纠删分布式存储写入方法，其特征在于，包括：
通过客户端向元数据服务器发起第一请求信息，所述第一请求信息包括并发的用于写入数据节点端的每个数据块的blockID信息；
元数据服务器根据所述第一请求信息，在数据节点创建数据块对应的元数据，并将对应的blockID信息反馈至客户端；
客户端根据所述blockID信息，向数据节点发起用于请求打开数据节点端的数据块操作句柄的第二请求信息；
根据所述数据块操作句柄，将待存储数据写入数据节点，并关闭写入的数据块。
2.根据权利要求1所述的高效的纠删分布式存储写入方法，其特征在于，
将待存储数据分成n份原始数据，并通过纠删算法获取m份数据；
所述第一请求信息包括用于写入n+m份数据的数据节点端的n+m个数据块的blockID信息；
分别向n+m个数据节点请求打开对应的数据块，获取对应的数据块操作句柄；
根据每个数据块操作句柄，将数据写入至数据节点。
3.根据权利要求2所述的高效的纠删分布式存储写入方法，其特征在于，当同一条socket链路上的多个数据块并发传输时，通过消息ID、写入的数据块操作句柄和请求消息包大小对不同的数据写入消息包进行识别，根据数据块操作句柄的字段对不同的数据块的写入进行识别。
4.根据权利要求3所述的高效的纠删分布式存储写入方法，其特征在于，
在建立socket连接时，使用长连接进行连接，且通过哈希表结构保存空闲节点信息；
使用长连接后将连接信息加入至空闲节点链表中；
同一服务端下次再次使用时，优先从所述空闲节点链表中获取空闲节点，若无法获取，则创建新的socket连接，并在使用完后再次加入到空闲连接链表中。
5.根据权利要求4所述的高效的纠删分布式存储写入方法，其特征在于，在建立socket工作线程，创建写入的数据块的元数据时，对所述请求消息包进行解析，获取每个数据块的blockID信息，创建元数据信息并记录在管理元数据的全局哈希表和磁盘的元数据日志文件中。
6.根据权利要求4所述的高效的纠删分布式存储写入方法，其特征在于，
数据节点和客户端建立的所有socket连接为并发的接收来自客户端的写请求消息；
每...
【专利技术属性】
技术研发人员：刘涛，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：重庆;50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。