用于大数据的服务提供方法技术

本发明专利技术提供了一种用于大数据的服务提供方法，该方法包括：客户请求模块接受用户所提交的数据读写请求，显示分布式数据存储系统对用户所提交请求的处理结果；业务处理模块接收来自数据读写请求，并以事务的方式对请求进行处理，包括数据分块与重组，然后将处理请求信息发送至传输模块，以完成数据请求信息以及返回数据记录的传输。本发明专利技术提出了一种用于大数据的服务提供方法，在大数据存储的实时性、可扩展性和可靠性等方面均有较好的性能。

【技术实现步骤摘要】

本专利技术涉及数据存储，特别涉及一种用于大数据的服务提供方法。
技术介绍
随着互联网技术的快速发展，网络信息量呈爆炸式的增长。传统的存储体系结构已经越来越不能满足快速增长的海量数据存储需求，同时也面临着存储的实时性、可靠性和容错性等各方面的技术挑战。当现有的单一存储系统的读写量大幅增加时，存储设备可能会因硬件设备负载过重而形成性能瓶颈；存储设备的用户终端数据读写与数据备份均占用带宽，因此会对用户终端的读写造成影响，造成服务质量下降。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了一种用于大数据的服务提供方法，包括：用户终端的客户请求模块接受用户所提交的数据读写请求，显示分布式数据存储系统对用户所提交请求的处理结果；用户终端的业务处理模块接收来自数据读写请求，并以事务的方式对请求进行处理，包括数据分块与重组，然后将处理请求信息发送至传输模块，以完成数据请求信息以及返回数据记录的传输。优选地，所述客户请求模块还用于确定出的读写请求执行顺序，该客户请求模块包括数据收发与排序两个单元，数据收发单元将存储系统传来的事务执行请求接收到用户终端中，并将有序的事务发送给用户终端的业务处理模块进行执行；排序单元对接收到读写请求进行排序操作，在用户终端中协商出一个事务执行队列。优选地，所述传输模块中设置专门的传输监听进程，监听进程随整个存储系统初始化，并一直处于监听状态；当存储系统传递的事务数量达到监听进程中预先设置的策略时，则将接收的参数传递给用户终端进行处理。优选地，所述业务处理模块对读写请求施加排他锁，即在事务执行前将事务所需的全部资源提前加锁；将底层数据库中的数据存储到缓存中，并将本地缓存中的数据发送给其他用户终端的缓存；通过创建存储过程，对接收到的读写请求进行执行，消除数据查询的异常中断。优选地，在读写请求排序过程中，用户终端在接收到传来的读写请求之后，将其传递给存储系统进行处理；每个存储系统接收到读写请求之后，分别创建事务通道对象，然后将读写请求封装成触发事件传递给事务通道对象，由事务通道对象负责具体触发事件的处理，具体包括以下步骤：(1)事务通道对象在接收到触发事件之后，对触发事件中指针类型进行判断后，然后判断该数据库是否是主控节点；如果是主控节点则将其发送给其他所有数据库；如果不是主控节点，则更新本地触发事件的读写请求时间；(2)非主控节点对接收到的触发事件进行处理，如果读写请求时间更新为触发事件中的读写请求时间相同，则表示是同一周期接收到的读写请求，然后每个非主控节点发送读写应答返回给主控节点，表明自己同意该读写请求序列；如果不相同则发送拒绝应答；(3)主控节点对其他数据库传来的触发事件进行监听，判断，并发送有序读写请求，如果与主控节点收到的读写应答的请求时间不同则直接抛弃，如果相同，则将主控节点中应答数量增1；当该数量超过全部数据库数量的一半以上时，则确定读写请求已经完成排序；主控节点将缓存中的读写请求取出，并将其交给事务传输模块的存储系统进行处理，将最终排序后的读写请求发送给所有非主控节点的数据库，从而完成排序。本专利技术相比现有技术，具有以下优点：本专利技术提出了一种用于大数据的服务提供方法，在大数据存储的实时性、可扩展性和可靠性等方面均有较好的性能。附图说明图1是根据本专利技术实施例的用于大数据的服务提供方法的流程图。具体实施方式下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本专利技术。本专利技术的一方面提供了一种用于大数据的服务提供方法。图1是根据本专利技术实施例的用于大数据的服务提供方法流程图。本专利技术改进的分布式数据存储系统由分布式数据库节点组成，多个分布式数据库节点组成一个数据阵列，多个数据阵列组成分布式数据存储系统。每个数据阵列都有一个主控数据库节点，统一管理数据阵列中的记录信息。当数据阵列中某个分布式数据库节点的记录信息发生变化时，该分布式数据库节点只需将变化的信息发送给主控节点，再由主控节点将该信息广播给数据阵列中其他分布式数据库节点；采用时间片轮转机制通过优化策略选择产生下一个主控节点。除主控节点外，每个分布式数据阵列还选出备用主控节点，时刻监督主控节点的状态，当主控节点出现意外不能正常工作时，其将取代主控节点，当某个分布式数据库节点上的记录信息发生改变时，只须将该修改信息发送给主控节点，由主控节点负责将该修改信息同步到数据阵列中其它分布式数据库节点上，并将更新结果同样发送到其他数据阵列的主控节点上，其他数据阵列的主控节点将会更新其所属数据阵列的分布式数据库节点，最后使得整个分布式数据存储系统都得到更新。主控节点具有有效期，给每个分布式数据库节点设定一个权值Wi，当超过有效期时，进行下一轮的选择，选择Wi的最高的前两个数据库作为新的主控节点和备用主控节点，其中权值Wi计算如下：Wi=Ai*(1-Ui)*Mi/Σj=1nMj]]>其中Ai表示第i个节点所在设备的网络带宽容量与响应时间的乘积；Ui表示第i个节点所在设备的处理器平均响应时间；Mi表示第i个节点所在设备的剩余存储器空间，n为数据阵列下的数据库节点总数。分布式数据存储系统的用户终端包括客户请求模块、业务处理模块、传输模块。客户请求模块负责处理用户在终端所提交的数据读写请求，并用于显示分布式数据存储系统对于用户所提交请求的处理结果，同时将用户终端的数据读写请求发送至下层的业务处理模块。业务处理模块用于接收来自客户请求模块的数据读写请求，并以事务的方式对这些请求进行处理，包括数据分块与重组，然后将相关的处理请求信息作为输出发送至下层的传输模块。传输模块负责传输用户终端的数据请求信息以及返回数据记录的传输，并将传输结果反馈给业务处理模块，让其进行相关事务处理，并将结果发回客户请求模块。分布式数据存储系统中还包括认证中心，用来保存分布式数据存储系统的网络拓扑初始化配置；监控分布式数据存储系统的网络安全，只在整个分布式数据存储系统的拓扑发生改变时才将新的拓扑信息广播出去，使得各分布式数据库节点都能收到该信息。分布式数据存储系统的所有记录信息保存在元数据检索表中，元数据检索表包括保留在内存中的LRU列表，存储在磁盘上的寻址表，以及用于根据预定义规则将寻址表的记录进行划分的子组检索表。每个分布式数据库节点上都维护自身的数据服务，分布式数据库节点通过采用分布式互动控制策略、消息通信协议、负载均衡策略来使自身相对独立地工作。元数据检索表对系统中的元数据进行管理和操作，分别包含以下字段：文件名、组编号、数据库编号、已用存储空间、最大容量、节点地址。根据元数据检索表，系统将相应的数据信息从不同的出口转发出去，并根据表中记录将有效的信息反馈给用户终端。当有用户终端请求到达时，分布式数据存储系统根据预定策略指定特定的分布式数据库节点来处理该请求，通过查找元数据检索表后找到所请求的记录所对应的内部节点地址，从而使用户终端请求直接定位到所要读写的数据本文档来自技高网...

【技术保护点】
一种用于大数据的服务提供方法，其特征在于，包括：用户终端的客户请求模块接受用户所提交的数据读写请求，显示分布式数据存储系统对用户所提交请求的处理结果；用户终端的业务处理模块接收来自数据读写请求，并以事务的方式对请求进行处理，包括数据分块与重组，然后将处理请求信息发送至传输模块，以完成数据请求信息以及返回数据记录的传输。

【技术特征摘要】
1.一种用于大数据的服务提供方法，其特征在于，包括：用户终端的客户请求模块接受用户所提交的数据读写请求，显示分布式数据存储系统对用户所提交请求的处理结果；用户终端的业务处理模块接收来自数据读写请求，并以事务的方式对请求进行处理，包括数据分块与重组，然后将处理请求信息发送至传输模块，以完成数据请求信息以及返回数据记录的传输。2.根据权利要求1所述的方法，其特征在于，所述客户请求模块还用于确定出的读写请求执行顺序，该客户请求模块包括数据收发与排序两个单元，数据收发单元将存储系统传来的事务执行请求接收到用户终端中，并将有序的事务发送给用户终端的业务处理模块进行执行；排序单元对接收到读写请求进行排序操作，在用户终端中协商出一个事务执行队列。3.根据权利要求2所述的方法，其特征在于，所述传输模块中设置专门的传输监听进程，监听进程随整个存储系统初始化，并一直处于监听状态；当存储系统传递的事务数量达到监听进程中预先设置的策略时，则将接收的参数传递给用户终端进行处理。4.根据权利要求3所述的方法，其特征在于，所述业务处理模块对读写请求施加排他锁，即在事务执行前将事务所需的全部资源提前加锁；将底层数据库中的数据存储到缓存中，并将本地缓存中的数据发送给其他用户终端的缓存；通过创建存储过程，对接收到的读写请求进行执行，...

【专利技术属性】
技术研发人员：张俤，
申请(专利权)人：成都轻车快马网络科技有限公司，
类型：发明
国别省市：四川;51