一种事件库、可扩展数据管理系统及其管理方法技术方案

技术编号:17998813 阅读:47 留言:0更新日期:2018-05-19 16:05
本发明专利技术属于计算机技术领域,公开了一个面向可扩展数据管理系统的高性能事件库,主要包括:采用异步非阻塞的技术实现多线程处理网络I/O,能够达到对I/O密集型短任务更加高效的处理,充分发挥了新硬件趋势下的多核处理器性能。该事件库底层采用事件循环模型对事件进行注册和更改,支持同步与异步网络传输,同时实现网络编程与网络协议的隔离,管理系统中服务器间的连接以及连接的输入输出缓冲区,处理收包发包逻辑。本发明专利技术通过安装库的方式进行配置即可使用于系统软件的开发。该事件库具有可扩展性,并且对短任务的处理有更明显的性能提升。

【技术实现步骤摘要】
一种事件库、可扩展数据管理系统及其管理方法
本专利技术属于计算机
,具体涉及一种事件库、可扩展数据管理系统及其管理方法。
技术介绍
互联网应用的蓬勃发展产生了对海量数据存储和处理的更高要求,传统单机模式的数据库管理系统及其纵向扩展方式已经无法满足这样的需求。随着计算机网络与通信技术的发展,可扩展数据管理系统成为许多互联网企业的选择。可扩展数据管理系统采用集群式架构,与传统的数据库最大的区别在于其在逻辑上对数据库管理系统进行了分布。系统将数据分布存储在部分节点,又有另外的部分节点负责并行处理查询和事务。因此,在这样的数据库管理系统中,各节点间需要传输和处理的数据有很多,包括节点的一些控制信息、元数据,也包括各存储节点、查询处理节点以及事务处理节点上的用户数据。大多数的数据库管理系统采用传统的网络服务器模型如单I/O线程模型或者I/O多路复用模型,让服务端将从网络接收到的请求压入队列,并等待工作线程取出请求再处。PostgreSQL则采用进程间通信配合工作线程的方式来处理网络请求。在可扩展数据管理系统架构下,这些方法实现的网络服务依然存在以下问题需要解决:(1)阻塞型接口本质上没有本文档来自技高网...
一种事件库、可扩展数据管理系统及其管理方法

【技术保护点】
一个面向可扩展数据管理系统的事件库,其特征在于,所述事件库以开源高效的libev为基础,封装读写与超时事件在socket上的观测与响应机制,管理网络连接的输入输出缓冲区,将网络请求包的编码解码接口和处理请求包的回调函数暴露给用户;所述事件库包括:用于实现发送网络请求、接收处理响应,管理输入缓冲区的客户端,和用于实现接收、处理网络请求,返回处理响应,管理输出缓冲区的服务端;所述客户端与所述服务端通信。

【技术特征摘要】
1.一个面向可扩展数据管理系统的事件库,其特征在于,所述事件库以开源高效的libev为基础,封装读写与超时事件在socket上的观测与响应机制,管理网络连接的输入输出缓冲区,将网络请求包的编码解码接口和处理请求包的回调函数暴露给用户;所述事件库包括:用于实现发送网络请求、接收处理响应,管理输入缓冲区的客户端,和用于实现接收、处理网络请求,返回处理响应,管理输出缓冲区的服务端;所述客户端与所述服务端通信。2.如权利要求1所述的事件库,其特征在于,在所述事件库作为收包服务端使用时,注册的用户实现的process回调函数中,用户可配置短任务直接处理,长任务压入其他工作线程的队列;所述收包服务端用于系统中的任意节点作为网络请求服务端时使用,支持用户配置网络I/O线程数,设置TCP参数,开启负载检查,注册相关用户实现的回调函数。3.如权利要求1所述的事件库,其特征在于,在所述事件库作为发包客户端使用时,用户可配置网络包的编码解码回调函数,自定义网络包的同步或异步发送接口;所述发包客户端用于系统中任意节点作为网络请求客户端时使用,支持用户封装同步发包与异步发包接口,注册相关用户实现的回调函数。4.一种使用如权利要求1‐3之任一项所述的事件库的可扩展数据事件库的管理系统,其特征在于,包括主控节点、事务处理节点、基线数据存储节点以及用户端管理器;其中,主控节点负责管理集群内所有节点的状态信息,帮助各个节点协同工作,管理集群、数据分布以及副本;所述事务处理节点TNode负责处理写事务,并存储增量更新的数据;所述基线数据存储节点存储大部分的用户数据,提供对数据的读访问支持,能够自动合并基线数据和事务处理节点上的增量数据返回给用户;用户端管理...

【专利技术属性】
技术研发人员:肖冰钱卫宁周傲英
申请(专利权)人:华东师范大学
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1