数据供应系统及方法、终端技术方案

技术编号:17007546 阅读:80 留言:0更新日期:2018-01-11 03:53
一种数据供应系统及方法、终端,数据供应系统包括:至少一个数据缓存,适于存储多种数据;至少一个数据查询模块,适于接收需求方的查询请求,并根据所述查询请求在所述至少一个数据缓存中对所述多种数据进行匹配查询,以得到第一查询结果,并反馈至所述需求方;至少一个数据路由模块,适于在所述第一查询结果表明未查询到与所述查询请求相匹配的数据时,根据所述查询请求调用对应的供方服务器,并根据所述供方服务器反馈的第二查询结果将对应的数据信息加载至所述至少一个数据缓存。通过本发明专利技术技术方案可以提高数据供应系统的性能。

【技术实现步骤摘要】
数据供应系统及方法、终端
本专利技术涉及数据处理
,尤其涉及一种数据供应系统及方法、终端。
技术介绍
在数据流通过程中,在线实时数据交易系统能提供持续的、按需供应的能力,系统性能的提升能提高系统的供应量,多个数据源不仅能提高数据供应的稳定性,也能根据业务需求提供数据融合能力。对于在线实时数据交易系统,不仅需要具备单点高性能,也必须具备可扩展性,提升系统整体的供应能力。如在广告实时竞价(RealTimeBidding,RTB)中,从开始竞价到完成投放,整个过程需要在100毫秒(ms)内完成,由于涉及到多个步骤和关联方,对于数据的查询和获取要求在几毫秒内完成,对数据供应平台提出了比较高的要求,例如对数据供应系统的吞吐量(Throughput)、每秒查询率(QueryPerSecond,QPS)、响应时间(ResponseTime,RT)、并发数等指标,都有极高的要求。现有技术中,数据供应系统采用单一应用,结构简单,面向前端服务和后端多需方路由服务部署在同一应用中,单机数据库Redis做数据缓存。但是,现有技术中数据供应系统具有以下缺点:1.吞吐量低、QPS低;由于同一个应用服务需要本文档来自技高网...
数据供应系统及方法、终端

【技术保护点】
一种数据供应系统,其特征在于,包括:至少一个数据缓存,适于存储多种数据;至少一个数据查询模块,适于接收需求方的查询请求,并根据所述查询请求在所述至少一个数据缓存中对所述多种数据进行匹配查询,以得到第一查询结果,并反馈至所述需求方;至少一个数据路由模块,适于在所述第一查询结果表明未查询到与所述查询请求相匹配的数据时,根据所述查询请求调用对应的供方服务器,并根据所述供方服务器反馈的第二查询结果将对应的数据信息加载至所述至少一个数据缓存。

【技术特征摘要】
1.一种数据供应系统,其特征在于,包括:至少一个数据缓存,适于存储多种数据;至少一个数据查询模块,适于接收需求方的查询请求,并根据所述查询请求在所述至少一个数据缓存中对所述多种数据进行匹配查询,以得到第一查询结果,并反馈至所述需求方;至少一个数据路由模块,适于在所述第一查询结果表明未查询到与所述查询请求相匹配的数据时,根据所述查询请求调用对应的供方服务器,并根据所述供方服务器反馈的第二查询结果将对应的数据信息加载至所述至少一个数据缓存。2.根据权利要求1所述的数据供应系统,其特征在于,如果所述数据查询模块在所述至少一个数据缓存中查询到与所述查询请求相匹配的数据,则将查询到的数据作为所述第一查询结果反馈至所述需求方;如果所述数据查询模块未查询到与所述查询请求相匹配的数据,则生成提示信息作为所述第一查询结果反馈至所述需求方,所述提示信息用以提示未查询到与所述查询请求相匹配的数据;如果所述第二查询结果表明所述供方服务器查询到与所述查询请求相匹配的数据,则所述数据路由模块将查询到的数据加载至所述至少一个数据缓存;如果所述第二查询结果表明所述供方服务器未查询到与所述查询请求相匹配的数据,则所述数据路由模块生成标识信息并加载至所述至少一个数据缓存。3.根据权利要求1所述的数据供应系统,其特征在于,还包括:至少一个消息队列模块,适于在所述第一查询结果表明未查询到与所述查询请求相匹配的数据时,接收所述至少一个数据查询模块推送的所述查询请求,并进行存储,所述数据路由模块从所述消息队列模块获取所述查询请求;所述至少一个数据查询模块按照所述查询请求的请求时间将所述查询请求推送至所述至少一个消息队列模块,以形成消息队列;所述数据路由模块依次消费所述消息队列中的所述查询请求。4.根据权利要求3所述的数据供应系统,其特征在于,所述消息队列模块采用非易失性存储器存储所述查询请求。5.根据权利要求3所述的数据供应系统,其特征在于,所述至少一个数据缓存和所述至少一个消息队列模块采用集群的方式进行部署。6.根据权利要求1所述的数据供应系统,其特征在于,还包括:反向代理和负载均衡模块,适于接收所述查询请求,并将多个查询请求均匀分发至所述至少一个数据查询模块。7.根据权利要求1所述的数据供应系统,其特征在于,每一数据缓存包括主节点和从节点,所述从节点中存储的数据为所述主节点中存储的数据的备份;所述主节点允许读操作或写操作,所述从节点与所述主节点互为代替单元。8.一种数据供应系统,其特征在于,包括:至少一个数据查询模块,适于接收需求方的查询请求,并根据所述查询请求在至少一个数据缓存中对多种数据进行匹配查询,以得到第一查询结果,并反馈至所述需求方;至少一个数据路由模块,适于在所述第一查询结果表明未查询到与所述查询请求相匹配的数据时,根据所述查询请求调用对应的供方服务器,并根据所述供方服务器反馈的第二查询结果将对应的数据信息加载至所述至少一个数据缓存;至少一个消息队列模块,适于在所述第一查询结果表明...

【专利技术属性】
技术研发人员:汤奇峰李鑫堂
申请(专利权)人:上海数据交易中心有限公司
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1