数据处理、发布、获取方法及系统技术方案

本发明专利技术涉及一种数据处理、发布、获取方法及系统，所述数据处理方法包括：发布端将从一数据产生端实时抽取的数据推送至接入层；接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中；分发层根据第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中；所述订阅端根据第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据，以Pub/Sub模式的分布式技术架构整个服务，发布端和订阅端可通过灵活的主题订阅发布机制进行关联，发布端、订阅端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，实现数据按不同主题进行一对多批量分发。

【技术实现步骤摘要】
数据处理、发布、获取方法及系统
本专利技术涉及一种数据处理、发布、获取方法及数据处理系统。
技术介绍
目前，盛大游戏拥有像ΑΙ0Ν、龙之谷、星辰变、传奇、传世、魔界2等诸多款游戏，这些游戏每天都会产生大量的动态数据和静态数据。根据目前的不完全统计，星辰变每天能够产生17种以上达到2000万的游戏动态数据，龙之谷每天能够产生11种以上的多达6000万游戏动态数据；每款游戏每天产生的静态数据少则几十兆，甚至达到几百兆之多。盛大游戏的游戏服务器一般也部署在全国的很多个IDC机房，而开放平台的服务器是采用集中式部署，由于复杂的网络环境以及庞大的数据量，如何能够将这些数据能够实时的提供给开放平台的APP应用，一直是一个难题。针对这些数据，现有技术有些采用了T+1的方式提供数据，也有些采用T+2的方式提供的数据，然后对于一些要求实时或者准实时的应用来说，这种T+1的方式或T+2的方式已经失去了意义。盛大游戏的动态数据的发布目前采用的是由动态抽取程序抽取数据以后通过一个网站api接口推送到Redis系统中。由于Redis系统采用内存的方式对数据进行缓存，在海量数据的情况下，仅仅采用内存无法满足需求，在启用VM (virtual memory)的情况下，大量的请求导致数据在内存和磁盘之间大量的换入换出，从而导致性能急剧下降和服务不可用。对于不断增长的数据量，如果一味的扩展内存以满足业务的需求，只能导致成本的不断增长。对于静态的数据，目前则采用采集程序将静态数据全量导出到CSV文件中，然后通过FTP工具将数据上传到数据中心，再通过脚本将该数据全量导入到数据库中。但这种方法存在以下几个弊端:1、所有的静态数据采用T+1甚至T+2的方式提供，无法保证实时性要求；2、提供的是全量数据，大量重复的数据导致网络带宽的浪费和大量的人工成本；3、对于海量的数据这种情况，整个项目中将无法沿用原有的处理方法进行实施。
技术实现思路
本专利技术的目的在于提供一种数据处理、数据发布、数据获取方法及数据处理、数据发布、数据获取系统，能够以Pub (发布)/Sub (订阅)模式的分布式技术架构整个服务，发布端和订阅端可通过灵活的主题订阅发布机制进行关联，发布端、订阅端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，可按照多级匹配规则如多级正则匹配规则来支持复杂多样的业务需求，将数据投递到所述第二邮箱中供订阅端获取，订阅端以预设的通道方式从所述第二邮箱中拉取数据，实现主题一对多批量分发。为解决上述问题，本专利技术提供一种数据处理方法，包括:发布端将从一数据产生端实时抽取的数据推送至接入层；订阅端设置第二匹配方式；分发层获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式；接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中；分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中；所述订阅端根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据。进一步的，在上述方法中，所述接入层前置有一负载均衡设备。进一步的，在上述方法中，所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多进程横向扩展。进一步的，在上述方法中，所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多节点横向扩展。进一步的，在上述方法中，所述发布端分布式部署。进一步的，在上述方法中，所述接入层集中式部署。进一步的，在上述方法中，所述分发层和/或订阅端分布式或集中式部署。进一步的，在上述方法中，所述数据产生端包括游戏服务器。进一步的，在上述方法中，所述实时抽取的数据包括动态数据和静态数据。进一步的，在上述方法中，发布端将从一数据产生端实时抽取的数据推送至接入层的步骤中，所述静态数据为新增的和更新的静态数据。进一步的，在上述方法中，发布端将从一数据产生端实时抽取的数据推送至接入层的步骤中，所述动态数据为上一次更新动态数据的时间点后产生的动态数据。进一步的，在上述方法中，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。进一步的，在上述方法中，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。进一步的，在上述方法中，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合。本专利技术还提供一种数据发布方法，包括:发布端将从一数据产生端实时抽取的数据推送至接入层；分发层从一订阅端获取第二匹配方式，并根据所述第二匹配方式生成第一匹配方式；接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中；分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中。进一步的，在上述方法中，所述接入层前置有一负载均衡设备。进一步的，在上述方法中，所述发布端、分发层和接入层中的一种或多种分别支持多进程横向扩展。进一步的，在上述方法中，所述发布端、分发层和接入层中的一种或多种分别支持多节点横向扩展。进一步的，在上述方法中，所述发布端分布式部署。进一步的，在上述方法中，所述接入层集中式部署。进一步的，在上述方法中，所述分发层分布式或集中式部署。进一步的，在上述方法中，所述实时抽取的数据包括动态数据和静态数据。进一步的，在上述方法中，发布端将从一数据产生端实时抽取的数据推送至接入层的步骤中，所述静态数据为新增的和更新的静态数据。进一步的，在上述方法中，发布端将从一数据产生端实时抽取的数据推送至接入层的步骤中，所述动态数据为上一次更新动态数据的时间点后产生的动态数据。进一步的，在上述方法中，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。进一步的，在上述方法中，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。进一步的，在上述方法中，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合。本专利技术阿还提供一种数据获取方法，包括:订阅端设置第二匹配方式；所述订阅端根据所述第二匹配方式和预设的通道方式从一第二邮箱中获取第二筛选数据。进一步的，在上述方法中，所述订阅端支持多进程横向扩展。进一步的，在上述方法中，所述订阅端支持多节点横向扩展。进一步的，在上述方法中，所述订阅端分布式或集中式部署。进一步的，在上述方法中，所述第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。进一步的，在上述方法中，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合。根据本专利技术的另一面，提供一种数据处理系统，包括:发布端，用于将从一数据产生端实时抽取的数据推送至接入层；订阅端，用于设置第二匹配方式，并根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据；分发层，用于获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式，根据所述第二匹配方式和预设的通道方式从对应的第一邮箱中获取第二筛选数据并存储入所述第二邮箱中；接入层，用于根据所述第一匹配方式从所述实时抽取的数据中获本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：发布端将从一数据产生端实时抽取的数据推送至接入层；订阅端设置第二匹配方式；分发层获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式；接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中；分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中；所述订阅端根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括: 发布端将从一数据产生端实时抽取的数据推送至接入层； 订阅端设置第二匹配方式； 分发层获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式； 接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中； 分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中； 所述订阅端根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据。2.一种数据发布方法，其特征在于，包括: 发布端将从一数据产生端实时抽取的数据推送至接入层； 分发层从一订阅端获取第二匹配方式，并根据所述第二匹配方式生成第一匹配方式；接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中； 分发层根据所述第二 匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中。3.一种数据获取方法，其特征在于，包括: 订阅端设置第二匹配方式； 所述订阅端根据所述第二匹配方式和预设的通道方式从一第二邮箱中获取第二筛选数据。4.一种数据处理系统，其特征在于，包括: 发布端，用于将从一数据产生端实时抽取的数据推送至接入层； 订阅端，用于设置第二匹配方式，并根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据； 分发层，用于获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式，根据所述第二匹配方式和预设的通道方式从对应的第一邮箱中获取第二筛选数据并存储入所述第二邮箱中； 接入层，用于根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入所述第一邮箱中。5.如权利要求4所述的数据处理系统，其特征在于，所述接入层前置有一负载均衡设备。6.如权利要求4所述的数据处理系统，其特征在于，所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多进程横向扩展。7.如权利要求4所述的数据处理系统，其特征在于，所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多节点横向扩展。8.如权利要求7所述的数据处理系统，其特征在于，所述发布端分布式部署...

【专利技术属性】
技术研发人员：王林，侯庭凯，
申请(专利权)人：盛趣信息技术上海有限公司，
类型：发明
国别省市：