一种数据过滤前置的数据交换方法及系统技术方案

本发明专利技术提供一种数据过滤前置的数据交换方法及系统，包括：接收外网服务器发送的客户端数据查询请求，其中所述客户端数据查询请求根据设定过滤规则生成；解析客户端数据查询请求，将得到的任务发送至元数据库，以得到内部数据；转换接收的内部数据，将得到的外部数据经外网服务器返回至相应客户端。本发明专利技术因为数据过滤由数据交换系统内部进行，所以客户端只能接到符合过滤规则的数据，从而保障数据安全，降低了客户端的资源消耗。降低了客户端的资源消耗。降低了客户端的资源消耗。

【技术实现步骤摘要】
一种数据过滤前置的数据交换方法及系统


[0001]本专利技术属于计算机网络领域，尤其涉及一种数据过滤前置的数据交换方法及系统。

技术介绍

[0002]随着大数据技术的成熟，企业的外部客户端在进行数据分析需要大量数据，这时需要使用消费队列(Message Queue，MQ)进行数据交换，将内网存储的数据交换到外部的客户端，公知的数据交换方法是将所有的数据消费到客户端，然后由客户端对所有数据进行处理，得到所需数据，用户处理得到自己所需要的数据，这样的方式存在极大的缺陷。
[0003]1)原方法数据的处理过程在用户侧，消耗用户的资源。而一般而言，数据中心的资源充足而用户资源不足。原方案占用大量用户资源，易导致用户卡顿。
[0004]2)给用户的数据不仅仅是用户需要的，而是通道内全部数据，用户能够接触到超出需求的数据，权限管理不够细致，数据安全性无法保证
[0005]3)发送的数据多于用户需求数据很多，导致网络资源占用大。
[0006]因此现在急需一种数据过滤前置的数据交换技术。本技术主要解决订阅，短查询(少量数据)，查本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据过滤前置的数据交换方法，适用于由客户端、外网服务器、内网服务器与元数据库组成的系统，其步骤包括：1)接收外网服务器发送的客户端数据查询请求，其中所述客户端数据查询请求根据设定过滤规则生成；2)解析客户端数据查询请求，将得到的任务发送至元数据库，以得到内部数据；3)转换接收的内部数据，将得到的外部数据经外网服务器返回至相应客户端。2.如权利要求1所述的方法，其特征在于，客户端数据查询请求的字段包括用户名、sql语句、交换方式和消费者组。3.如权利要求2所述的方法，其特征在于，根据设定过滤规则，sql语句的格式包括：<select字段1，字段2from机构.通道.表where字段3＝x>。4.如权利要求3所述的方法，其特征在于，交换方式包括：订阅、查询和短查询。5.如权利要求4所述的方法，其特征在于，当交换方式为订阅时，所述系统还包括消费客户端与生产客户端；通过以下步骤得到所述内部数据：1)根据sql语句，得到字段名称、所需topic与过滤字段条件，其中所需topic是通过需求表得到；2)通过用户名在元数据库中获取用户权限；3)依据消费者组与所需topic，调用消费客户端在元数据库中拉取并消费topic数据，得到消费数据；4)根据字段名称与过滤字段条件，在内部服务器内存中对消费数据进行判断和转化，得到合规数据；5)生产客户端依据合规数据，生成临时消息队列；6)消费客户端根据所需topic消费临时消息队列，得到内部数据。6.如权利要求4所述的方法，其特征在于，当交换方式为查询或短查询时，所述系统还包括分布式文件系统。7.如权利要求6所述的方法，其特...

【专利技术属性】
技术研发人员：朱蔚林，迟磊，木伟民，金宗泽，张云，王伟平，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：