用于科技服务实现网络协同分布式处理的系统及其方法技术方案

本发明专利技术涉及一种用于科技服务实现网络协同分布式处理的系统，其中，该系统包括协同中心模块、微服务模块、分布式缓存模块、负载均衡模块、消息队列模块、搜索集群模块和日志管理模块。还涉及一种相应的方法，该方法包括如下步骤：将科技服务平台耦合的复杂业务拆分为独立的子服务模块；服务集群统一进行资源配置、服务注册与数据关联；科技服务资源的栅格化切分，确定科技服务要素信息模型基本范式；分布式缓存集群进行分组细化，将常用读写操作暂时迁移至内存中；定义负载状态，采集负载信息，对负载进行量化处理；路由进程消息进入消息队列，主动拉取消息进行解析。本发明专利技术通过集群式管理平台各子服务模块，能够有效的提升科技服务平台运营效率。务平台运营效率。务平台运营效率。

【技术实现步骤摘要】
用于科技服务实现网络协同分布式处理的系统及其方法


[0001]本专利技术涉及技术科技服务
，尤其涉及网络协同服务
，具体是指一种用于科技服务实现网络协同分布式处理的系统及其方法。

技术介绍

[0002]科技服务业是现代服务业的重要组成部分之一，是一项为科技创新全链条提供服务的新兴产业。对比国外的科技服务行业，我国在该行业有着起步晚、发展速度快的特点，目前处于发展总体规模较小但增长速度快的阶段。
[0003]在大数据环境下，网络信息资源源源不断地被无数台计算机、手机设备产出，数量极为庞大。为了实现知识科技创新，必须充分利用网络信息资源，网络协同将政府、企业、高校、科研院所、园区用户等主体组织起来形成大跨度整合的网络协同应用组织。
[0004]在新时代，面对海量数据，以分布式为特征的大数据平台拔地而起，相比较于传统的集中式平台，分布式平台大幅度提升性能和并发，操作被分发到不同的分片，相互独立，提升系统的可用性，即使部分分片不能用，其他分片也不会收到影响。
[0005]传统科技服务平台基于集中式进行架构，集中式互联网连接存在单点故障的风险，因为数据在传播前通过单一的点。由于备份系统正在工作，服务器托管故障可能导致大量数据丢失，使得人们难以在给定时间访问数据。可扩展性有限是集中式网络的另一个缺点，因为所有核心应用程序都位于单个服务器中。随着对互联网连接需求的增加，对存储和带宽以及处理能力的要求也随之增加。

技术实现思路

[0006]本专利技术的目的是克服了上述现有技术的缺点，提供了一种满足准确性高、灵活性好、资源转化率高的用于科技服务实现网络协同分布式处理的系统及其方法。
[0007]为了实现上述目的，本专利技术的用于科技服务实现网络协同分布式处理的系统及其方法如下：
[0008]该用于科技服务实现网络协同分布式处理的系统，其主要特点是，所述的系统包括：
[0009]协同中心模块，用于记录各个服务的ip地址、端口号和其服务的功能，统一管理整个服务集群的配置属性，并提供热更新配置服务；
[0010]微服务模块，用于将科技服务平台耦合的复杂业务拆分为单个独立的子服务模块，并利用模块化方式进行服务协同处理；
[0011]分布式缓存模块，采用Codis分布式缓存架构，将Redis集群按照一定规则进行分组，建立缓存集群，把数据库的指定数据暂时迁移至内存中以提高访问效率，当请求到达时，先访问缓存，若缓存未命中再访问数据库完成请求；
[0012]负载均衡模块，用于在高并发场景下将request按照指定的方式均衡地分配给集群中的每台服务器，以提高服务器后台吞吐量，减少响应时间；
[0013]消息队列模块，基于MQTT协议，通过接收订阅者和发布者的注册并且加以管理和维护，储存发来的消息，同时将消息转发给有需求的订阅者，用于减少科技服务平台服务资源的浪费、避免级联失败、降低耦合度、提升吞吐量以及流量削峰；
[0014]搜索集群模块，用于对存储的数据进行分词和索引，并依据索引库来进行资源搜索，将服务层与数据库隔离，提高科技服务平台的运行效率；以及
[0015]日志管理模块，用于统计科技服务平台各个具体服务的运行日志，以方便进行问题地址的定位，同时记录系统潜在安全威胁，提高平台防范网络攻击能力。
[0016]较佳地，所述的微服务模块将复杂业务具体拆分为以下单个独立的子服务模块：
[0017]订单服务子模块，用于将所述的科技服务平台上相应用户的下单操作，建立对应商品的订单序列，并将其存入数据库中；
[0018]支付服务子模块，所述的支付服务子模块响应于所述的订单服务子模块，用于当交易发生时，调出支付宝、微信或银行卡外链，完成支付流程；
[0019]科技资源服务子模块，用于连接数据库，将资源池内多源异构的科技资源链接到科技服务平台上，进行展示并提供交易渠道；
[0020]用户功能服务子模块，负责管理用户个人信息，以及相应用户的登录、注册、鉴权、注销行为，同时记录用户在平台内的交易记录；
[0021]资讯发布服务子模块，用于收集科技服务咨询、政策，实时发布最新科技咨询，并提供按地区、时间、行业进行分类查询功能；
[0022]服务定制服务子模块，用于针对企业需求与科技服务匹配不对等的情况，提供定制化的科技服务模式；以及
[0023]需求大厅服务子模块，用于向科技服务需求方发布需求，需求内容包括需求详情、需求预算、需求类型、需求所在地、需求图片和需求时间。
[0024]较佳地，所述的分布式缓存模块具体进行以下处理：
[0025]利用所述的Codis分布式缓存架构将Redis节点群进行分组细化，形成多个组群，以分解Redis集群中的整个去中心化网络结构；
[0026]将常用关键读写数据库操作短暂移交内存中实施，以降低后端负载；
[0027]所述的Redis集群定时将内存中的数据分配到磁盘中，形成快照，当节点出现故障时，根据快照恢复到不同的版本，用于支持持久化存储；
[0028]当备用服务器启动时，向主服务器发送SYNC命令，主服务器收到后生成快照文件，记录现在起执行的写操作，快照生成后再发给所述的备用服务器，所述的备用服务器通过快照进行数据更新，并与所述的主服务器数据保持一致，从而支持主备同步；
[0029]对不同缓存数据分别设置expire时间，当超过expire时间后，再次访问需从数据源重新加载；
[0030]为防止缓存穿透，采用布隆过滤器，将可能存在的数据哈希到足够大的bitmap中，通过bitmap拦截请求，避免数据库短时间承受大量请求而崩溃。
[0031]较佳地，所述的消息队列模块包括：
[0032]NameServer集群、Producer集群、Consumer集群以及若干Broker，并具体进行以下处理：
[0033]所述的Broker启动时向所有的所述的NameServer集群注册，保持长连接，同时每
40s发送一次心跳；
[0034]所述的Producer集群在所述的NameServer集群获取Broker地址，并由所述的负载均衡模块决定发送消息的服务器；
[0035]所述的Consumer集群在所述的NameServer集群获取Broker地址，并主动拉取进行消费。
[0036]较佳地，所述的系统在具象分析和整合抽象层次，分为抽象层、中间层和具象层，其中，
[0037]所述的抽象层，通过设计基于UCL统一内容标签的信息模型，形成面向跨域、跨网络、跨平台、跨时空的综合科技服务要素信息模型基本范式，以作为整个科技服务平台的信息模型基础框架；
[0038]所述的中间层，通过设计数字空间和现实空间融合的栅格化模型，构建科技服务的时空模型，从而实现信息的全生命周期管理和可追溯溯源；
[0039]所述的具象层，通过分析综合科技服务的多维度多要素，形成面向科技服务的领域模型，并以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于科技服务实现网络协同分布式处理的系统，其特征在于，所述的系统包括：协同中心模块，用于记录各个服务的ip地址、端口号和其服务的功能，统一管理整个服务集群的配置属性，并提供热更新配置服务；微服务模块，用于将科技服务平台耦合的复杂业务拆分为单个独立的子服务模块，并利用模块化方式进行服务协同处理；分布式缓存模块，采用Codis分布式缓存架构，将Redis集群按照一定规则进行分组，建立缓存集群，把数据库的指定数据暂时迁移至内存中以提高访问效率，当请求到达时，先访问缓存，若缓存未命中再访问数据库完成请求；负载均衡模块，用于在高并发场景下将request按照指定的方式均衡地分配给集群中的每台服务器，以提高服务器后台吞吐量，减少响应时间；消息队列模块，基于MQTT协议，通过接收订阅者和发布者的注册并且加以管理和维护，储存发来的消息，同时将消息转发给有需求的订阅者，用于减少科技服务平台服务资源的浪费、避免级联失败、降低耦合度、提升吞吐量以及流量削峰；搜索集群模块，用于对存储的数据进行分词和索引，并依据索引库来进行资源搜索，将服务层与数据库隔离，提高科技服务平台的运行效率；以及日志管理模块，用于统计科技服务平台各个具体服务的运行日志，以方便进行问题地址的定位，同时记录系统潜在安全威胁，提高平台防范网络攻击能力。2.根据权利要求1所述的用于科技服务实现网络协同分布式处理的系统，其特征在于，所述的微服务模块将复杂业务具体拆分为以下单个独立的子服务模块：订单服务子模块，用于将所述的科技服务平台上相应用户的下单操作，建立对应商品的订单序列，并将其存入数据库中；支付服务子模块，所述的支付服务子模块响应于所述的订单服务子模块，用于当交易发生时，调出支付宝、微信或银行卡外链，完成支付流程；科技资源服务子模块，用于连接数据库，将资源池内多源异构的科技资源链接到科技服务平台上，进行展示并提供交易渠道；用户功能服务子模块，负责管理用户个人信息，以及相应用户的登录、注册、鉴权、注销行为，同时记录用户在平台内的交易记录；资讯发布服务子模块，用于收集科技服务咨询、政策，实时发布最新科技咨询，并提供按地区、时间、行业进行分类查询功能；服务定制服务子模块，用于针对企业需求与科技服务匹配不对等的情况，提供定制化的科技服务模式；以及需求大厅服务子模块，用于向科技服务需求方发布需求，需求内容包括需求详情、需求预算、需求类型、需求所在地、需求图片和需求时间。3.根据权利要求1所述的用于科技服务实现网络协同分布式处理的系统，其特征在于，所述的分布式缓存模块具体进行以下处理：利用所述的Codis分布式缓存架构将Redis节点群进行分组细化，形成多个组群，以分解Redis集群中的整个去中心化网络结构；将常用关键读写数据库操作短暂移交内存中实施，以降低后端负载；所述的Redis集群定时将内存中的数据分配到磁盘中，形成快照，当节点出现故障时，
根据快照恢复到不同的版本，用于支持持久化存储；当备用服务器启动时，向主服务器发送SYNC命令，主服务器收到后生成快照文件，记录现在起执行的写操作，快照生成后再发给所述的备用服务器，所述的备用服务器通过快照进行数据更新，并与所述的主服务器数据保持一致，从而支持主备同步；对不同缓存数据分别设置expire时间，当超过expire时间后，再次访问需从数据源重新加载；为防止缓存穿透，采用布隆过滤器，将可能存在的数据哈希到足够大的bitmap中，通过bitmap拦截请求，避免数据库短时间承受大量请求而崩溃。4.根据权利要求1所述的用于科技服务实现网络协同分布式处理的系统，其特征在于，所述的消息队列模块包括：NameServer集群、Producer集群、Consumer集群以及若干Broker，并具体进行以下处理：所述的Broker启动时向所有的所述的NameServer集群注册，保持长连接，同时每40s发送一次心跳；所述的Producer集群在所述的NameServer集群获取Broker地址，并由所述的负载均衡模...

【专利技术属性】
技术研发人员：费敏锐，吕泽昊，周文举，王海宽，沈赟怡，
申请(专利权)人：上海大学，
类型：发明
国别省市：