一种基于制造技术

本发明专利技术涉及一种基于

【技术实现步骤摘要】
一种基于Kafka技术统一多平台门户系统


[0001]本专利技术涉及数字信息的传输的
，特别涉及一种基于
Kafka
技术统一多平台门户系统
。

技术介绍

[0002]门户
(Portal)
原指正门
、
房屋的出入口，现多用于互联网的门户网站
。
门户网站是指通向某类综合性互联网信息资源并提供有关信息服务的应用系统
。
随着技术的发展，又出现了行业门户网站
、
企业信息门户等概念
。
[0003]而随着社会的发展，在政府部门信息化建设的基础上，建立起跨部门的
、
综合的业务应用系统，即政府门户网站，其使得公众
、
企业与办公人员都能快速便捷地了解相关政府部门的业务应用
、
组织内容与信息，并获得个性化的服务
。
[0004]政府门户网站服务于大众，但其中有一部分特殊的角色，即工作人员，这些工作人员随着级别
、
归属的差异，需要协同工作，还需要获得不同的操作权限，如部分有特殊需求的省级部门需要通过一个界面进入各个市级的子系统等实现信息查看，且需要通过门户网站后端通过智能注册
、
注销进行人员管控，无需通过第三方系统进行操作和管理
。
[0005]然而，现状是当前的政府门户网站并没有直接统一多个第三方系统，而只是统一了同一个系统中的若干子模块，且当前的政府门户网站并不具备统一的注册r/>、
注销以及用户关联功能，并且并不具备门户展示编排的可拓展功能，无法满足现有的应用需求
。
[0006]进一步地，对于比较特殊的门户网站，如政府门户网站来说，其用户同步机制的接口不对外，因此只能采用设备进行同步，同步形式也只能使用加密后文件进行同步，而由于设备对文件大小和传输速率存在限制，导致了数据迁移的不便
。

技术实现思路

[0007]本专利技术解决了现有技术中存在的问题，提供了一种基于
Kafka
技术统一多平台门户系统
。
[0008]本专利技术所采用的技术方案是，一种基于
Kafka
技术统一多平台门户系统，所述系统包括：门户系统前端，包括若干用于展示和交互的第三方系统的前端页面；门户系统后端，包括代理服务器
、
门户服务平台及对应的消息队列，门户服务平台通过代理服务器获取来自第三方系统的前端页面的业务请求并返回数据，采用基于
Kafka
技术的消息队列服务注册和注销业务第三方系统；实现第三方系统的用户信息至门户服务平台的增量同步
。
[0009]优选地，所述第三方系统的用户信息的同步包括以下步骤：步骤
1.1
：创建增量文件索引表，用于记录任一第三方系统中各个业务模块的上传文件；步骤
1.2
：收集并处理项目中各个业务模块的用户信息及附件数据；
步骤
1.3
：设定定时任务增量同步策略，在评估网络环境的前提下，基于预设的数据分割规则，由数据源方将文件增量推送至目标服务器；此处网络环境的评估可以基于网络带宽的判断，带宽越高则每一个分卷就越大；步骤
1.4
：设定定时任务加载文件策略，当目标服务器检测到文件推送行为，对此文件进行完整性判断，基于判断结果进行文件加载，直至获得完整文件；步骤
1.5
：根据文件名中路径将文件解压到对应目录中
。
[0010]优选地，步骤
1.2
中，获取用户新增或修改接口或方法返回值参数，判断返回值的类型，根据不同返回值类型采取不同策略进行解析，得到统一的用户文件信息并生成对应的路径
URL
，基于模块规则策略处理
URL
，生成服务器中完整的目录及对应的文件路径；根据文件路径生成增量文件，记录增量文件信息
。
[0011]优选地，所述步骤
1.3
包括以下步骤：步骤
1.3.1
：获取文件同步任务，获取上次文件同步完成时间；步骤
1.3.2
：获取创建于上次文件同步完成时间后的需要推送的上传文件记录，数据备份，一般来说，文件同步完成后即可删除备份的数据；步骤
1.3.3
：对原始文件以公钥进行非对称加密，得到加密文件并压缩；步骤
1.3.4
：若压缩后的加密文件超过阈值，则根据文件大小与阈值取模，确定待分卷总数，对此压缩后的加密文件进行分卷处理，进行下一步，否则，直接推送此压缩后的加密文件至目标服务器后返回；步骤
1.3.5
：为分卷创建临时目录，对压缩后的加密文件进行分卷并输出，得到分卷文件集合；步骤
1.3.6
：最后将分卷文件集合逐个推送至目标服务器，记录推送结果信息
。
[0012]优选地，所述步骤
1.4
包括以下步骤：步骤
1.4.1
：目标服务器监听文件同步消息，若监听到文件同步消息，则进行同步文件加载，根据文件名前缀匹配获取所有文件分卷，否则重复步骤
1.4.1
；步骤
1.4.2
：创建临时目录，以所有文件分卷生成原始压缩文件；步骤
1.4.3
：解压所述压缩文件后得到加密文件，使用非对称算法私钥进行解密，并把文件放置对应目录中；步骤
1.4.4
：目标服务器解析用户文件，生成对应的
JavaBean
信息，存储至数据库中
。
[0013]优选地，任一所述第三方系统通过注册码向门户系统后端进行注册，任一所述第三方系统通过注册码向门户系统后端进行注销
。
[0014]优选地，任一第三方系统携带认证参数注册码
、Kafka
的用户名和密码及请求参数向
Kafka
请求认证，
Kafka
对用户名和密码进行认证，认证通过后返回认证结果，并将请求存储在
Kafka
中；门户系统后端的的门户服务对
Kafka
进行监听，当有注册消息时，获取注册码进行注册码校验，校验通过则获取请求参数，生成该注册用户用户信息同步认证的公钥和私钥，门户系统后端存储公钥和私钥，异步将该公钥信息通过公钥回调接口
URL
回传给第三方系统，第三方系统进行保存存储
。
[0015]优选地，用户同步时，第三方系统查询本地用户信息，记录本次查询时间作为下次
用户查询时间参数，得到用户信息后公钥加密；将加密后的用户信息携带
Kafka
认证发送到
Kafka
服务上，
Kafka
进行登录认证，认证通过后存储加密后用户信息；门户系统后端监听
Kafka
服务是否有消息，有消息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
Kafka
技术统一多平台门户系统，其特征在于：所述系统包括：门户系统前端，包括若干用于展示和交互的第三方系统的前端页面；门户系统后端，包括代理服务器
、
门户服务平台及对应的消息队列，门户服务平台通过代理服务器获取来自第三方系统的前端页面的业务请求并返回数据，采用基于
Kafka
技术的消息队列服务注册和注销业务第三方系统；实现第三方系统的用户信息至门户服务平台的增量同步
。2.
根据权利要求1所述的一种基于
Kafka
技术统一多平台门户系统，其特征在于：所述第三方系统的用户信息的同步包括以下步骤：步骤
1.1
：创建增量文件索引表，用于记录任一第三方系统中各个业务模块的上传文件；步骤
1.2
：收集并处理项目中各个业务模块的用户信息及附件数据；步骤
1.3
：设定定时任务增量同步策略，在评估网络环境的前提下，基于预设的数据分割规则，由数据源方将文件增量推送至目标服务器；步骤
1.4
：设定定时任务加载文件策略，当目标服务器检测到文件推送行为，对此文件进行完整性判断，基于判断结果进行文件加载，直至获得完整文件；步骤
1.5
：根据文件名中路径将文件解压到对应目录中
。3.
根据权利要求2所述的一种基于
Kafka
技术统一多平台门户系统，其特征在于：步骤
1.2
中，获取用户新增或修改接口或方法返回值参数，判断返回值的类型，根据不同返回值类型采取不同策略进行解析，得到统一的用户文件信息并生成对应的路径
URL
，基于模块规则策略处理
URL
，生成服务器中完整的目录及对应的文件路径；根据文件路径生成增量文件，记录增量文件信息
。4.
根据权利要求2所述的一种基于
Kafka
技术统一多平台门户系统，其特征在于：所述步骤
1.3
包括以下步骤：步骤
1.3.1
：获取文件同步任务，获取上次文件同步完成时间；步骤
1.3.2
：获取创建于上次文件同步完成时间后的需要推送的上传文件记录，数据备份；步骤
1.3.3
：对原始文件以公钥进行非对称加密，得到加密文件并压缩；步骤
1.3.4
：若压缩后的加密文件超过阈值，则根据文件大小与阈值取模，确定待分卷总数，对此压缩后的加密文件进行分卷处理，进行下一步，否则，直接推送此压缩后的加密文件至目标服务器后返回；步骤
1.3.5
：为分卷创建临时目录，对压缩后的加密文件进行分卷并输出，得到分卷文件集合；步骤
1.3.6
：最后将分卷文件集合逐个推送至目标服务器，记录推送结果信息
。5.
根据权利要求2所述的一种基于
Kafka
技术统一多平台门户系统，其特征在于：所述步骤
1.4
包括以下步骤：步骤
1.4.1
：目标服务器监听文件同步消息，若监听到文件同步消息，则进行同步文件加载，根据文件名前缀匹配获取所有文件分卷，否则重复步骤
1.4.1
；步骤
1.4.2
：创建临时目录，以所有文件分卷生成原始压缩文件；步骤
1.4.3
：解压所述压缩文件后得到加密文件，使用非对称算法私钥进行解密，并把
文...

【专利技术属性】
技术研发人员：蒋廷金，金江焕，
申请(专利权)人：杭州安恒信息安全技术有限公司，
类型：发明
国别省市：