一种基于HTTP数据流的传输管理系统技术方案

本发明专利技术提供了一种基于HTTP数据流的传输管理系统，其减少各业务子系统的开发工作量，方便各级系统管理员对业务数据传输的管理和监控。其特征在于：其包括数据打包发送模块、数据传输模块、数据处理模块、数据传输监控模块，所述数据打包发送模块、数据传输模块、数据处理模块分别连接所述数据传输监控模块，所述打包发送模块、数据传输模块、数据处理模块顺次连接，所述数据打包发送模块设置有传输任务定义接口、传输数据类型定义接口，所述数据传输模块设置有传输通道定义接口、传输任务配置定义接口。

【技术实现步骤摘要】
一种基于HTTP数据流的传输管理系统
本专利技术涉及公安部交通管理信息的数据传输管理的
，具体为一种基于HTTP数据流的传输管理系统。
技术介绍
目前全国公安随着公安交通管理综合应用平台的建设，交管信息系统对数据资源、软硬件平台、业务流程、软件功能、信息服务、运行维护管理等进行整合，同时由于交通管理信息系统数据库和系统软件仍采用现有部、省、地市三级架构分布。但是随着应用的不断深入，交管信息(包括机动车、驾驶人、违法、事故等)主要业务数据需进行传输和转递，都由各业务子系统负责传输，开发工作量大，也不方便系统管理员对业务数据的传输进行管理和维护。
技术实现思路
针对上述问题，本专利技术提供了一种基于HTTP数据流的传输管理系统，其减少各业务子系统的开发工作量，方便各级系统管理员对业务数据传输的管理和监控。一种基于HTTP数据流的传输管理系统，其特征在于：其包括数据打包发送模块、数据传输模块、数据处理模块、数据传输监控模块，所述数据打包发送模块、数据传输模块、数据处理模块分别连接所述数据传输监控模块，所述打包发送模块、数据传输模块、数据处理模块顺次连接，所述数据打包发送模块设置有传输任务定义接口、传输数据类型定义接口，所述数据传输模块设置有传输通道定义接口、传输任务配置定义接口，接口分别定义后，所述数据打包发送模块依次打包封装数据传输通用对象、压缩加密对象，发送压缩加密对象至所述数据传输模块，所述数据传输模块根据定义好的传输通道、设定好的传输运行服务器依次完成发送数据传输http请求、响应端解压缩和解密传输通用对象、请求端身份认证验证发送端应用服务器IP地址、获取传输对象并解析对象获取传输具体记录，所述数据处理模块接受到所述获取传输对象并解析对象获取传输具体记录后调用存储过程并将执行结果写到传输对象中，最后返回传输对象至发送端标明传输完成，整个传输过程中所述数据传输监控模块对所述打包发送模块、数据传输模块、数据处理模块监控：记录传输任务、数据日志信息并生成传输任务监控页面。其进一步特征在于：所述传输任务定义根据不同的业务类别数据和同一业务类别数据不同通道类型的数据传输可以定义多个传输任务，传输任务定义通过传输类别可分为上传和下载两大类，传输任务定义的任务ID必须保持唯一性，每个传输任务单独定义一个任务ID；所述传输数据类型定义用于描述执行传输任务时如何抽取需传输的数据，如何后续处理传输的业务数据，主要包括数据类型、任务ID、本地对象名称、主键集合、主键类型集合、远程对象名称、传输条件、表列名集合；所述传输通道定义主要是设置传输接收端的地址信息，传输通道根据通道类型进行分类定义，根据交通管理业务数据传输的目的地不同，可以设定不同的通道类型，同一通道类型的传输通道也允许设置多个传输通道，主要其对应接受端有多台应用服务器的时，为平衡接收端的应用服务器压力可以使用同一通道类型不同的传输通道进行数据传输；所述传输任务配置定义根据本地注册的应用服务器信息和定义的传输任务信息，配置每台应用服务器具体的传输任务和传输通道，在数据传输时允许并发多个不同类型的传输任务，允许同一个数据传输任务在不同的应用服务器采用不同的传输通道。应用服务器加载任务时根据传输配置加载不同的传输任务，自动根据应用服务器ip地址分配机器名称，机器名称分配规则01-99。所述数据传输监控模块根据定义的传输任务、传输数据类型、传输通道、传输配置信息统一输出传输任务具体执行的情况汇总信息，其中包括具体任务执行的最后时间，执行的状态，具体数据传输的成功与否，传输通道的传输效率，方便系统管理员及时的发现和解决传输过程出现的问题。其更进一步特征在于：所述传输任务中的上传根据数据打包模式可分为两种：一种是有队列传输定义即有固定的传输队列表，另一种是无队列传输定义即无固定的传输队列表；所述传输任务中的下载根据数据打包模式可分为两种：一种是有下载中间表的定义即单点下载，各级交管系统根据下载条件只下载属于本级的数据信息，下载完后自动删除下载中间表信息；另一种是无下载中间表的定义即多点下载，其数据主要是根据更新时间或更新日期来进行下载，此类数据下载主要用于一些基础信息配置信息的下载。采用本传输管理框架后，其在HTTP数据流的传输基础上，确定传输任务和数据类型各要素的描述方式，建立自定义的数据传输通道和传输机制的专用描述语言，实现对不同业务和数据类型的业务数据进行上传和下载，实现对所有传输任务、传输通道和各类业务具体数据的传输进行监控，减少各业务子系统的开发工作量，方便各级系统管理员对业务数据传输的管理和监控。附图说明图1为本专利技术的核心算法逻辑图。具体实施方式见图1，其包括数据打包发送模块、数据传输模块、数据处理模块、数据传输监控模块，数据打包发送模块、数据传输模块、数据处理模块分别连接数据传输监控模块，打包发送模块、数据传输模块、数据处理模块顺次连接，数据打包发送模块设置有传输任务定义接口、传输数据类型定义接口，数据传输模块设置有传输通道定义接口、传输任务配置定义接口，接口分别定义后，数据打包发送模块依次打包封装数据传输通用对象、压缩加密对象，发送压缩加密对象至数据传输模块，数据传输模块根据定义好的传输通道、设定好的传输运行服务器依次完成发送数据传输http请求、响应端解压缩和解密传输通用对象、请求端身份认证验证发送端应用服务器IP地址、获取传输对象并解析对象获取传输具体记录，数据处理模块接受到到获取传输对象并解析对象获取传输具体记录后调用存储过程并将执行结果写到传输对象中，最后返回传输对象至发送端标明传输完成，整个传输过程中数据传输监控模块对打包发送模块、数据传输模块、数据处理模块监控：记录传输任务、数据日志信息并生成传输任务监控页面。传输任务定义根据不同的业务类别数据和同一业务类别数据不同通道类型的数据传输可以定义多个传输任务，传输任务定义通过传输类别可分为上传和下载两大类，传输任务定义的任务ID必须保持唯一性，每个传输任务单独定义一个任务ID。传输任务中的上传根据数据打包模式可分为两种：一种是有队列传输定义即有固定的传输队列表，另一种是无队列传输定义即无固定的传输队列表，其两者的区别是有队列传输定义需将要上传的数据写入上传队列表，需通过定义传输数据类型将记录的主键信息和数据类型，上传成功后将删除队列表记录信息；无队列传输定义无需写上传队列表，但需标明传输标记或传输条件。传输任务中的下载根据数据打包模式可分为两种：一种是有下载中间表的定义即单点下载，各级交管系统根据下载条件只下载属于本级的数据信息，下载完后自动删除下载中间表信息；另一种是无下载中间表的定义即多点下载，其数据主要是根据更新时间或更新日期来进行下载，此类数据下载主要用于一些基础信息配置信息的下载。传输数据类型定义用于描述执行传输任务时如何抽取需传输的数据，如何后续处理传输的业务数据，主要包括数据类型、任务ID、本地对象名称、主键集合、主键类型集合、远程对象名称、传输条件、表列名集合：数据类型(SJLX)是定义传输数据类型定义的主键字段，用于唯一标识传输的数据类型，对于上传传输任务如需写上传队列表的则必须写入该字段信息；任务ID是指传输数据类型属于哪个传输任务，与传输任务定义对应，同一传输任务ID可本文档来自技高网...

【技术保护点】
1.一种基于HTTP数据流的传输管理系统，其特征在于：其包括数据打包发送模块、数据传输模块、数据处理模块、数据传输监控模块，所述数据打包发送模块、数据传输模块、数据处理模块分别连接所述数据传输监控模块，所述打包发送模块、数据传输模块、数据处理模块顺次连接，所述数据打包发送模块设置有传输任务定义接口、传输数据类型定义接口，所述数据传输模块设置有传输通道定义接口、传输任务配置定义接口，接口分别定义后，所述数据打包发送模块依次打包封装数据传输通用对象、压缩加密对象，发送压缩加密对象至所述数据传输模块，所述数据传输模块根据定义好的传输通道、设定好的传输运行服务器依次完成发送数据传输http请求、响应端解压缩和解密传输通用对象、请求端身份认证验证发送端应用服务器IP地址、获取传输对象并解析对象获取传输具体记录，所述数据处理模块接受到所述获取传输对象并解析对象获取传输具体记录后调用存储过程并将执行结果写到传输对象中，最后返回传输对象至发送端标明传输完成，整个传输过程中所述数据传输监控模块对所述打包发送模块、数据传输模块、数据处理模块监控：记录传输任务、数据日志信息并生成传输任务监控页面。

【技术特征摘要】
1.一种基于HTTP数据流的传输管理系统，其特征在于：其包括数据打包发送模块、数据传输模块、数据处理模块、数据传输监控模块，所述数据打包发送模块、数据传输模块、数据处理模块分别连接所述数据传输监控模块，所述打包发送模块、数据传输模块、数据处理模块顺次连接，所述数据打包发送模块设置有传输任务定义接口、传输数据类型定义接口，所述数据传输模块设置有传输通道定义接口、传输任务配置定义接口，接口分别定义后，所述数据打包发送模块依次打包封装数据传输通用对象、压缩加密对象，发送压缩加密对象至所述数据传输模块，所述数据传输模块根据定义好的传输通道、设定好的传输运行服务器依次完成发送数据传输http请求、响应端解压缩和解密传输通用对象、请求端身份认证验证发送端应用服务器IP地址、获取传输对象并解析对象获取传输具体记录，所述数据处理模块接受到所述获取传输对象并解析对象获取传输具体记录后调用存储过程并将执行结果写到传输对象中，最后返回传输对象至发送端标明传输完成，整个传输过程中所述数据传输监控模块对所述打包发送模块、数据传输模块、数据处理模块监控：记录传输任务、数据日志信息并生成传输任务监控页面。2.根据权利要求1所述的一种基于HTTP数据流的传输管理系统，其特征在于：所述传输任务定义根据不同的业务类别数据和同一业务类别数据不同通道类型的数据传输定义多个传输任务，传输任务定义通过传输类别可分为上传和下载两大类，传输任务定义的任务ID必须保持唯一性，每个传输任务单独定义一个任务ID。3.根据权利要求1所述的一种基于HTTP数据流的传输管理系统，其特征在于：所述传输数据类型定义用于描述执行传输任务时如何抽取需传输的数据，如何后续处理传输的业务数据，主要包括数据类型、任务ID、本地对象名称、主键集合、主键类型集合、远程对象名称、传输条件、表列名集合。4.根据权利要求1所述的一种基于HTTP数据流的传输管理系统，其特征在...

【专利技术属性】
技术研发人员：周春桂，
申请(专利权)人：南通森雅商务服务有限公司，
类型：发明
国别省市：江苏,32