【技术实现步骤摘要】
时空流数据集成平台
本专利技术涉及一种数据处理与传输系统，尤其是一种时空流数据集成平台。
技术介绍
公交卡刷卡记录、行车记录仪记录的驾驶行为、GPS/北斗定位数据、飞机船舶的态势信息、设备运行状况、卫星对地观测信息等各式各样的实时流数据信息，构成了智慧城市、物联网、工业4.0的基础。这些实时信息由于都具有时间和空间属性标签，描述一个物体在历史的时间维度和地理纬度上的状态变化信息，而对于这些数据的分析，就是尝试掌握并把控其变化的规律的过程。随着物联网、大数据和人工智能技术的发展，时空流数据呈现爆发式的增长。时空流数据的集成系统至少必须具备高吞吐量、高缓存和实时处理的能力。但现有的数据集成软件系统和方法多用于离线文件的批处理，如专利：数据集成系统和数据集成方法（申请号201310392454.3）、一种数据集成系统及方法（申请号：201811558696.4）、基于铝电解工厂的数据集成平台（申请号：201711481111.9），其目的是将业务数据（操作数据）文件从多个应用系统的数据库集成到统一的数据仓库中，以便于支持延...
【技术保护点】
1.一种时空流数据集成平台，其特征在于，包括：/n数据传输模块，以分布式消息中间件为基础，建立控制和管理功能，供用户建立“数据源-连接器-消息中间件-连接器-数据目的地”之间的传输通道；/n用户管理模块，用于注册和审核用户、管理历史操作日志，以及为用户分配权限；/n任务管理模块，提供任务的新建、控制和通知功能；任务是指通过数据传输模块建立的传输通道执行和完成一次数据传输的过程；/n运维监控模块，通过可视化运维看板管控所有数据传输过程和进展情况，提供多样化的图表；/n实时计算模块，结合流式处理的分布式计算中间件，以API接口方式提供针对时空流数据的过滤、聚合、汇总实时计算；/...
【技术特征摘要】
1.一种时空流数据集成平台，其特征在于，包括：
数据传输模块，以分布式消息中间件为基础，建立控制和管理功能，供用户建立“数据源-连接器-消息中间件-连接器-数据目的地”之间的传输通道；
用户管理模块，用于注册和审核用户、管理历史操作日志，以及为用户分配权限；
任务管理模块，提供任务的新建、控制和通知功能；任务是指通过数据传输模块建立的传输通道执行和完成一次数据传输的过程；
运维监控模块，通过可视化运维看板管控所有数据传输过程和进展情况，提供多样化的图表；
实时计算模块，结合流式处理的分布式计算中间件，以API接口方式提供针对时空流数据的过滤、聚合、汇总实时计算；
数据清洗模块，提供自动化的纠正和转换方法，处理存在的无效数据、重复数据、异常数据。
2.如权利要求1所述的时空流数据集成平台，其特征在于，
用户管理模块通过系统界面接收请求，进行权限验证后将权限转发给任务管理模块、实时计算模块、运维监控模块和数据传输模块；
实时计算模块通过消息中间件提供的调用接口输出数据进行处理、运维监控模块通过消息中间件提供的接口读取日志和运行状态，处理后进行呈现；
任务管理模块通过进程调用消息中间件的控制接口，实现任务管理；
数据传输模块通过接口调用实现连接器和消息中间件的参数配置。
3.如权利要求1所述的时空流数据集成平台，其特征在于，
数据传输模块具体包括：
节点管理单元，用于新增、配置、修改和检测物理节点；
连接器管理单元，提供多个连接器的新建、配置、控制；显示正在运行的连接器列表和状态，实现连接器启动、暂停、停止和恢复，设置定时信息，包括执行频率和执行时间；
传输管理单元，用于通过可视化界面和拖拽方式实现数据源和数据目的地的传输管道，传输管理包含如下内容：连接配置、错误提示、内容管理。
4.如权利要求1所述的时空流数据集成平台，其特征在于，
用户管理模块包括：
用户与用户组单元：提供用户注册、审核、登录和个人信息管理功能，提供创建和管理用户组功能，并将用户进行分组管理；
权限管理单元，用于添加和删除用户权限；组权限允许特定组中的每个用户具有指定的权限；支持为用户和用户组设置以下权限：
管理权限；
读权限，可以查看任务信息和执行情况和日志信息；
写权限，可以新建连接器和任务；
执行权限，可以运行、暂定、恢复、取消任务；
调用权限，可以调用实时计算API，以调用实时计算模块中的各计算单元；
用户日志单元，记录并能够呈现用户登录、创建、执行任务的日志信息。
5.如权利要求1所述的时空流数据集成平台，其特征在于，
任务管理模块包括：
任务与任务组单元，提供任务和任务组的新建和编辑功能；供用户新建和删除...
【专利技术属性】
技术研发人员：崔光霁，台宪青，丁一鸣，
申请(专利权)人：江苏物联网研究发展中心，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。