【技术实现步骤摘要】
【技术保护点】
一种基于增量计算的分布式流式数据系统，其特征在于：该系统由存储节点、计算节点组成，存储节点、计算节点之间采取连接池方式保持连接，出错后会自动重新连接，其中：存储节点REDIS构建，保存了大量的中间结果，保证了随着数据的不断流入，有专用的持久化程序对内存中的数据定期进行持久化保存，为故障恢复做准备；计算节点负责核心的计算工作，其采用C语言构建的基础HTTP的数据接收端，JSON作为唯一的数据处理格式，LUA作为逻辑编写的脚本语言，在提供高性能的同时，降低了编程的难度；中途出现错误后，原始数据会自动的发送到另外一个处理节点，保证数据能得到处理；该系统采用增量的计算模型，将计算需求拆分成多个可以依次完成的步骤，避免对全量数据进行处理，每次只将新增的部分加入到之前的计算结果中，存储节点中永远保持最新的计算结果，方便数据的处理。
【技术特征摘要】
【专利技术属性】
技术研发人员：赵龙飞，
申请(专利权)人：上海语镜汽车信息技术有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。