并发系统中实时数据批处理的方法技术方案

技术编号:8388955 阅读:207 留言:0更新日期:2013-03-07 20:46
本发明专利技术发明专利技术的并发系统中实时数据批处理的方法,属于数据处理领域,特别涉及并发系统中实时数据批处理的方法。该方法包括:第一步,接收网络缓冲中所有数据;第二步,记录接收数据;第三步,接收数据是否处理完的判断,如果接收完,进入第四步;如果没有接收完,进入第六步;第四步,处理一批数据;第五步,发送处理结果到信息中心;第六步,发送消息通知显示线程处理。本发明专利技术可以一次性全部接收网络缓冲中所有的数据,同时记录下来,然后循环处理所有的数据并同时发出结果,最后发送显示消息通知显示线程存储和显示处理结果,采用了适应高密度、大流量数据环境,大大提高了处理效率和系统的性能。

【技术实现步骤摘要】

本专利技术属于数据处理领域,特别涉及并发系统中实时数据批处理的方法
技术介绍
在复杂的实时数据处理系统中,一般由由多个设备负责采集数据,然后送到控制台进行集中处理,此时会产生高密度、大流量数据。由于设备多,到达主机的数据就会有很多批,是一个数据包,一个数据包中含有n批数据,这样将会产生3种后果:(1)同一个数据包中后面的数据处理时间被滞后很多;(2)由于网络缓冲中的数据不能够及时取出,设备就不能实时向主机发送后面的数据;(3)显示消息很多,增加了开销。
技术实现思路
针对以上问题,本专利技术专利技术了一种并发系统中实时数据批处理的方法,包含以下步骤:第一步,接收网络缓冲中所有数据;第二步,记录接收数据;第三步,接收数据是否处理完的判断,如果接收完,进入第四步;如果没有接收完,进入第六步;第四步,处理一批数据;第五步,发送处理结果到信息中心;第六步,发送消息通知显示线程处理。本专利技术专利技术的并发系统中实时数据批处理的方法一次性全部接收网络缓冲中所有的数据,同时记录下来,然后循环处理所有的数据并同时发出结果,最后发送显示消息通知显示线程存储和显示处理结果,采用了适应高密度、大流量数据环境,大大提高了处理效率和系统的性能。附图说明图1为常规数据处理方法的步骤流程图。图2为本专利技术专利技术的并发系统中实时数据批处理的方法的步骤流程图。具体实施方式当主机接收到设备数据时,就进行记录,然后进行处理,发送处理结果,最后进行显示,常规数据处理方法如图1所示,假设接收数据时间为t接,记录时间为t记,处理一批数据时间为t处,发送处理结果时间为t发送结果,发送消息时间为t发送消息,那么处理时间T1=t接+t记+t处+t发送结果;设备数据密度高、流量大,同时达到主机的数据有很多批,是一个数据包,一个数据包中含有多批数据,第1批处理时间是:T1=t接+t记+t处+t发送结果,第2批就是:T2=2*T1+t发送结果,第N批就是:Tn=(n-1)*T1+(n-2)*t发送结果。本专利技术专利技术的并发系统中实时数据批处理的方法的步骤流程图如图2所示,包括:第一步,接收网络缓冲中所有数据;第二步,记录接收数据;第三步,接收数据是否处理完的判断,如果接收完,进入第四步;如果没有接收完,进入第六步;第四步,处理一批数据;第五步,发送处理结果到信息中心;第六步,发送消息通知显示线程处理。这样第n批数据的处理时间技术:Tn=t接+t记+(n-1)*(t处+t发送结果)与常规数据处理相比,大大缩小了接收数据和记录数据的时间。本文档来自技高网...

【技术保护点】
一种并发系统中实时数据批处理的方法,其特征是,包含以下步骤:第一步,接收网络缓冲中所有数据;第二步,记录接收数据;第三步,接收数据是否处理完的判断,如果接收完,进入第四步;如果没有接收完,进入第六步;第四步,处理一批数据;第五步,发送处理结果到信息中心;第六步,发送消息通知显示线程处理。

【技术特征摘要】
1.一种并发系统中实时数据批处理的方法,其特征是,包含以下步骤:
第一步,接收网络缓冲中所有数据;
第二步,记录接收数据;
第三步,接收数据是否处理完的判断...

【专利技术属性】
技术研发人员:丁力
申请(专利权)人:句容今太科技园有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1