一种数据处理方法、数据接收设备及数据处理系统技术方案

技术编号:13396820 阅读:60 留言:0更新日期:2016-07-23 16:54
本申请提供了一种数据处理方法、数据接收设备和数据处理系统,方法应用于数据接收设备,数据接收设备设置有至少一个接收端口,每个接收端口对应至少一个缓存队列,每个缓存队列对应一个数据集,方法包括:通过接收端口接收数据发送设备发送的数据;将接收的数据写入与接收端口对应的缓存队列中;将缓存队列中的数据写入与缓存队列对应的数据集中;当满足数据批量写入条件时,将数据集中的数据批量写入分布式数据集群。本申请通过缓存队列和数据集可使数据发送设备以较高频率发送的数据被数据接收设备快速接收,即提高了数据的传输速度,降低了数据的丢包率;以数据集方式整合单点数据,将数据集中的数据批量写入分布式数据集群,提高了吞吐量。

【技术实现步骤摘要】

【技术保护点】
一种数据处理方法,其特征在于,应用于数据接收设备,所述数据接收设备设置有至少一个接收端口,每个接收端口对应至少一个缓存队列,每个缓存队列对应一个数据集,所述方法包括:通过所述接收端口接收数据发送设备发送的数据;将通过所述接收端口接收的数据写入与所述接收端口对应的缓存队列中;将所述与所述接收端口对应的缓存队列中的数据写入与所述缓存队列对应的数据集中;判断是否满足数据批量写入条件;当满足所述数据批量写入条件时,将所述数据集中的数据批量写入分布式数据集群。

【技术特征摘要】

【专利技术属性】
技术研发人员:杜瑞岭王鑫毅于雪龙
申请(专利权)人:中国农业银行股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1