一种数据传输的控制方法、装置、设备及存储介质制造方法及图纸

技术编号:34097314 阅读:32 留言:0更新日期:2022-07-11 22:37
本发明专利技术实施例公开了一种数据传输的控制方法、装置、设备及存储介质。其中,该方法包括:实时获取数据采集系统发送的话单文件,确定所述话单文件中的话单行数量;根据所述话单行数量,确定在预设数据传输周期内话单行的平均输入速率;根据所述平均输入速率将所述话单行输出至KAFKA集群。根据话单行的输入速率控制话单行的输出,解决单个时间段内数据量抖动大的问题,避免数据丢失,实现数据量的平滑波动,提高数据传输的效率和精度。高数据传输的效率和精度。高数据传输的效率和精度。

【技术实现步骤摘要】
一种数据传输的控制方法、装置、设备及存储介质


[0001]本专利技术实施例涉及通信
,尤其涉及一种数据传输的控制方法、装置、设备及存储介质。

技术介绍

[0002]在电信采集系统中,xDR(x Detail Record,详细记录)话单是各层系统之间数据传递的关键数据。底层的数据采集层通常使用文件作为xDR话单的承载方式,而上层应用层通常使用KAFKA(卡夫卡)作为高性能消息队列。因此需要存在KAFKA生产者提供转发服务,将xDR文件内容逐条转发到KAFKA集群中。
[0003]现有技术中,在获取到话单文件时,可以集中算力对话单文件进行处理,KAFKA生产者会尽快将全部文件输出。但是这种方法会将数据压力直接推到上层应用,对于KAFKA集群或KAFKA消费者来说,这种突发的峰值是集群面临的难题。
[0004]还可以将KAFKA生产者的数据输出速度设定为预设数值,但是在采集层话单文件增加的情况下,会存在数据积压,造成业务数据的延迟和丢失,影响数据传输的效率和精度。

技术实现思路

[0005]本专利技术实施例提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输的控制方法,其特征在于,所述方法由卡夫卡KAFKA生产者执行,所述方法包括:实时获取数据采集系统发送的话单文件,确定所述话单文件中的话单行数量;根据所述话单行数量,确定在预设数据传输周期内话单行的平均输入速率;根据所述平均输入速率将所述话单行输出至KAFKA集群。2.根据权利要求1所述的方法,其特征在于,实时获取数据采集系统发送的话单文件,包括:实时读取数据采集系统硬盘上的话单文件;将所述话单文件传输至预设的监控磁盘目录中,并对所述监控磁盘目录中的话单文件进行内存加载操作。3.根据权利要求2所述的方法,其特征在于,确定所述话单文件中的话单行数量,包括:对内存中的话单文件进行解码处理,根据预设的话单格式解码出话单文件中的每行话单,得到话单行数量。4.根据权利要求1所述的方法,其特征在于,根据所述平均输入速率将所述话单行输出至KAFKA集群,包括:将所述平均输入速率确定为话单行的输出速率阈值;根据预设的限速算法,确定在当前数据传输周期下的当前话单行输出速率,判断所述当前话单行输出速率是否小于所述输出速率阈值;若是,则将所述话单行输出至KAFKA集群。5.根据权利要求4所述的方法,其特征在于,在判断所述当前话单行输出速率是否小于所述输出速率阈值之后,还包括:若所述当前话单行输出速率等于或大于所述输出速率阈值,则将所述话单行存放在预设的话单行缓冲队列中。6.根据权利要求5所述的方法,其特征在于,在将所述话单行存放在预设的话单行缓冲队列中之前,还包括:获取所述话单行缓冲队列的当前长度,判断...

【专利技术属性】
技术研发人员:孟鑫田野梁彧傅强王杰杨满智金红陈晓光
申请(专利权)人:北京恒安嘉新安全技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1