数据传输方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种数据传输方法、装置、计算机设备和存储介质。该方法包括：接收第一消息队列中的目标消息；第一消息队列包括至少一个目标消息；对于每一目标消息，按照目标消息对应的目标消息类别，获取目标消息类别对应的状态信息；检测所述状态信息中的消息总数是否等于所述状态信息中的已处理消息数，若等于，则落盘预先缓存的目标消息。其中，在状态信息中的消息总数中的消息总数等于状态信息中的已处理消息数时，落盘预先缓存的目标消息，能够保证消息数据的完整性与一致性，同时，这种按照条件进行判断并落盘数据的方式，能够避免因带宽限制而导致的数据传输慢的现象，大大提高数据传输的并发性和吞吐量。

【技术实现步骤摘要】
数据传输方法、装置、计算机设备和存储介质
本申请涉及数据传输
，特别是涉及一种数据传输方法、装置、计算机设备和存储介质。
技术介绍
随着互联网技术的发展，日常生活中出现了各种各样的“大数据”，例如，在购物中心部署大量的摄像头用于监控购物中心的环境和人员流动情况，摄像头一旦开始运行，则会源源不断地产生海量的数据，这些数据经过摄像头边缘计算系统的初期预处理，再发送至每个购物中心的数据处理中心。由购物中心的数据处理中心统一将上述海量的数据发送给外界的数据处理中心进行后续的处理。传统技术中，将海量的数据从一个数据处理中心传输至另一个数据处理中心的常用做法是，在前一个数据处理中心处，将海量的数据进行打包上传至云存储，后一个数据处理中心定期轮询云存储，从云存储中下载数据。然而，传统技术中，打包海量数据并上传云存储的过程，是将大量数据作为一个整体的过程，使得数据与数据之间的依赖性变大，外加同时上传或下载云存储时的带宽限制，会导致数据传输的并发性差、吞吐量低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够解决数据本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，所述方法包括：/n接收第一消息队列中的目标消息；所述第一消息队列包括至少一个目标消息；/n对于每一所述目标消息，按照所述目标消息对应的目标消息类别，获取所述目标消息类别对应的状态信息；/n检测所述状态信息中的消息总数是否等于所述状态信息中的已处理消息数，若等于，则落盘预先缓存的目标消息。/n

【技术特征摘要】
1.一种数据传输方法，其特征在于，所述方法包括：
接收第一消息队列中的目标消息；所述第一消息队列包括至少一个目标消息；
对于每一所述目标消息，按照所述目标消息对应的目标消息类别，获取所述目标消息类别对应的状态信息；
检测所述状态信息中的消息总数是否等于所述状态信息中的已处理消息数，若等于，则落盘预先缓存的目标消息。


2.根据权利要求1所述的方法，其特征在于，每一所述目标消息对应一个目标消息标识；
所述检测所述状态信息中的消息总数是否等于所述状态信息中的已处理消息数，若等于，则落盘预先缓存的目标消息，之前包括：
检测所述状态信息中的已处理消息标识集中是否存在所述目标消息标识；
若存在，则返回执行所述接收第一消息队列中的目标消息的步骤，得到新的目标消息；
若不存在，则更新所述状态信息，并对所述目标消息进行缓存。


3.根据权利要求2所述的方法，其特征在于，所述更新所述状态信息，包括：
累加所述已处理消息数，并将所述目标消息标识添加至所述已处理消息标识集。


4.根据权利要求1所述的方法，其特征在于，所述接收第一消息队列中的目标消息，之前包括：
获取有界数据；
按照预设的消息格式，对所述有界数据进行封装，得到目标消息；所述消息格式包括所述有界数据对应的消息总数、所述目标消息的排列位数和所述目标消息对应的目标消息标识；
发送所述目标消息至所述第一消息队列。


5.根据权利要求1所述的方法，其特征在于，所述对于每一所述目标消息，按照所述目标消息对应的目标消息类别，获取所述目标消息类别对应的状态信息，包括：
对于每一所述目标消息，按照所述目标消息对应的目标消息类别，为所述目标消息分配对应的处理单元；每一所述处理单元对应一个状态存储器；
从所述状态存储器中获取所述目标消息类别对应的状态信息。


6.根据权利...

【专利技术属性】
技术研发人员：魏玺，蒋龙，马文超，马建辉，余炎，施凯伦，
申请(专利权)人：北京爱笔科技有限公司，
类型：发明
国别省市：北京;11