大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请提供了一种大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质，涉及数据传输领域。该方法包括：响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；整合所述简易消息和所述大体积数据，得到全量消息；传输根据所述全量消息得到的待传输数据。本发明专利技术实施例能够在KAFKA发生数据堆积的情况下依然保持一定的数据传输速度，从而提高数据传输系统的鲁棒性。

Mass data transmission method, system, device, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质
本申请涉及数据传输
，具体而言，本申请涉及一种大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质。
技术介绍
目前，在治安监控领域，常将图像采集设备采集的图像数据作为消息发布在KAFKA中，由消费者去KAFKA中获取消息。当KAFKA中的消息体积较大或消息生产的速度过快时，KAFKA会被消息填满而发生数据堆积，从而导致数据传输速度减慢的情况。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质，能够在KAFKA中发生数据堆积的情况下依然保持一定的数据传输速度。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种大体积数据的传输方法，应用于第一网络，包括：响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；整合所述简易消息和所述大体积数据，得到全量消息；传输根据所述全量消息得到的待传输数据。进一步，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述传输根据所述全量消息得到的待传输数据包括：获取所述全量消息；将所述全量消息序列化为二进制对象，得到FTP/SFTP协议的数据，将得到的FTP/SFTP协议的数据作为待传输数据；传输所述待传输数据。进一步，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述方法还包括：获取图像采集设备的信息，所述大体积数据是由所述图像采集设备中的至少一个目标图像采集设备采集的；根据所述图像采集设备的信息生成第一FTP/SFTP服务器的文件目录。进一步，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述简易消息还包括所述目标图像采集设备的信息；所述传输根据所述全量消息得到的待传输数据包括：将所述待传输数据写入第一FTP/SFTP服务器的目标文件目录，所述目标文件目录为与所述目标采集设备的信息对应的文件目录。第二方面，本专利技术实施例提供了一种大体积数据的传输方法，应用于第二网络，包括：获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由权利要求1-4中任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；将根据所述待传输数据得到的响应数据响应给所述外部系统。进一步，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，所述根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据，包括：解析、封装所述数据拉取请求得到中间请求，将所述中间请求放入第一队列；响应于第一循环模块从所述第一队列获取了所述中间请求，从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据。进一步，本专利技术实施例提供了第二方面的第三种可能的实施方式，其中，所述将根据所述待传输数据得到的响应数据响应给所述外部系统，包括：根据所述待传输数据得到中间数据；将所述中间数据放入第二队列；响应于第二循环模块从所述第二队列获取了所述中间数据，将所述中间数据转换为所述外部系统所需协议的响应数据，发送给所述外部系统。第三方面，本专利技术实施例还提供了一种大体积数据的传输系统，包括：位于第一网络的第一传输系统和第一FTP/SFTP服务器；位于第二网络的第二传输系统和第二FTP/SFTP服务器；以及用于在第一网络和第二网络之间进行数据传输的网闸；所述第一传输系统用于使用上述第一方面任一项所述的方法将根据所述大体积数据得到的待传输数据传输至所述第一FTP/SFTP服务器；所述网闸用于将所述待传输数据从所述第一FTP/SFTP服务器的文件目录摆渡至第二FTP/SFTP服务器的对应文件目录；所述第二传输系统用于使用上述第二方面任一项所述的方法从所述第二FTP/SFTP服务器的对应文件目录获取所述待传输数据，并将由所述待传输数据得到的响应数据响应给所述外部系统。第四方面，本专利技术实施例提供了一种大体积数据的传输装置，所述装置应用于第一网络，包括：大体积数据获取模块，用于响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；整合模块，用于整合所述简易消息和所述大体积数据，得到全量消息；传输模块，用于传输根据所述全量消息得到的待传输数据。第五方面，本专利技术实施例提供了一种大体积数据的传输装置，所述装置位于第二网络，包括：数据拉取请求获取模块，用于获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；待传输数据获取模块，用于根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由上述第一方面任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；响应模块，用于将根据所述待传输数据得到的响应数据响应给所述外部系统。第六方面，本专利技术实施例提供了一种电子设备，所述电子设备包括：处理器、存储器和总线；所述总线，用于连接所述处理器和所述存储器；所述存储器，用于存储操作指令；所述处理器，用于通过调用所述操作指令，执行上述第一方面或第二方面任一项所述的方法。第七方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第二方面任一项所述的方法。本专利技术实施例提供了一种大体积数据的传输方法、传输系统、传输装置、电子设备和计算机可读存储介质，将包含大体积数据在数据库中的存储地址的简易消息发布在KAFKA中、将大体积数据存储在数据库中，而不是将大体积数据作为消息发布在KAFKA中，能够在KAFKA中发生数据堆积的情况下依然保持一定的数据传输速度。本专利技术实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本专利技术实施例的上述技术即可得知。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术实施例所提供的一种电子设备的结构本文档来自技高网...

【技术保护点】
1.一种大体积数据的传输方法，应用于第一网络，其特征在于，所述方法包括：/n响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；/n整合所述简易消息和所述大体积数据，得到全量消息；/n传输根据所述全量消息得到的待传输数据。/n

【技术特征摘要】
1.一种大体积数据的传输方法，应用于第一网络，其特征在于，所述方法包括：
响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；
整合所述简易消息和所述大体积数据，得到全量消息；
传输根据所述全量消息得到的待传输数据。


2.根据权利要求1所述的方法，其特征在于，所述传输根据所述全量消息得到的待传输数据包括：
获取所述全量消息；
将所述全量消息序列化为二进制对象，得到FTP/SFTP协议的数据，将得到的FTP/SFTP协议的数据作为待传输数据；
传输所述待传输数据。


3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取图像采集设备的信息，所述大体积数据是由所述图像采集设备中的至少一个目标图像采集设备采集的；
根据所述图像采集设备的信息生成第一FTP/SFTP服务器的文件目录。


4.根据权利要求3所述的方法，其特征在于，所述简易消息还包括所述目标图像采集设备的信息；
所述传输根据所述全量消息得到的待传输数据包括：
将所述待传输数据写入第一FTP/SFTP服务器的目标文件目录，所述目标文件目录为与所述目标采集设备的信息对应的文件目录。


5.一种大体积数据的传输方法，应用于第二网络，其特征在于，所述包括：
获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；
根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由权利要求1-4中任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；
将根据所述待传输数据得到的响应数据响应给所述外部系统。


6.根据权利要求5所述的方法，所述根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据，包括：
解析、封装所述数据拉取请求得到中间请求，将所述中间请求放入第一队列；
响应于第一循环模块从所述第一队列获取了所述中间请求，从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据。


7.根据权利要求5所述的方法，所述将根据所述待传输数据得到的响应数据响应给所述外部系统，包括：
根据所述待传输数据得到中间数据；
将所述中间数据放入第二队列；
响应于第二循环模块从所述第二队...

【专利技术属性】
技术研发人员：周鑫柯，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京;11