数据转发方法、相关系统和设备及存储介质技术方案

本发明专利技术提供了数据转发方法，其通过数据前端将获取的原始图片数据转换为Protobuf协议格式的图片数据，将其存储于数据库服务器，第一消息服务器将图片数据和前端图片存储消息发送至数据打包服务器；数据打包服务器将打包生成的图片存储文件发送至FTP服务器中的共享目录文件夹中；数据后端将获取的图片存储文件发送至解包服务器；解包服务器将解包出的图片数据；第二消息服务器存储图片数据并产生后端图片存储消息；应用服务器获取后端图片存储消息并实施预设处理措施。本发明专利技术还提供了数据转发系统、数据转发方法设备及计算机可读存储介质。本发明专利技术的技术方案实现数据快速跨平台传输且数据传输的转换效率高。且数据传输的转换效率高。且数据传输的转换效率高。

【技术实现步骤摘要】
数据转发方法、相关系统和设备及存储介质


[0001]本专利技术涉及数据传输
，尤其涉及一种数据转发方法、数据转发系统、数据转发设备以及计算机可读存储介质。

技术介绍

[0002]随着摄像头监控的应用越来越广，前端智能摄像头采集的图片数据不仅仅在采集数据的外围网络使用，同时还提供给不同的专业的视频专网应用。前端智能摄像头采集的图片数据需要一套完整的转发平台，能够把图片数据从采集数据的外围网络转发至视频专网内。而前端摄像头采集的图片数据只有一份，为了在视频专网和外围网络都能同时接收到图片数据，需要转发平台实现跨界数据共享，因此转发平台对的数据传输的高效快捷性为重要指标。
[0003]目前, 相关技术的数据转发平台采用JSON格式传输图片数据。
[0004]然而，在传统的数据转发过程中，对于图片数据的接收存在一定的丢图率，图片数据的数据体积大且量多的情况下，使用JSON格式传输图片数据严重降低了性能。具体的，一方面：使用JSON格式传输数据，数据解析的时间效率和空间效率都比较低；另一方面：使用JSON格式传输数据安全性较低，容易受到各种攻击，数据传输的可靠性低。
[0005]因此，实有必要提供一种新的方法以及相关系统和设备来解决上述技术问题。

技术实现思路

[0006]本专利技术的目的是克服上述技术问题，提供一种实现数据快速跨平台传输且数据传输的转换效率高的数据转发方法、数据转发系统、数据转发设备以及计算机可读存储介质。
[0007]为了实现上述目的，本专利技术提供一种数据转发方法，所述数据转发方法应用于数据前端，所述数据前端包括依次数据连接的数据库服务器、第一消息服务器、数据打包服务器以及FTP服务器，该方法包括如下步骤：S11、获取外部图像采集设备的原始图片数据，将所述原始图片数据转换为Protobuf协议格式的图片数据，再将转换后的所述图片数据存储于所述数据库服务器；S12、将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器，所述第一消息服务器为kafka消息服务器；S13、所述第一消息服务器将接收的所述图片数据存储，并根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息，并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器；S14、所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件，并将所述图片存储文件发送至所述FTP服务器中的共享目录文件夹中；其中，所述图片存储文件用于数据后端获取所述图片数据：所述数据后端包括依次数据连接的解包服务器、第二消息服务器以及应用服务器，所述数据后端从所述FTP服务
器中的共享目录文件夹中获取所述图片存储文件并发送至所述解包服务器，所述解包服务器将接收的所述图片存储文件根据预设的解包规则解包出所述图片数据，并将解包出的所述图片数据发送至所述第二消息服务器，所述第二消息服务器为kafka消息服务器，所述第二消息服务器将所述图片数据存储，根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息，所述应用服务器获取所述后端图片存储消息，并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施，所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。
[0008]优选的，所述S11步骤中，所述数据前端还包括拦截器，所述拦截器用于与所述外部图像采集设备数据连接，并监控和获取所述外部图像采集设备产生的所述原始图片数据。
[0009]优选的，所述S11步骤中获取所述原始图片数据后还包括：判断所述原始图片数据是否为预设清单内的外部图像采集设备产生的数据：若是，则将所述原始图片数据处理为所述图片数据；若否，则所述拦截器继续监控和获取所述原始图片数据。
[0010]优选的，所述数据库服务器为RocksDB数据库；所述数据打包服务器将相互对应的多个所述图片数据和多个所述图片存储消息进行数据打包并生成一个所述图片存储文件。
[0011]本专利技术还提供一种数据转发方法，所述数据转发方法应用于数据后端，所述数据后端包括依次数据连接的解包服务器、第二消息服务器以及应用服务器，该方法包括如下步骤：S21、获取所述FTP服务器中的共享目录文件夹中的图片存储文件，并将获取的所述图片存储文件发送至所述解包服务器；其中，所述图片存储文件是从所述数据前端获取：所述数据前端包括依次数据连接的数据库服务器、第一消息服务器、数据打包服务器以及FTP服务器，所述数据前端获取外部图像采集设备的原始图片数据，将所述原始图片数据转换为Protobuf协议格式的图片数据，再将转换后的所述图片数据存储于所述数据库服务器，再将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器，所述第一消息服务器为kafka消息服务器，所述第一消息服务器将所述图片数据存储，根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息，并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器，所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件，并将所述图片存储文件发送至所述FTP服务器中的共享目录文件夹中；S22、所述解包服务器将接收的所述图片存储文件根据预设的解包规则解包出所述图片数据，并将解包出的所述图片数据发送至所述第二消息服务器，所述第二消息服务器为kafka消息服务器；S23、所述第二消息服务器将所述图片数据存储，根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息；S24、所述应用服务器获取所述第二消息服务器的所述后端图片存储消息，并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施，所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。
[0012]优选的，所述S21步骤中，所述数据后端通过FTP协议获取所述FTP服务器中的共享目录文件夹中的图片存储文件。
[0013]优选的，所述数据库服务器为RocksDB数据库；所述图片存储文件由相互对应的多个所述图片数据和多个所述图片存储消息进行数据打包生成。
[0014]本专利技术还提供一种数据转发系统，所述数据转发系统包括数据前端和与所述数据前端通信连接的数据后端，所述数据前端包括：拦截器，用于与所述外部图像采集设备数据连接，并监控和获取外部图像采集设备产生的原始图片数据；前端处理器，用于将所述原始图片数据转换为Protobuf协议格式的所述图片数据；数据库服务器，用于将所述前端处理器发送至的所述图片数据存储；第一消息服务器，用于将所述前端处理器从所述数据库服务器中调取出并发送至的所述图片数据存储，根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息，所述第一消息服务器为kafka消息服务器；数据打包服务器，用于将所述第一消息服务器发送至的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件；FTP服务器，用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据转发方法，其特征在于，所述数据转发方法应用于数据前端，所述数据前端包括依次数据连接的数据库服务器、第一消息服务器、数据打包服务器以及FTP服务器，该方法包括如下步骤：S11、获取外部图像采集设备的原始图片数据，将所述原始图片数据转换为Protobuf协议格式的图片数据，再将转换后的所述图片数据存储于所述数据库服务器；S12、将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器，所述第一消息服务器为kafka消息服务器；S13、所述第一消息服务器将接收的所述图片数据存储，并根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息，并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器；S14、所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件，并将所述图片存储文件发送至所述FTP服务器中的共享目录文件夹中；其中，所述图片存储文件用于数据后端获取所述图片数据：所述数据后端包括依次数据连接的解包服务器、第二消息服务器以及应用服务器，所述数据后端从所述FTP服务器中的共享目录文件夹中获取所述图片存储文件并发送至所述解包服务器，所述解包服务器将接收的所述图片存储文件根据预设的解包规则解包出所述图片数据，并将解包出的所述图片数据发送至所述第二消息服务器，所述第二消息服务器为kafka消息服务器，所述第二消息服务器将所述图片数据存储，根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息，所述应用服务器获取所述后端图片存储消息，并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施，所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。2.根据权利要求1所述的数据转发方法，其特征在于，所述S11步骤中，所述数据前端还包括拦截器，所述拦截器用于与所述外部图像采集设备数据连接，并监控和获取所述外部图像采集设备产生的所述原始图片数据。3.根据权利要求2所述的数据转发方法，其特征在于，所述S11步骤中，获取所述原始图片数据后还包括：判断所述原始图片数据是否为预设清单内的外部图像采集设备产生的数据：若是，则将所述原始图片数据处理为所述图片数据；若否，则所述拦截器继续监控和获取所述原始图片数据。4.根据权利要求1所述的数据转发方法，其特征在于，所述数据库服务器为RocksDB数据库；所述数据打包服务器将相互对应的多个所述图片数据和多个所述图片存储消息进行数据打包并生成一个所述图片存储文件。5.一种数据转发方法，其特征在于，所述数据转发方法应用于数据后端，所述数据后端包括依次数据连接的解包服务器、第二消息服务器以及应用服务器，该方法包括如下步骤：S21、获取所述FTP服务器中的共享目录文件夹中的图片存储文件，并将获取的所述图片存储文件发送至所述解包服务器；其中，所述图片存储文件是从所述数据前端获取：所述数据前端包括依次数据连接的数据库服务器、第一消息服务器、数据打包服务器以及FTP服务器，所述数据前端获取外部
图像采集设备的原始图片数据，将所述原始图片数据转换为Protobuf协议格式的图片数据，再将转换后的所述图片数据存储于所述数据库服务器，再将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器，所述第一消息服务器为kafka消息服务器，所述第一消息服务器将所述图片数据存储，根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息，并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器，所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并...

【专利技术属性】
技术研发人员：谈威，许能华，李天圣，闫潇宁，贾洪涛，
申请(专利权)人：深圳市安软科技股份有限公司，
类型：发明
国别省市：