一种基于云平台的云边协同数据接入方法以及系统技术方案

本申请提供了一种基于云平台的云边协同数据接入方法以及系统，用于在基于云平台的数据管理服务中，通过FTP服务的简洁、高效的系统处理架构，实现存储量小、传输方便快捷、对网络带宽要求低、易解析的优点，从而具有显著提高的实用性。方法应用于基于云平台的云边协同数据接入系统，系统包括多个本地的节点设备、采用FTP的FTP服务器以及云平台，方法包括：节点设备从数据采集对象处采集数据，作为待接入数据；节点设备将待接入数据上传至FTP服务器；FTP服务器将待接入数据上传至云平台的指定目录；节点设备向云平台上报将待接入数据上传至FTP服务器的通知消息；云平台在通知消息的指示下，对从FTP服务器接收到的待接入数据进行存储，完成数据接入。完成数据接入。完成数据接入。

【技术实现步骤摘要】
一种基于云平台的云边协同数据接入方法以及系统


[0001]本申请涉及数据管理领域，具体涉及一种基于云平台的云边协同数据接入方法以及系统。

技术介绍

[0002]在公司内部，用户可以通过云平台来提供相关数据管理服务；或者，也可面向市场，向用户推出基于云平台的数据管理服务的相关产品。
[0003]对于用户而言，可以在一个设备上将相关数据上传至云平台，再在另外一个设备上查阅云平台上存储的该数据，相比于以前本地的数据管理，基于云平台的数据管理服务，对本地设备的软硬件条件的要求显著降低，在使用上也具有更为灵活的特点。
[0004]而在现有的相关技术的研究过程中，专利技术人发现，基于云平台的数据管理服务，目前是通过HTTP协议接口的方式进行同步数据的，存在数据量大、同步时间长、容易造成接口不稳定、数据丢失等问题，导致实用性较差。

技术实现思路

[0005]本申请提供了一种基于云平台的云边协同数据接入方法以及系统，用于在基于云平台的数据管理服务中，通过文件传输协议(FileTransferProtocol，FTP)服务的简洁、高效的系统处理架构，实现存储量小、传输方便快捷、对网络带宽要求低、易解析的优点，从而具有显著提高的实用性。
[0006]第一方面，本申请提供了一种基于云平台的云边协同数据接入方法，方法应用于基于云平台的云边协同数据接入系统，系统包括多个本地的节点设备、采用FTP的FTP服务器以及云平台，方法包括：
[0007]节点设备从数据采集对象处采集数据，作为待接入数据；<br/>[0008]节点设备将待接入数据上传至FTP服务器；
[0009]FTP服务器将待接入数据上传至云平台的指定目录；
[0010]节点设备向云平台上报将待接入数据上传至FTP服务器的通知消息；
[0011]云平台在通知消息的指示下，对从FTP服务器接收到的待接入数据进行存储，完成数据接入。
[0012]结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，节点设备从数据采集对象处采集数据，作为待接入数据，包括：
[0013]节点设备从数据采集对象处采集初始数据；
[0014]节点设备对初始数据，按照约定分表字段将数据以表为单位，拆分成多个逗号分隔值(Comma Separated Values，CSV)文件，作为待接入数据，在CSV文件中，第一行为数据字段名，第二行之后为数据内容。
[0015]结合本申请第一方面第一种可能的实现方式，在本申请第一方面第二种可能的实现方式中，节点设备将待接入数据上传至FTP服务器的过程中，包括：
[0016]FTP服务器按照文件存储目录结构要求，生成每一个CSV文件的存储目录，并建立对应的HIVE数据库表，以存储待接入数据。
[0017]结合本申请第一方面第一种可能的实现方式，在本申请第一方面第三种可能的实现方式中，云平台在通知消息的指示下，对从FTP服务器接收到的待接入数据进行存储，包括：
[0018]云平台在通知消息的指示下，根据FTP服务器为多个CSV文件配置的任务状态段(Task State Segment，TSS)任务调度配置信息，从指定目录中读取多个CSV文件；
[0019]云平台解析多个CSV文件，并写入对应的HIVE数据库。
[0020]结合本申请第一方面第一种可能的实现方式，在本申请第一方面第四种可能的实现方式中，方法还包括：
[0021]云平台预先建立HIVE数据库；
[0022]云平台在HIVE数据库中按照约定分表字段，建立相应数据库表，供后续的数据进行存储。
[0023]结合本申请第一方面第一种可能的实现方式，在本申请第一方面第五种可能的实现方式中，通知消息中具体包括多个CSV文件的路径。
[0024]结合本申请第一方面，在本申请第一方面第六种可能的实现方式中，节点设备向云平台上报将待接入数据上传至FTP服务器的通知消息，包括：
[0025]节点设备通过云平台预先分配的应用程序接口(Application Programming Interface，API)，向云平台上报将待接入数据上传至FTP服务器的通知消息。
[0026]结合本申请第一方面，在本申请第一方面第七种可能的实现方式中，节点设备具体为边缘节点设备或者业务系统。
[0027]第二方面，本申请提供了一种基于云平台的云边协同数据接入系统，包括处理器和存储器，系统包括多个本地的节点设备、采用FTP的FTP服务器以及云平台，用于执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
[0028]第三方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
[0029]从以上内容可得出，本申请具有以下的有益效果：
[0030]针对在基于云平台的数据管理服务，本申请在用户与云平台之间配置了FTP服务对应的FTP服务器，用户侧的节点设备从数据采集对象处采集数据后，一方面作为待接入数据上传至FTP服务器，由FTP服务器将该待接入数据上传至云平台的指定目录，另一方面节点设备又向云平台上报将待接入数据上传至FTP服务器的通知消息，此时云平台在该通知消息的指示下，对从FTP服务器接收到的待接入数据进行存储，完成数据接入，在这过程中，通过FTP服务器在各节点设备进行数据的初步对接，再转由云平台进行数据存储，通过该FTP服务的简洁、高效的系统处理架构，实现存储量小、传输方便快捷、对网络带宽要求低、易解析的优点，因其容易操作、实用性强，易于推广，从而具有显著提高的实用性。
附图说明
[0031]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本申请基于云平台的云边协同数据接入方法的一种流程示意图；
[0033]图2为本申请基于云平台的云边协同数据接入系统的一种系统架构示意图；
[0034]图3为本申请基于云平台的云边协同数据接入系统中相关设备的一种结构示意图。
具体实施方式
[0035]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0036]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云平台的云边协同数据接入方法，其特征在于，所述方法应用于基于云平台的云边协同数据接入系统，所述系统包括多个本地的节点设备、采用文件传输协议FTP的FTP服务器以及云平台，所述方法包括：所述节点设备从数据采集对象处采集数据，作为待接入数据；所述节点设备将所述待接入数据上传至所述FTP服务器；所述FTP服务器将所述待接入数据上传至所述云平台的指定目录；所述节点设备向所述云平台上报将所述待接入数据上传至所述FTP服务器的通知消息；所述云平台在所述通知消息的指示下，对从所述FTP服务器接收到的所述待接入数据进行存储，完成数据接入。2.根据权利要求1所述的方法，其特征在于，所述节点设备从数据采集对象处采集数据，作为待接入数据，包括：所述节点设备从所述数据采集对象处采集初始数据；所述节点设备对所述初始数据，按照约定分表字段将数据以表为单位，拆分成多个逗号分隔值CSV文件，作为所述待接入数据，在所述CSV文件中，第一行为数据字段名，第二行之后为数据内容。3.根据权利要求2所述的方法，其特征在于，所述节点设备将所述待接入数据上传至所述FTP服务器的过程中，包括：所述FTP服务器按照文件存储目录结构要求，生成每一个所述CSV文件的存储目录，并建立对应的HIVE数据库表，以存储所述待接入数据。4.根据权利要求2所述的方法，其特征在于，所述云平台在所述通知消息的指示下，对从所述FTP服务器接收到的所述待接...

【专利技术属性】
技术研发人员：师源，沈美玲，邹明敏，汪淼，孙文骏，张志超，
申请(专利权)人：宝信软件武汉有限公司，
类型：发明
国别省市：