基于SMB协议的分布式数据采集方法和系统技术方案

技术编号:38673014 阅读:18 留言:0更新日期:2023-09-02 22:49
本发明专利技术提供了一种基于SMB协议的分布式数据采集方法和系统,涉及数据传输技术领域,其中,所述方法包括:基于SMB协议的分布式数据采集方法,接收数据采集端通过SMB协议公开可接收文件的传输目录,确定需要上传的数据文件;查询启动目录,判断当前时间点是否在所述需要上传的数据文件的启动周期内;响应于当前时间点在所述需要上传的数据文件的启动周期内,对所述需要上传的数据文件进行备份;将备份后的需要上传的数据文件发送至数据采集端。以此方式,能够适用多种分布式的文件传输场景,从而降低成本,提高适用性。提高适用性。提高适用性。

【技术实现步骤摘要】
基于SMB协议的分布式数据采集方法和系统


[0001]本专利技术的实施例一般涉及数据传输
,并且更具体地,涉及基于SMB协议的分布式数据采集方法和系统。

技术介绍

[0002]在分布式的生产环境中,如云主机,工业互联网,边缘采集等,通常都有着将采集的数据进行汇总的需求。在当前的解决方案中,一般都是利用定制开发的软件来实现。这些软件需要专门的部署和配置,从而实现将数据上传的目的。
[0003]虽然这些方案可以解决数据汇总的任务,但是通常存在价格昂贵,专业性强,使用领域窄,不具有通用性等问题。

技术实现思路

[0004]根据本专利技术的实施例,提供了一种基于SMB协议的分布式数据采集方法和系统,以适用多种分布式的文件传输场景,从而降低成本,提高适用性。
[0005]在本专利技术的第一方面,提供一种基于SMB协议的分布式数据采集方法,应用于数据生成端,包括:接收数据采集端通过SMB协议公开可接收文件的传输目录,确定需要上传的数据文件;查询启动目录,判断当前时间点是否在所述需要上传的数据文件的启动周期内;响应于当前时间点在所述需要上传的数据文件的启动周期内,对所述需要上传的数据文件进行备份;将备份后的需要上传的数据文件发送至数据采集端。
[0006]在一些实施例中,所述数据采集端按照预设周期通过SMB协议公开可接收文件的传输目录,所述数据生成端在接收到传输目录后,对存储在本地的传输目录进行更新。
[0007]在一些实施例中,所述确定需要上传的数据文件,包括:将本地存储的文件与最新的传输目录中的文件信息进行匹配,响应于匹配成功,将匹配成功的文件确定为需要上传的数据文件。
[0008]在一些实施例中,还包括:响应于发送成功,将发送至数据采集端的备份后的需要上传的数据文件的发送状态记录在程序目录中。
[0009]在一些实施例中,还包括:所述程序目录还用于当需要上传的数据文件未发送至数据采集端时,对未发送的数据文件进行记录。
[0010]在一些实施例中,所述数据生成端在生成数据文件时,定义生成的数据文件的上传时间点、上传周期和每个周期的时间长度。
[0011]在一些实施例中,还包括:
所述数据采集端接收不同数据生成端发送的数据文件,并按照预设周期对接收到的数据文件进行汇总。
[0012]在本专利技术的第二方面,提供一种基于SMB协议的分布式数据采集系统,包括:数据采集端和多个数据生成端;所述数据生成端用于接收数据采集端通过SMB协议公开可接收文件的传输目录,确定需要上传的数据文件;查询启动目录,判断当前时间点是否在所述需要上传的数据文件的启动周期内;响应于当前时间点在所述需要上传的数据文件的启动周期内,对所述需要上传的数据文件进行备份;将备份后的需要上传的数据文件发送至数据采集端;所述数据采集端用于接收不同数据生成端发送的数据文件,并按照预设周期对接收到的数据文件进行汇总。
[0013]在本专利技术的第三方面,提供了一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如以上所述的方法。
[0014]在本专利技术的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如以上所述的方法。
[0015]通过本专利技术的基于SMB协议的分布式数据采集方法,能够适用多种分布式的文件传输场景,从而降低成本,提高适用性。
[0016]
技术实现思路
部分中所描述的内容并非旨在限定本专利技术的实施例的关键或重要特征,亦非用于限制本专利技术的范围。本专利技术的其它特征将通过以下的描述变得容易理解。
附图说明
[0017]结合附图并参考以下详细说明,本专利技术各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:图1示出了本专利技术实施例一的基于SMB协议的分布式数据采集方法的流程图;图2示出了本专利技术实施例二的基于SMB协议的分布式数据采集系统的结构示意图;图3示出了本专利技术实施例三的基于SMB协议的分布式数据采集设备的结构示意图。
具体实施方式
[0018]为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例,都属于本专利技术保护的范围。
[0019]另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
[0020]本专利技术实施例的基于SMB协议的分布式数据采集方法,能够适用各种分布式的文件传输场景。具体地,如图1所示,为本专利技术实施例一的基于SMB协议的分布式数据采集方法的流程图。在本实施例中,所述基于SMB协议的分布式数据采集方法,可以包括以下步骤:S101:接收数据采集端通过SMB协议公开可接收文件的传输目录,确定需要上传的数据文件。
[0021]本公开实施例的方法,可以应用于数据汇总。具体地,数据采集端先通过SMB协议公开可接收文件的传输目录。当进行数据汇总时,在不同的时段或者根据不同客户的需求,需要收集不同类型的数据,因此,需要在数据采集端定义当前时间段哪些数据是可接收文件,进而生成可接收文件的传输目录,并将生成的可接收文件的传输目录通过SMB协议公开。SMB(Server Message Block)协议,主要是作为Microsoft网络的通讯协议。
[0022]数据生成端在接收到可接收文件的传输目录后,可以根据传输目录中的文件信息确定需要上传的数据文件。具体地,可以将本地存储的文件与最新的传输目录中的文件信息进行匹配,响应于匹配成功,将匹配成功的文件确定为需要上传的数据文件。
[0023]S102:查询启动目录,判断当前时间点是否在所述需要上传的数据文件的启动周期内。
[0024]在数据生成端确定需要上传的数据文件后,查询启动目录,进而判断当前时间点是否在对应的启动周期内。具体地,数据生成端预先定义了启动目录,并通过启动目录记录了数据文件上传的启动时间、启动周期和传输时长。
[0025]具体地,所述数据生成端在生成数据文件时,可以定义生成的数据文件的上传时间点、上传周期和每个周期的时间长度。
[0026]当数据生成端接收到的数据采集端公开的传输目录后,查询启动目录,判断当前时间点是否在所述需要上传的数据文件的启动周期内。
[0027]在本实施例中,数据生成端可以在接收到数据采集端公开的传输目录后,或者,在启动目录中对应的启动周期内向数据采集端发送需要上传的数据文件。
[0028]S103:响应于当前时间点在所述需要上传的数据文件的启动周期内,对所述需要上传的数据文件进行备本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.基于SMB协议的分布式数据采集方法,应用于数据生成端,其特征在于,包括:接收数据采集端通过SMB协议公开可接收文件的传输目录,确定需要上传的数据文件;查询启动目录,判断当前时间点是否在所述需要上传的数据文件的启动周期内;响应于当前时间点在所述需要上传的数据文件的启动周期内,对所述需要上传的数据文件进行备份;将备份后的需要上传的数据文件发送至数据采集端。2.根据权利要求1所述的分布式数据采集方法,其特征在于,所述数据采集端按照预设周期通过SMB协议公开可接收文件的传输目录,所述数据生成端在接收到传输目录后,对存储在本地的传输目录进行更新。3.根据权利要求2所述的分布式数据采集方法,其特征在于,所述确定需要上传的数据文件,包括:将本地存储的文件与最新的传输目录中的文件信息进行匹配,响应于匹配成功,将匹配成功的文件确定为需要上传的数据文件。4.根据权利要求3所述的分布式数据采集方法,其特征在于,还包括:响应于发送成功,将发送至数据采集端的备份后的需要上传的数据文件的发送状态记录在程序目录中。5.根据权利要求4所述的分布式数据采集方法,其特征在于,还包括:所述程序目录还用于当需要上传的数据文件未发送至数据采集端时,对未发送的数据文件进行记录。6.根...

【专利技术属性】
技术研发人员:郝伟沈传宝刘加瑞
申请(专利权)人:安徽华云安科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1