一种智能传输、分布式存储和分发的方法技术

本发明专利技术公开了一种智能传输、分布式存储和分发方法，其中该方法包括：S101，运行在IOS系统上的数据源客户端获取需要上传到服务器端的数据；S102，判断该数据是否存在服务器端；如果不存在，执行S103；如果存在，则在服务器端的数据库中增加该数据源的共享路径并结束；S103，数据源客户端向服务器端上传所述数据在所述数据源客户端存储位置及相关配置信息；S104，服务器端将所述存储位置及相关配置信息记录在其数据库的共享内容池中。本发明专利技术在数据的传递上采用未使用/使用这种简单的过滤器，将节省大量无效存储浪费，同时有利于针对某一特定应用的数据结构化过程，即在数据输入端即进行过滤。

【技术实现步骤摘要】

本专利技术涉及数据传输领域，尤其涉及智能、分布式数据传输方法。
技术介绍
目前，在终端获取数据时都是针对服务器如何有效获得客户端数据的，包括压缩算法、提前确定服务器指向的。并未关注数据在分布式存储所带来的应用价值。随着互联网越来越发达，数据产生了爆炸似增长，没有一种数据能用很好的结构方法来保存，只能依赖服务器的存储与检索，这两方是当前主要的技术研究方向，在这方面也产生了很多技术。现有技术在存储时过度依赖自动化过程，其造成服务器端存在大量一次都没有使用过的数据，占据存储空间，并且没有存储数据如何被交互使用的信息链条，数据生产者开销过大，某些未被使用的无效数据不应耗费数据生产者的流量。
技术实现思路
本专利技术就是为了克服现有方案的这些局限性，创新性地提出使用一个使用过/未使用的筛选机制来维护服务器端的存储，即从未使用的数据源将不在服务器端保留，服务器端仅保留生产这些数据的客户端结构化信息，直到有请求方需要该数据源，则有请求方客户端直接向数据源客户 端获取数据，再转发至服务器，从而降低了未被使用的无效数据而产生的流量。具体而言，本专利技术提出了一种一种智能传输、分布式存储和分发方法，其中该方法包括以下步骤 S101，运行在操作系统上的数据源客户端获取需要上传到服务器端的数据；S102，判断该数据是否存在服务器端；如果不存在，执行S103 ;如果存在，则在服务器端的数据库中增加该数据源的共享路径，并结束；S103，数据源客户端向服务器端上传所述数据在所述数据源客户端存储位置及相关配置信息；S104，服务器端将所述存储位置及相关配置信息记录在其数据库的共享内容池中。根据本专利技术另一方面，其中在客户端向服务器端上传所述结构化信息后，还进一步包括S105，需求客户端向服务器端发送结构化搜索所述数据的请求；S106，服务器根据所述请求，在其数据库中的共享文件池中指导使用方客户端发起建立一个与上传该内容的客户端通信的数据通路；S107，通过所述数据通道，从上传该内容的客户端上载数据，传至所述需求方客户端，再由需求方客户端将这个数据转发至服务器端的数据库共享内容池中。根据本专利技术另一方面，S102中判断该内容是否存在在服务器端是通过MD5码的键值来进行的。根据本专利技术另一方面，S103中所述配置信息包括数据源客户端的端口及IP地址。根据本专利技术另一方面，S104中的所述共享内容池还记载其上的哪些数据是被共享过的和共享该数据的数据源客户端和请求客户端信息。根据本专利技术另一方面，S105中所述结构化搜索主要包括通过标签、图像特征相似度匹配来进行搜索。根据本专利技术另一方面，SlOl中，所述数据为图像数据，所述数据源客户端通过拍照或调用相册获得所述图像数据。此外，本专利技术还提出了一种智能传输、分布式存储和分发的系统(20)，其中该系统包括数据源客户端(201)，用于用户输入数据，或通过操作生成数据；请求客户端(202)，用于用户在需要时发送对数据的使用请求；服务器端存储模块(203)，用于存储实际数据文件；服务器共享数据池(204)，用于存储共享数据的结构化信息；数据源使用/未使用过滤器(205)，用于判断该数据源是否被使用过；网络层业务逻辑模块(206)，用于建立连接、传送数据、保障传输网络相关功能。根据本专利技术另一方面，其中，所述结构化信息主要包括共享数据的在所述数据源客户端存储位置及数据源客户端的端口及IP地址。。本专利技术使用一个使用过/未使用的筛选机制来维护服务器端的存储，即从未使用的数据源将不在服务器端保留，服务器端仅保留生产这些数据的客户端结构化信息，直到有请求方需要该数据源，则有请求方客户端直接向数据源客户端获取数据，再转发至服务器，节省大量无效存储浪费，同时有利于针对某一特定应用的数据结构化过程，即在数据输入端即进行过滤。附图说明下面结合附图及具体实施例对本专利技术再作进一步详细的说明附图1所示为本专利技术所提出的智能传输、分布式存储和分发方法流程图；附图2所示为本专利技术所提出的智能传输、分布式存储和分发系统结构示意图。具体实施例方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。图1描述了本专利技术提出的智能传输、分布式存储和分发的方法流程图，其中该方法包括以下步骤 S101，运行在操作系统上的数据源客户端获取需要上传到服务器端的数据；其中，该操作系统可以是IOS操作系统、Android操作系统等；S102，判断该数据是否存在服务器端；如果不存在，执行S103 ;如果存在，则在服务器端的数据库中增加该数据源的共享路径，并结束；S103，数据源客户端向服务器端上传所述数据在所述数据源客户端存储位置及相关配置信息；S104，服务器端将所述存储位置及相关配置信息记录在其数据库的共享内容池中。在客户端向服务器端上传所述结构化信息后，还进一步包括S105,需求客户端向服务器端发送结构化搜索所述数据的请求；S106，服务器根据所述请求，在其数据库中的共享文件池中指导使用方客户端发起建立一个与上传该内容的客户端通信的数据通路；S107，通过所述数据通道，从上传该内容的客户端上载数据，传至所述需求方客户端，再由需求方客户端将这个数据转发至服务器端的数据库共享内容池中。其中，S102中判断该内容是否存在在服务器端是通过MD5码的键值来进行的。其中，S103中所述配置信息包括数据源客户端的端口及IP地址。其中，S104中的所述共享内容池还记载其上的哪些数据是被共享过的和共享该数据的数据源客户端和请求客户端信息。其中，S105中所述结构化搜索主要包括通过标签、图像特征相似度匹配来进行搜索。 SlOl中，所述数据为图像数据，所述数据源客户端通过拍照或调用相册获得所述图像数据。此外，如图2所示，本专利技术还提出一种智能传输、分布式存储和分发的系统(20)，其中该系统包括数据源客户端(201)，用于用户输入数据，或通过操作生成数据；请求客户端(202)，用于用户在需要时发送对数据的使用请求；服务器端存储模块(203)，用于存储实际数据文件；服务器共享数据池(204)，用于存储共享数据的结构化信息；数据源使用/未使用过滤器(205)，用于判断该数据源是否被使用过；网络层业务逻辑模块(206)，用于建立连接、传送数据、保障传输网络相关功能。其中，所述结构化信息主要包括共享数据的在所述数据源客户端存储位置及数据源客户端的端口及IP地址。在现在数据爆炸的时代，服务器端其实存储了大量一次都未被使用的数据，这些数据不但是对存储空间的占用，对于关注数据质量的应用来说也是数据噪声，比如一个查询路况的应用提供的拍照功能，也会导致用户提供大量没有应用意义的自拍照片，这些内容会时服务器端开销无效，并对应用没有帮助。本专利技术在数据的传递上采用未使用/使用这种简单的过滤器，将节省大量无效存储浪费，同时有利于针对某一特定应用的数据结构化过程，即在数据输入端即进行过滤。首次数据使用的记录往往具有被反复使用更大的数据分析价值，本身就带有数据含义，这个数据链条的启动，对于数据生产方和数据使用方而言都更有意义，基于被使用的数据才需要上传这一模式下，可以减少客户端的无效流量。综上所述，虽然本本文档来自技高网...

【技术保护点】
一种智能传输、分布式存储和分发方法，其中该方法包括以下步骤：S101，运行在操作系统上的数据源客户端获取需要上传到服务器端的数据；S102，判断该数据是否存在服务器端；如果不存在，执行S103；如果存在，则在服务器端的数据库中增加该数据源的共享路径，并结束；S103，数据源客户端向服务器端上传所述数据在所述数据源客户端存储位置及相关配置信息；S104，服务器端将所述存储位置及相关配置信息记录在其数据库的共享内容池中。

【技术特征摘要】
1.一种智能传输、分布式存储和分发方法，其中该方法包括以下步骤 S101，运行在操作系统上的数据源客户端获取需要上传到服务器端的数据； S102，判断该数据是否存在服务器端；如果不存在，执行S103;如果存在，则在服务器端的数据库中增加该数据源的共享路径，并结束； S103，数据源客户端向服务器端上传所述数据在所述数据源客户端存储位置及相关配置信息； S104，服务器端将所述存储位置及相关配置信息记录在其数据库的共享内容池中。2.如权利要求1所述的方法，其中在客户端向服务器端上传所述结构化信息后，还进一步包括 S105，需求客户端向服务器端发送结构化搜索所述数据的请求； S106，服务器根据所述请求，在其数据库中的共享文件池中指导使用方客户端发起建立一个与上传该内容的客户端通信的数据通路； S107，通过所述数据通道，从上传该内容的客户端上载数据，传至所述需求方客户端，再由需求方客户端将这个数据转发至服务器端的数据库共享内容池中。3.如权利要求1或2所述的方法，S102中判断该内容是否存在在服务器端是通过MD5码的键值来进行的。4.如权利要求1或2所述的方法，S103中所述...

【专利技术属性】
技术研发人员：王周辉，
申请(专利权)人：王周辉，
类型：发明
国别省市：