一种基于工作组文件的云同步局域网加速系统技术方案

本发明专利技术公开了一种基于工作组文件的云同步局域网加速系统，属于云存储的文件同步服务领域。其特征在于利用局域网高速的传输能力和工作组存在的局域特性，来解决大文件共享的问题。本发明专利技术采用了触发式同步更新模式，提出了服务端控制器配合客户端触发器调度控制策略。利用控制器发送的控制命令来协调工作组内协同共享文件，节省了云端的IO和网络带宽资源，并且有效地利用了空闲的客户端来进行配合同步传输，在不增加其他客户端的压力的前提下高效地实现了工作组成员之间的文件同步。

【技术实现步骤摘要】
一种基于工作组文件的云同步局域网加速系统
本专利技术属于云存储的文件同步服务领域，涉及一种工作组利用多终端互相同步文件的云同步方法以及在局域网内加速。
技术介绍
U盘、移动硬盘，以及即时通讯工具，都是人们实现同步文件、分享文件的主要途径。云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。在云的时代，云存储在帮助人们存储文件、管理文件、同步文件，分享文件等方面，都有着巨大的优势和便捷性。人们不再需要关注文件的差异性来管理文件了，一切的事情都可以由云存储后台悄无声息地完成。工作组云同步是指在云存储平台上，多终端与云服务器之间的数据同步。由于云同步的便捷性，往往以小组为单位的工作组常常通过云同步工具进行分享文件、同步文件、共同编辑同一文件等操作。如何让工作组通过云同步工具实时地进行文件同步，提高工作效率是一个非常现实的技术问题。目前，利用云存储的自动同步备份技术功能来解决工作组分享文件的问题是一种比较可行的解决方案。具体流程如，当工作组中的用户A要创建、编辑、删除文档后，操作记录和新文件会自动上传到云端服务器上，如果现在同一工作组的用户B在线，那么更新后的文件，将从服务器上同步到用户B所在的设备上，这样就实现了工作组的分享、备份文件的功能。上述做法存在如下问题：一个工作组中会有很多需要同步的文件的用户，而且用户也会频繁地添加、更新文件。这样的话会给服务器带来很大的压力，如果用户经常更新的是大文件的话，服务器的IO和网络带宽面临巨大的压力。严重影响服务器的性能，降低用户体验。
技术实现思路
根据上述
技术介绍
中存在的缺陷和不足，本专利技术提出了一种基于工作组文件的云同步局域网加速系统。往往一个工作组经常会存在一个局域网内，或者一个工作组中某些用户在一个局域网内。为了减少服务器的IO和网络带宽面临的巨大压力，本专利技术利用工作组存在的局域网特性，采用只同步文件元数据到服务器，文件同步选择局域网内传输来节约网络带宽、加速同步速度、减低服务器压力。技术方案：为了解决上述问题，本专利技术将从登陆客户端时初始化时产生任务、客户端工作时的产生任务、处理任务队列，三部分来介绍本系统。解决方案如下：（1）初始化客户端产生任务解决方案：当工作组用户登陆客户端时，客户端首先会去服务器端获取用户所拥有的文件的元数据信息，同时扫描同步文件夹中存在的所有文件并存储下能唯一标示文件的元数据信息，然后对比服务器上的元数据信息与本地文件的元数据信息得出存在差异的文件，最后同步这些存在差异的文件。本专利技术将在这部分陈述局域网加速系统在这部分中的具体实现方法。具体步骤如下：根据用户信息获取服务器端中该用户拥有的所有文件的元数据信息，一般文件的元数据信息包括文件名、所属用户、所属组、文件路径、创建时间、修改时间等，本系统采用的是用文件名、文件路径、所属用户、修改时间来标示一个文件的唯一性,称之文件的元数据信息。与此同时，在服务器端控制器上注册本客户端在线。开启局域网通信服务，并利用接口获得在同一个工作组内的局域网客户端地址。扫描用户所要同步的目录，获取文件夹中所有文件的元数据信息。根据本地文件的元数据信息与服务器端中的元数据信息进行对比。本地的某一文件的元数据信息中的文件名、文件路径、文件创建时间、所属用户与服务器端的某一文件的这些元数据信息相同，那么系统认为这是同一个用户的同一个文件，我们用A来表示这一个文件的本地元数据中的最新修改时间，用B来表示这一文件的服务器元数据的最新修改时间。如果这一文件只有本地有元数据信息并且此文件没有在服务器有删除记录，那么此文件是新创建的文件，加入上传队列；如果A大于B，那么该文件需要从服务器同步到本地，加入下载更新队列；如果A小于B，那么该文件需要同步到服务器端，加入上传更新队列；如果这一文件只有服务器端的元数据并没有删除记录，认为此文件是此前已经创建的文件所以需要同步到本地客户端，那么加入下载队列。综上所诉，同步策略通过比较本地元数据信息与服务器端上的元数据信息的差异，来决定上传、下载同步、创建同步、删除同步，从而产生上传、下载队列、删除队列。（2）客户端工作时产生任务解决方案：因为客户端在工作时常常处于等待任务的状态，为了减轻服务器压力，实现文件同步时，不能采用客户端初始化时所使用的服务器端的元数据与本地元数据比对的策略。本系统在客户端等待任务的状态下采用触发的策略，只有当有了新任务的时候，服务器直接推送给客户端或者本地直接触发同步操作。具体方法如下：本地触发器会监控本地目录，一旦目录中发生了修改、创建、删除操作，触发器会发出相应的触发命令到服务器端的控制器，同时把相应到动作抽象成任务加入上传更新队列或者删除队列中，任务结构包括任务操作类型（包括，上传创建、下载创建、本地删除、服务器删除、上传更新、下载更新）、目标文件的元数据信息、源地址、目标地址。本地客户端处在等待任务的状态下，当本地客户端收到服务器端的控制器推送的同步任务，那么本地触发器会根据任务的类型把它放到对应的类型的任务队列中，并根据任务的元数据信息、源地址、目标地址等信息处理任务，具体处理策略下一节详细阐述。（3）处理任务队列解决方案：当一个新任务加入某一类型任务队列中的时候会判断是否有线程在处理本队列的任务，如果没有的话，就创建一个线程来处理本类型的任务，如果有的话，就加入队列末尾等待处理。怎么处理每个队列中的任务以及怎么优化任务的执行速度，具体步骤如下：a.本系统在处理上传任务的时候，上传任务的目标文件到服务器端进行备份，如果任务类型是上传更新，就更新服务器对应文件的元数据信息，否则就创建对应的文件的元数据信息。与此同时，询问服务器端的控制器是否有工作组成员跟本客户端在一个局域网内，如果有则直接从本客户端把文件传输到属于同一局域网的工作组成员，传输完成后更新服务器端，记录该工作组成员已经完成该文件的同步。在本客户端完成把目标文件同步到服务器端后，服务器会生成类型为下载更新；目标地址为与源客户端不在同一局域网内的工作组成员的下载任务。最后达到同步该文件到其他与源客户端不在一个局域网内的工作组成员的目的，完成该文件上传同步操作。b.系统处理下载任务时候，会去询问服务器的控制器，是否有在线的工作组成员与本客户端在同一局域网内，并且待下载的文件在这个客户端上。如果有的话，在满足条件的成员中选取最有优的一个工作组成员进行传输同步（本系统采用选取最优的方法是比较工作组成员的上传队列和下载队列的任务个数，任务数最少为最优），控制器会给最优的客户端下达传输任务命令，客户端根据任务的描述进行客户端到客户端的文件传输，最后达到下载同步效果。c.在处理删除任务时候，首先删除任务中对应的目标文件，然后更新服务器中的对应元数据信息标志为删除元数据，并通知控制器删除完成。本专利技术为了实现工作组同步文件的局域网加速系统，提出了控制器，触发器机制来控制本地与服务端中的通操作，实现了元数据服务器与控制服务器分离有效减轻了元数据服务器压力。不仅如此，在工作组同步文件时，大量的需要同步文件采用局域网内传输，降低了服务器的IO和网络本文档来自技高网...

【技术保护点】
一种基于工作组文件的云同步局域网加速系统，包括从登陆客户端时初始化时产生任务、客户端工作时的产生任务和处理任务队列；其特征在于以下步骤，（1）初始化客户端产生任务当工作组用户登陆客户端时，客户端首先会去服务器端获取用户所拥有的文件的元数据信息，同时扫描同步文件夹中存在的所有文件并存储下能唯一标示文件的元数据信息，然后对比服务器上的元数据信息与本地文件的元数据信息得出存在差异的文件，最后同步这些存在差异的文件；具体如下：a、根据用户信息获取服务器端中该用户拥有的所有文件的元数据信息，包括文件名、文件路径、所属用户、修改时间来标示一个文件的唯一性；与此同时，在服务器端控制器上注册本客户端在线；开启局域网通信服务，并利用接口获得在同一个工作组内的局域网客户端地址；b、扫描用户所要同步的目录，获取文件夹中所有文件的元数据信息；根据本地文件的元数据信息与服务器端中的元数据信息进行对比；本地的某一文件的元数据信息中的文件名、文件路径、文件创建时间、所属用户与服务器端的某一文件的这些元数据信息相同，那么系统认为这是同一个用户的同一个文件，用A来表示这一个文件的本地元数据中的最新修改时间，用B来表示这一文件的服务器元数据的最新修改时间；如果这一文件只有本地有元数据信息并且此文件没有在服务器有删除记录，那么此文件是新创建的文件，加入上传队列；如果A大于B，那么该文件需要从服务器同步到本地，加入下载更新队列；如果A小于B，那么该文件需要同步到服务器端，加入上传更新队列；如果这一文件只有服务器端的元数据并没有删除记录，认为此文件是此前已经创建的文件所以需要同步到本地客户端，那么加入下载队列；同步策略通过比较本地元数据信息与服务器端上的元数据信息的差异，来决定上传、下载同步、创建同步、删除同步，从而产生上传、下载队列、删除队列；（2）客户端工作时的产生任务本系统在客户端等待任务的状态下采用触发的策略，只有当有了新任务的时候，服务器直接推送给客户端或者本地直接触发同步操作；具体如下：本地触发器会监控本地目录，一旦目录中发生了修改、创建、删除操作，触发器会发出相应的触发命令到服务器端的控制器，同时把相应到动作抽象成任务加入上传更新队列或者删除队列中，任务结构包括任务操作类型、目标文件的元数据信息、源地址、目标地址；本地客户端处在等待任务的状态下，当本地客户端收到服务器端的控制器推送的同步任务，那么本地触发器会根据任务的类型把它放到对应的类型的任务队列中，并根据任务的元数据信息、源地址、目标地址等信息处理任务；（3）处理任务队列当一个新任务加入某一类型任务队列中的时候会判断是否有线程在处理本队列的任务，如果没有的话，就创建一个线程来处理本类型的任务，如果有的话，就加入队列末尾等待处理；具体如下：a、本系统在处理上传任务的时候，上传任务的目标文件到服务器端进行备份，如果任务类型是上传更新，就更新服务器对应文件的元数据信息，否则就创建对应的文件的元数据信息；与此同时，询问服务器端的控制器是否有工作组成员跟本客户端在一个局域网内，如果有则直接从本客户端把文件传输到属于同一局域网的工作组成员，传输完成后更新服务器端，记录该工作组成员已经完成该文件的同步。在本客户端完成把目标文件同步到服务器端后，服务器会生成类型为下载更新；目标地址为与源客户端不在同一局域网内的工作组成员的下载任务。最后达到同步该文件到其他与源客户端不在一个局域网内的工作组成员的目的，完成该文件上传同步操作。b、系统处理下载任务时候，会去询问服务器的控制器，是否有在线的工作组成员与本客户端在同一局域网内，并且待下载的文件在这个客户端上;如果有的话，在满足条件的成员中选取最有优的一个工作组成员进行传输同步；采用选取最优的方法是比较工作组成员的上传队列和下载队列的任务个数，任务数最少为最优；控制器会给最优的客户端下达传输任务命令，客户端根据任务的描述进行客户端到客户端的文件传输，最后达到下载同步；c、在处理删除任务时候，首先删除任务中对应的目标文件，然后更新服务器中的对应元数据信息标志为删除元数据，并通知控制器删除完成。...

【技术特征摘要】
1.一种基于工作组文件的云同步局域网加速系统，包括从登陆客户端时初始化时产生任务、客户端工作时的产生任务和处理任务队列；其特征在于以下步骤，(1)初始化客户端产生任务当工作组用户登陆客户端时，客户端首先会去服务器端获取用户所拥有的文件的元数据信息，同时扫描同步文件夹中存在的所有文件并存储下能唯一标示文件的元数据信息，然后对比服务器上的元数据信息与本地文件的元数据信息得出存在差异的文件，最后同步这些存在差异的文件；具体如下：a、根据用户信息获取服务器端中该用户拥有的所有文件的元数据信息，包括文件名、文件路径、所属用户、修改时间来标示一个文件的唯一性；与此同时，在服务器端控制器上注册本客户端在线；开启局域网通信服务，并利用接口获得在同一个工作组内的局域网客户端地址；b、扫描用户所要同步的目录，获取文件夹中所有文件的元数据信息；根据本地文件的元数据信息与服务器端中的元数据信息进行对比；本地的某一文件的元数据信息中的文件名、文件路径、文件创建时间、所属用户与服务器端的某一文件的这些元数据信息相同，那么系统认为这是同一个用户的同一个文件，用A来表示这一个文件的本地元数据中的最新修改时间，用B来表示这一文件的服务器元数据的最新修改时间；如果这一文件只有本地有元数据信息并且此文件没有在服务器有删除记录，那么此文件是新创建的文件，加入上传队列；如果A大于B，那么该文件需要从服务器同步到本地，加入下载更新队列；如果A小于B，那么该文件需要同步到服务器端，加入上传更新队列；如果这一文件只有服务器端的元数据并没有删除记录，认为此文件是此前已经创建的文件所以需要同步到本地客户端，那么加入下载队列；同步策略通过比较本地元数据信息与服务器端上的元数据信息的差异，来决定上传、下载同步、创建同步、删除同步，从而产生上传、下载队列、删除队列；(2)客户端工作时的产生任务本系统在客户端等待任务的状态下采用触发的策略，只有当有了新任务的时候，服务器直接推送给客户端或者本地直接触发同步操作；具体如下：本地触发器会监...

【专利技术属性】
技术研发人员：李克秋，杨鑫，代春林，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21