文件获取方法、装置、设备及存储介质制造方法及图纸

技术编号:19263515 阅读:44 留言:0更新日期:2018-10-27 02:24
本申请公开了一种文件获取方法、装置、设备及存储介质,属于网络领域。所述方法包括:向分布式文件存储系统中的第二存储节点发送第一账本;接收第二存储节点发送的连接建立指令;根据连接建立指令和第二存储节点建立连接,向第二存储节点发送需求文件片段的唯一识别信息;接收第二存储节点发送的需求文件片段,并合并得到需求文件。本申请通过第二存储节点检测第一存储节点的第一账本后,向第一存储节点发送需求文件片段,由于第一账本中包含第一存储节点对分布式文件存储系统中存储的文件片段的操作记录,因此第二存储节点可根据检测第一账本判断第一节点是否是合法用户,在实现防盗链的基础上,由于降低了合法用户下载和/或访问文件的失败率,提高了用户获取文件的流畅度。

File acquisition method, device, device and storage medium

The application discloses a file acquisition method, device, device and storage medium, belonging to the network field. The method comprises sending a first account to the second storage node in a distributed file storage system, receiving a connection establishment instruction sent by the second storage node, establishing a connection according to the connection establishment instruction and the second storage node, sending the unique identification information of the required file fragment to the second storage node, and receiving the second storage node. Node sends the demand file fragment and merges the requirement file. After detecting the first ledger of the first storage node through the second storage node, the application sends the required file fragment to the first storage node. Since the first ledger contains the operation record of the first storage node for the file fragment stored in the distributed file storage system, the second storage node may judge according to the detection of the first ledger. If the first node is a legitimate user or not, on the basis of realizing the anti-theft chain, the failure rate of downloading and/or accessing files by legitimate users is reduced, and the fluency of users'access to files is improved.

【技术实现步骤摘要】
文件获取方法、装置、设备及存储介质
本申请涉及网络
,特别涉及一种文件获取方法、装置、设备及存储介质。
技术介绍
不良服务提供商通常会将其它服务提供商提供的文件(或服务)的统一资源定位符(UniformResourceLocator,URL)存储到自己的数据库中,当用户访问不良服务提供商的网络平台时,访问和/或下载的文件的URL即为被盗链文件的URL。相关技术中,为了防止在网络平台上发布的文件被盗链,服务提供商通常会不定期地修改文件名来防止文件被盗链,由于修改文件名会相应地改变被盗链文件的URL,因此会导致不良服务商存储的被盗链文件的URL失效,从而实现防盗链的目的。不定期地修改文件名会使URL被修改,当合法用户在访问和/或下载文件的时候,该文件的URL被修改会导致合法用户的访问和/或下载行为失败。
技术实现思路
本申请实施例提供了一种文件获取方法、装置、设备及存储介质,可以用于解决相关技术中采用不定期地修改文件名来防止文件被盗链,导致合法用户访问和/或下载文件失败的问题。所述技术方案如下:一方面,本申请实施例提供了一种文件获取方法,所述方法应用于分布式文件存储系统的第一存储节点中本文档来自技高网...

【技术保护点】
1.一种文件获取方法,其特征在于,所述方法应用于分布式文件存储系统的第一存储节点中,所述方法包括:向所述分布式文件存储系统中的第二存储节点发送第一账本;所述分布式文件存储系统中的存储节点中存储有账本,所述账本包括所述存储节点对存储在所述分布式文件存储系统中的文件片段进行操作的操作记录,所述第一账本是所述第一存储节点中存储的所述账本;接收所述第二存储节点发送的连接建立指令,所述连接建立指令是所述第二存储节点确定所述第一账本和第二账本匹配后发送的,所述第二账本是所述第二存储节点中存储的所述账本;根据所述连接建立指令和所述第二存储节点建立连接,向所述第二存储节点发送需求文件片段的唯一识别信息;接收所...

【技术特征摘要】
1.一种文件获取方法,其特征在于,所述方法应用于分布式文件存储系统的第一存储节点中,所述方法包括:向所述分布式文件存储系统中的第二存储节点发送第一账本;所述分布式文件存储系统中的存储节点中存储有账本,所述账本包括所述存储节点对存储在所述分布式文件存储系统中的文件片段进行操作的操作记录,所述第一账本是所述第一存储节点中存储的所述账本;接收所述第二存储节点发送的连接建立指令,所述连接建立指令是所述第二存储节点确定所述第一账本和第二账本匹配后发送的,所述第二账本是所述第二存储节点中存储的所述账本;根据所述连接建立指令和所述第二存储节点建立连接,向所述第二存储节点发送需求文件片段的唯一识别信息;接收所述第二存储节点发送的所述需求文件片段,并合并得到需求文件;所述需求文件片段是所述第二存储节点根据所述唯一识别信息在本地查询得到的。2.根据权利要求1所述的方法,其特征在于,所述账本包括所述存储节点已获取文件片段的唯一识别信息,所述方法还包括:向所述分布式文件存储系统中的索引节点发送所述需求文件片段的唯一识别信息;所述索引节点与至少一个所述分布式文件存储系统存储节点通信连接,所述索引节点存储有总账本,所述总账本包括所述分布式文件存储系统中的每个存储节点存储的所述账本,以及所述账本对应的所述存储节点的设备标识;接收所述索引节点发送的所述第二存储节点的设备标识;所述第二存储节点的设备标识是所述索引节点根据所述需求文件片段的唯一识别信息在所述总账本中查询得到的;所述向所述分布式文件存储系统中的第二存储节点发送第一账本,包括:根据所述第二存储节点的设备标识,向所述第二存储节点发送所述第一账本。3.根据权利要求1或2所述的方法,其特征在于,所述账本包括需求清单和已获取清单,所述需求清单包括所述存储节点需要获取的需求文件片段的唯一识别信息,所述已获取清单包括所述存储节点已获取的需求文件片段的唯一识别信息,所述方法还包括:接收所述第二存储节点发送的需求文件片段的唯一识别信息;根据所述需求文件片段的唯一识别信息,检测所述第二存储节点发送的需求文件片段是否是所述第一存储节点需要获取的需求文件片段;若确定所述第二存储节点发送的需求文件片段是所述第一存储节点需要获取的需求文件片段,则将所述需求文件片段的唯一识别信息从所述第一账本的需求清单中删除,并将所述需求文件片段的唯一识别信息添加到所述第一账本的已获取清单中,得到更新后的第一账本;向所述索引节点发送所述更新后的第一账本用于使所述索引节点更新所述总账本。4.根据权利要求1或2所述的方法,其特征在于,所述接收所述第二存储节点发送的连接建立指令,包括:接收所述第二存储节点发送的连接建立指令;所述连接建立指令是所述第二存储节点确定所述第一账本和所述第二账本匹配,且所述第一存储节点的负债率低于负债率阈值后发送的;其中,所述负债率是所述第二存储节点根据所述第一账本中包含的所述第一存储节点向所述分布式文件存储系统发送的文件片段数,和所述第一存储节点应该向所述分布式文件存储系统发送,但并未完成发送的文件片段数计算得到的。5.一种文件获取方法,其特征在于,所述方法应用于分布式文件存储系统中的第二存储节点中,所述方法包括:接收所述分布式文件存储系统中的第一存储节点发送的第一账本;所述分布式文件存储系统中的存储节点中存储有账本,所述账本包括所述存储节点对存储在所述分布式文件存储系统中的文件片段进行操作的操作记录,所述第一账本是所述第一存储节点中存储的所述账本;若所述第一账本和所述第二账本匹配,向所述第一存储节点发送连接建立指令,所述连接建立指令用于指示所述第一存储节点和所述第二存储节点建立连接,所述第二账本是所述第二存储节点中存储的所述账本;与所述第一存储节点建立连接;接收所述第一存储节点发送的需求文件片段的唯一识别信息;向所述第一存储节点发送需求文件片段;所述需求文件片段是根据所述唯一识别信息在本地查询得到的。6.根据权利要求5所述的方法,其特征在于,所述方法,还包括:根据所述第一账本计算所述第一存储节点的负债率;所述负债率是根据所述第一账本中包含的所述第一存储节点向所述分布式文件存储系统发送的文件片段数,和所述第一存储节点应该向所述分布式文件存储系统发送,但并未完成发送的文件片段数计算得到的;检测所述负债率是否高于负债率阈值;所述和所述第一存储节点建立连接,包括:若所述负债率不高于所述负债率阈值,则和所述第一存储节点建立连接。7.根据权利要求6所述的方法,其特征在于,所述检测所述负债率是否高于负债率阈值之后,还包括:若所述负债率不高于所述负债率阈值,则根据所述负债率,计算所述第一存储节点在所有有效节点中的排名;所述有效节点是所述分布式文件存储系统中,向所述第二存储节点发送了所述账本且负债率不高于所述负债率阈值的存储节点;所述和所述第一存储节点建立连接,包括:按照所述排名的从后到前的顺序,和所述第一存储节点建立连接。8.根据权利要求5至7任一项所述的方法,其特征在于,所述方法还包括:将所述需求文件片段的唯一识别信息添加到所述第二账本的发送清单中,得到更新后的第二账本;所述第二账本的发送清单是所述第二存储节点向所述分布式文件存储系统中的存储节点发送的需求文件片段的唯一识别信息;向所述分布式文件存储系统中的索引节点发送所述更新后的第二总账;所述索引节点与至少一个所述存储节点通信连接,所述索引节点中存储有总账本,所述总账本包括所述分布文件式存储系统中的每个所述账本。9.根据权利要求5至7任一项所述的方法,其特征在于,所述向所述第一存储节点发送需求文件片段,包括:向所述第一存储节点发送需求文件片段以及所述需求文件片段的唯一识别信息;所述文件片段的唯一识别信息用于使所述第一存储节点根据所述需求文件片段的唯一识别信息,检测所述第二存储节点发送的需求文件片段是否是所述第一存储节点需要获取的需求文件片段。10.根据权利要求5所述的方法,其特征在于,所述接收所述分布式文件存储系统中的第一存储节点发送的第一账本之前,还包括:向所述索引节点中的领导节点发送目标文件的唯一识别信息;所述领导节点是所述索引节点中负责和所述第二存储节点通信的节点;接收所述领导节点发送的用于指示所述目标文件是否为原创文件的核验结果;所述核验结果是所述领导节点向所述索引节点中除去所述领导节点的其它索引节点发送所述目标文件的唯一识别信息后,根据接收到的所述其它索引节点发送的节点核验结果,以及本地的节点核验结果后统计得到的结果,所述节点核验结果是所述领导节点或任一所述其它索引节点检测所述目标文件的...

【专利技术属性】
技术研发人员:杨辉
申请(专利权)人:腾讯科技深圳有限公司北京邮电大学
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1