一种远程文件分析方法、装置、系统及其存储介质制造方法及图纸

本发明专利技术提供了一种远程文件分析方法、装置、系统及其存储介质，涉及远程数据处理技术领域。远程文件分析系统的第一分布式系统接收用户终端上传的文件，将至少部分文件传输至第二分布式系统，第二分布式系统接收到文件后向所述第一分布式系统返回文件对应的上传状态标识，第一分布式系统基于上传状态标识确定分析处理任务中与所述用户设置的分析项目对应的调用参数，并基于该调用参数调用第二分布式系统对文件进行分析处理，并接收第二分布式系统返回的分析处理的结果。该远程文件分析系统通过不同的分布式系统分别进行文件上传和文件分析，解决了大文件或海量文件通过页面上传不稳定、文件分析效率低的问题。

A remote file analysis method, device, system and its storage medium

The invention provides a remote file analysis method, device, system and its storage medium, and relates to the technical field of remote data processing. The first distributed system of the remote file analysis system receives the files uploaded by the user terminal and transfers at least part of the files to the second distributed system. The second distributed system receives the files and returns the upload status identification corresponding to the files to the first distributed system. The first distributed system determines the allocation of the analysis and processing tasks to the users based on the upload status identification. The corresponding call parameters of the project are analyzed, and the second distributed system is called to analyze and process the files based on the call parameters, and the results of the analysis and processing returned by the second distributed system are received. The remote file analysis system uses different distributed systems to upload and analyze files separately, which solves the problems of unstable upload of large files or massive files through pages and low efficiency of file analysis.

【技术实现步骤摘要】
一种远程文件分析方法、装置、系统及其存储介质
本专利技术涉及远程数据处理
，具体而言，涉及一种远程文件分析方法、装置、系统及其存储介质。
技术介绍
随着网络传输技术的迅速发展和数据交互的日益频繁，用户在进行许多常用处理任务时不仅仅需要从网站上下载资源，同时还需要上传文件到网站。但是，现有的网站在试图获取并处理用户的本地文件时，都仅仅向用户提供超文本传输协议(HTTP，HyperTextTransferProtocol)，直接将用户的本地文件通过浏览器上传至服务端通过处理分析模块进行处理分析。而此方式上传速度慢，严重影响系统的操作使用，另外容易造成浏览器崩溃，断点续传控制亦比较复杂，不适用于大型文件的上传(如视频文件)。大型文件的上传不仅费时，而且也不稳定，比如当网页意外关闭时，上传任务不得不重新开始。当多个文件同时通过网页上传到同一服务端处理分析模块时，可能会导致服务器超出负荷而分析速度低、出错甚至是停止运行。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种远程文件分析方法、装置、系统及其存储介质，以解决上述问题。第一方面，本专利技术实施例提供了一种远程文件分析方法，所述远程文件分析方法包括：接收用户终端上传的文件，将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统；接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；基于所述上传状态标识确定调用参数，并基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理，所述调用参数基于所述用户选择的分析项目生成；接收所述第二分布式系统返回的分析处理的结果。综合第一方面，所述接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，包括：从所述第二分布式系统的消息队列中拉取与传输至所述第二分布式系统的文件对应的上传状态标识。综合第一方面，所述上传状态标识包括任务标识，在所述基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理之前，所述方法还包括：从消息队列中拉取所述任务标识，基于所述任务标识确定所述传输至所述第二分布式系统的文件存在且尚未被分析处理。综合第一方面，所述基于所述上传状态标识确定调用参数，包括：基于所述上传状态标识中的任务标识在相关表中查询所述分析处理任务中所述用户选择的分析项目，并基于所述用户选择的分析项目确定所述调用参数。综合第一方面，在所述基于所述任务标识在相关表中查询所述分析处理任务中所述用户选择的分析项目之前，所述方法还包括：获取用户终端创建所述分析处理任务时选择的分析项目，建立所述传输至所述第二分布式系统的文件对应的任务标识与所述分析项目映射的相关表。综合第一方面，所述接收用户终端上传的文件，包括：通过文件传输协议FTP工具批量接收用户终端上传的文件。综合第一方面，所述文件包括图片、视频和压缩文件，所述将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统，包括：将所述用户终端上传的文件中的图片和视频直接传输至第二分布式系统；以及将所述用户终端上传的文件中的压缩文件解压后传输至所述第二分布式系统。综合第一方面，所述将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统包括：确定所述用户终端上传的文件中是否存在满足预设条件的文件；若存在满足预设条件的文件，则将满足所述预设条件的所述至少部分文件传输至所述第二分布式系统。。综合第一方面，所述确定所述用户终端上传的文件中是否存在满足预设条件的文件，包括：确定所述用户终端上传的文件的名称中是否存在不包括特定前缀的文件名，其中所述特定前缀包括准备上传前缀、未找到对应文件前缀、上传失败前缀、文件类型不符合要求前缀和上传成功前缀中的至少一种。综合第一方面，所述确定所述用户终端上传的文件中是否存在满足预设条件的文件，包括：定时循环扫描指定位置的文件，确定所述用户终端上传的文件中是否存在满足所述预设条件的文件。。第二方面，本专利技术实施例提供了一种远程文件分析方法，所述远程文件分析方法包括：接收第一分布式系统上传的文件；向所述第一分布式系统返回所述文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；接收所述第一分布式系统的调用，对所述文件进行分析处理，并向所述第一分布式系统返回分析处理的结果。综合第二方面，所述向所述第一分布式系统返回所述文件对应的上传状态标识，包括：在接收到所述文件后将所述文件对应的上传状态标识添加至消息队列中，以使所述第一分布式系统从所述消息队列中获取所述上传状态标识。第三方面，本专利技术实施例提供了一种远程文件分析装置，所述远程文件分析方法包括：文件传输模块，用于接收用户终端上传的文件，将所述用户终端上传的文件中预设类型的文件传输至第二分布式系统；标识接收模块，用于接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；调用模块，用于基于所述上传状态标识确定调用参数，并基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理，所述调用参数基于所述用户选择的分析项目生成；结果接收模块，用于接收所述第二分布式系统返回的分析处理的结果。。第四方面，本专利技术实施例提供了一种远程文件分析装置，所述远程文件分析装置包括：文件接收模块，用于接收第一分布式系统上传的文件；标识发送模块，用于向所述第一分布式系统返回所述文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；分析处理模块，用于接受所述第一分布式系统的调用，对所述文件进行分析处理，并向所述第一分布式系统返回分析处理的结果。。第五方面，本专利技术实施例还提供了一种第一电子设备，所述第一电子设备包括处理器和存储器，所述处理器和所述存储器连接，所述处理器读取并运行所述存储器中的程序指令，执行上述第一方面中任一项所述方法中的步骤。第六方面，本专利技术实施例还提供了一种第二电子设备，所述第二电子设备包括处理器和存储器，所述处理器和所述存储器连接，所述处理器读取并运行所述存储器中的程序指令，执行上述第二方面中任一项所述方法中的步骤。第七方面，本专利技术实施例还提供了一种远程文件分析系统，所述远程文件分析系统包括如第五方面所述的第一电子设备以及如第六方面所述的第二电子设备，所述第一电子设备和所述第二电子设备通信连接。第八方面，本专利技术实施例还提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一方面所述方法中的步骤。本专利技术提供的有益效果是：本专利技术提供了一种远程文件分析方法、装置、系统及其存储介质，该远程文件分析系统包括第一分布式系统和第二分布式系统，第一分布式系统用于接收用户上传的文件并将该文件传输至第二分布式系统，第二分布式系统用于对第一分布式系统传输来的文件进行分析处理并将分析处理的结果返回给第一分布式系统向用户显示，通过不同的分布式系统进行文件上传和处理分析工作，解决了大文件或者海量文件上传时传输速度慢、不稳定的问题，同时能够通过第二电子设备进行批量的文件分析处理，提高了分析本文档来自技高网...

【技术保护点】
1.一种远程文件分析方法，其特征在于，所述远程文件分析方法包括：接收用户终端上传的文件，将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统；接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；基于所述上传状态标识确定调用参数，并基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理，所述调用参数基于所述用户选择的分析项目生成；接收所述第二分布式系统返回的分析处理的结果。

【技术特征摘要】
1.一种远程文件分析方法，其特征在于，所述远程文件分析方法包括：接收用户终端上传的文件，将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统；接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；基于所述上传状态标识确定调用参数，并基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理，所述调用参数基于所述用户选择的分析项目生成；接收所述第二分布式系统返回的分析处理的结果。2.根据权利要求1所述的远程文件分析方法，其特征在于，所述接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，包括：从所述第二分布式系统的消息队列中拉取与传输至所述第二分布式系统的文件对应的上传状态标识。3.根据权利要求2所述的远程文件分析方法，其特征在于，所述上传状态标识包括任务标识，在所述基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理之前，所述方法还包括：从消息队列中拉取所述任务标识，基于所述任务标识确定所述传输至所述第二分布式系统的文件存在且尚未被分析处理。4.根据权利要求1所述的远程文件分析方法，其特征在于，所述基于所述上传状态标识确定调用参数，包括：基于所述上传状态标识中的任务标识在相关表中查询所述分析处理任务中所述用户选择的分析项目，并基于所述用户选择的分析项目确定所述调用参数。5.根据权利要求4所述的远程文件分析方法，其特征在于，在所述基于所述任务标识在相关表中查询所述分析处理任务中所述用户选择的分析项目之前，所述方法还包括：获取用户终端创建所述分析处理任务时选择的分析项目，建立所述传输至所述第二分布式系统的文件对应的任务标识与所述分析项目映射的相关表。6.根据权利要求1-5中任一权项所述的远程文件分析方法，其特征在于，所述接收用户终端上传的文件，包括：通过文件传输协议FTP工具批量接收用户终端上传的文件。7.根据权利要求1-5中任一权项所述的远程文件分析方法，其特征在于，所述文件包括图片、视频和压缩文件，所述将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统，包括：将所述用户终端上传的文件中的图片和视频直接传输至第二分布式系统；以及将所述用户终端上传的文件中的压缩文件解压后传输至所述第二分布式系统。8.根据权利要求1-5中任一权项所述的远程文件分析方法，其特征在于，所述将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统包括：确定所述用户终端上传的文件中是否存在满足预设条件的文件；若存在满足预设条件的文件，则将满足所述预设条件的所述至少部分文件传输至所述第二分布式系统。9.根据权利要求8所述的远程文件分析方法，其特征在于，所述确定所述用户终端上传的文件中是否存在满足预设条件的文件，包括：确定所述用户终端上传的文件的名称中是否存在不包括特定前缀的文件名，其中所述特定前缀包括准备上传前缀、未找到对应...

【专利技术属性】
技术研发人员：刘明磊，于彪，李标，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11