用于分布式系统的文件处理方法和装置制造方法及图纸

本申请公开了用于分布式系统的文件处理方法和装置。所述方法的一具体实施方式包括：接收包括预定标识的文件；根据所述文件的大小、所述文件中预定标识的数量和所述分布式系统所包括的服务器的数量，将所述文件拆分为多个子文件，其中，每个子文件包括相同数量的预定标识；响应于所述分布式系统所包括的服务器中的至少一个服务器发送的文件处理请求，向相应服务器发送子文件以进行所述文件的并行处理。该实施方式提高了基因信息文件的处理效率，实现了负载均衡。

【技术实现步骤摘要】

本申请涉及计算机
，具体涉及互联网
，尤其涉及用于分布式系统的文件处理方法和装置。
技术介绍
用户通常通过检测处理基因信息文件得到的处理后的文件，再根据处理后的文件来预测人们未来的患病风险。由于基因信息文件大，导致基因信息文件的检测处理耗时、繁琐。在现有技术中，处理基因信息文件的系统通常只包括单个服务器，由此只能借助于系统中的单个服务器处理基因信息文件，导致处理时间长。此外，当基因信息文件过大时，还可能由于处理基因信息文件的系统的内存不足而导致无法处理这样的基因信息文件。所以，为了进一步提高基因信息文件的处理效率，需要一种并行处理基因信息文件的方法。
技术实现思路
本申请的目的在于提出一种改进的用于分布式系统的文件处理方法和装置，来解决以上
技术介绍
部分提到的技术问题。第一方面，本申请提供了一种用于分布式系统的文件处理方法，所述方法包括:接收包括预定标识的文件；根据所述文件的大小、所述文件中预定标识的数量和所述分布式系统所包括的服务器的数量，将所述文件拆分为多个子文件，其中，每个子文件包括相同数量的预定标识；响应于所述分布式系统所包括的服务器中的至少一个服务器发送的文件处理请求，向相应服务器发送子文件以进行所述文件的并行处理。在一些实施例中，所述子文件的数量为所述分布式系统所包括的服务器的数量的整数倍。在一些实施例中，所述向相应服务器发送子文件以进行所述文件的并行处理之后，所述方法还包括:对所述相应服务器处理后的子文件进行合并，生成合并文件；将所述合并文件的访问权限设置为共享权限或者非共享权限。在一些实施例中，所述文件为基因信息文件。在一些实施例中，所述根据所述文件的大小、所述文件中预定标识的数量和所述分布式系统所包括的服务器的数量，将所述文件拆分为多个子文件，包括:根据所述文件的大小、所述文件中预定标识的数量和所述分布式系统所包括的服务器的数量，确定待拆分生成的子文件的数量和每个子文件包括的预定标识的数量；根据所述待拆分生成的子文件的数量和每个子文件包括的预定标识的数量，将所述文件拆分为多个子文件。第二方面，本申请提供了一种用于分布式系统的文件处理装置，所述装置包括:接收单元，用于接收包括预定标识的文件；拆分单元，用于根据所述文件的大小、所述文件中预定标识的数量和所述分布式系统所包括的服务器的数量，将所述文件拆分为多个子文件，其中，每个子文件包括相同数量的预定标识；并行单元，用于响应于所述分布式系统所包括的服务器中的至少一个服务器发送的文件处理请求，向相应服务器发送子文件以进行所述文件的并行处理。在一些实施例中，所述子文件的数量为所述分布式系统所包括的服务器的数量的整数倍。在一些实施例中，所述并行单元还用于:对所述相应服务器处理后的子文件进行合并，生成合并文件；将所述合并文件的访问权限设置为共享权限或者非共享权限。在一些实施例中，所述文件为基因信息文件。在一些实施例中，所述拆分单元具体用于:根据所述文件的大小、所述文件中预定标识的数量和所述分布式系统所包括的服务器的数量，确定待拆分生成的子文件的数量和每个子文件包括的预定标识的数量；根据所述待拆分生成的子文件的数量和每个子文件包括的预定标识的数量，将所述文件拆分为多个子文件。本申请实施例提供的用于分布式系统的文件处理方法和装置，提高基因信息文件的处理效率，实现了负载均衡。【附图说明】通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显:图1是本申请可以应用于其中的示例性系统架构图；图2是根据本申请的用于分布式系统的文件处理方法的一个实施例的流程图；图3是根据本申请的用于分布式系统的文件处理方法的一个应用场景的示意图；图4是根据本申请的用于分布式系统的文件处理装置的一个实施例的结构示意图；图5是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。【具体实施方式】下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的用于分布式系统的文件处理方法或用于分布式系统的文件处理装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和分布式系统105 (分布式系统105包括:服务器106、107、108)。网络104用以在终端设备101、102、103和分布式系统105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与分布式系统105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如文件处理应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。终端设备101、102、103可以是具有显示屏并且支持数据处理的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Aud1 Layer III，动态影像专家压缩标准音频层面3)、MP4 (Moving PictureExperts Group Aud1 Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。分布式系统105包括服务器106、107、108，服务器106、107、108可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件提供支持的后台服务器。后台服务器可以对接收到的文件等数据进行分析等处理，并将处理后的文件反馈给终端设备。需要说明的是，本申请实施例所提供的用于分布式系统的文件处理方法一般由分布式系统105执行，相应地，用于分布式系统的文件处理装置一般设置于分布式系统105中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。继续参考图2，示出了根据本申请的用于分布当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种用于分布式系统的文件处理方法，其特征在于，所述方法包括：接收包括预定标识的文件；根据所述文件的大小、所述文件中预定标识的数量和所述分布式系统所包括的服务器的数量，将所述文件拆分为多个子文件，其中，每个子文件包括相同数量的预定标识；响应于所述分布式系统所包括的服务器中的至少一个服务器发送的文件处理请求，向相应服务器发送子文件以进行所述文件的并行处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：郑全刚，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11