一种文件转换系统、方法、电子设备及存储介质技术方案

一种文件转换系统、方法、电子设备及存储介质。文件转换系统包括任务管理设备、消息队列设备以及任务处理设备；任务管理设备，用于对用户端发送的文件转换任务进行管理，并将根据文件转换任务拆分得到的多个子任务发送至消息队列设备中，消息队列设备将多个子任务发送至任务处理设备，消息队列设备将任务处理设备处理得到的各个子任务的转换结果发送至任务管理设备，任务管理设备将文件转换任务的转换结果发送至用户端。本方案将任务处理逻辑和任务管理逻辑分离，通过消息队列来进行任务分发、处理负载均衡、任务结果回收的方式从而能够将对计算资源需求巨大的转换处理程序进行横向拓展，且仅需要使用廉价服务器集群就能有效的提升文件转换效率。

【技术实现步骤摘要】
一种文件转换系统、方法、电子设备及存储介质
本申请涉及文件处理
，尤其是涉及一种文件转换系统、方法、电子设备及存储介质。
技术介绍
随着科学的进步和社会的发展，现有方案中，大多数对文件的转换处理方式使用的是单进程多线程的处理模式，也就是说，在文件处理的过程中，接受文件任务和处文件理任务的逻辑是运行在同一服务器中的同一进程进行通信的，但这种方式，会使得处理逻辑在执行转换的过程中将消耗所在服务器的大量资源造成在转换过程中出现新任务提交缓慢甚至无法提交的情况，且通过直接升级硬件的方式来加快处理速率的方式的也会带来成本高、效益底的情况。
技术实现思路
有鉴于此，本申请实施例至少提供一种文件转换系统、方法、电子设备及存储介质，本申请通过使用任务管理设备以及任务处理设备来将任务处理逻辑和任务管理逻辑分离，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，通过消息队列来进行任务分发、处理负载均衡、任务结果回收的方式避免了因为转换过程占用大量计算资源影响同一进程的任务提交导致的提交任务卡顿甚至不可用的现象，从而能够将对计算资源需求巨大的转换处理程序进行横向拓展，且仅需要使用廉价服务器集群就能有效的提升文件转换效率。本申请主要包括以下几个方面：第一方面，本申请实施例提供一种文件转换系统，所述文件转换系统包括任务管理设备、消息队列设备以及任务处理设备；所述任务管理设备，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备中，以及接收所述消息队列设备发送的所述文件转换任务的转换结果；所述消息队列设备，用于将所述多个子任务发送至所述任务处理设备，并将所述任务处理设备处理得到的各个子任务的所述转换结果发送至所述任务管理设备；所述任务处理设备，用于对接收到的所述消息队列设备发送的所述多个子任务进行处理，并将处理得到的各个子任务的转换结果发送至所述消息队列设备。在一种可能的实施方式中，所述任务管理设备包括：获取模块，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备中；接收模块，用于接收所述消息队列设备发送的所述文件转换任务的转换结果。在一种可能的实施方式中，所述获取模块包括：存储单元，用于对用户端发送的文件转换任务进行存储；拆分单元，用于对所述文件转换任务进行拆分，得到多个子任务，并发布针对所述多个子任务的任务处理请求；发送单元，用于将所述多个子任务发送至所述消息队列设备中。在一种可能的实施方式中，所述接收模块包括：第一拉取单元，用于监听并拉取所述消息队列设备中所述多个子任务的转换结果；监控单元，用于监控所述多个子任务的完成程度；合并单元，用于当所述文件转换任务对应的所有所述子任务全部完成转换后，将所述文件转换任务对应的所有所述子任务的转换结果进行合并，得到所述文件转换任务的转换结果；通知单元，用于将所述文件转换任务的转换结果发送至所述用户端。在一种可能的实施方式中，所述任务处理设备包括：转换处理模块，用于对接收到的所述消息队列设备发送的所述多个子任务进行转换处理，并生成所述多个子任务的转换结果；发送模块，用于将所述转换结果发送至所述消息队列设备。在一种可能的实施方式中，所述转换处理模块包括：第二拉取单元，用于监听并拉取所述消息队列设备中的所述多个子任务的任务信息；转换单元，用于对所述多个子任务进行转换处理，生成所述多个子任务的转换结果。在一种可能的实施方式中，所述发送模块包括：封装单元，用于将所述多个子任务的任务信息和所述多个子任务的转换结果进行封装，并将封装后的目标文件确定为所述文件转换任务的转换结果；发送单元，用于将所述文件转换任务的所述转换结果发送至所述消息队列设备。第二方面，本申请实施例还提供文件转换方法，应用于如第一方面任一所述的文件转换转换系统，所述终端通信设备包括：所述文件转换方法包括：接收文件转换任务；将所述文件转换任务拆分成多个子任务，并对每个所述子任务进行处理，得到每个所述子任务对应的转换结果；根据多个所述子任务对应的所述转换结果，得到转换文件的转换结果。第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的文件转换方法的步骤。第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的文件转换方法的步骤。本申请实施例中，通过将任务接收和任务处理拆分为任务管理设备和任务处理设备，并通过消息队列设备来对文件转换任务进行接收和发布的方式，使得任务管理进程能够独立的运行在服务器中，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，同时消息队列设备够有效的平衡任务管理进程和任务处理进程之间的运行效率，且本申请的处理逻辑进程能部署在多台服务器上进行横向拓展，使得可以使用多台基础的服务器来构建高性能的分布式文件转换处理方式。为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本申请实施例所提供的一种文件转换系统的结构图；图2示出了本申请实施例所提供的另一种文件转换系统的结构图；图3示出了本申请实施例所提供的一种文件转换系统中任务管理设备的结构图；图4示出了本申请实施例所提供的一种文件转换系统中任务处理设备的结构图；图5示出了本申请实施例所提供的一种文件转换方法的流程图；图6示出了本申请实施例所提供的一种电子设备的结构示意图。主要元件符号说明：图中：10-文件转换系统；100-任务管理设备；110-获取模块；111-存储单元；112-拆分单元；113-第一发送单元；120-接收模块；121-第一拉取单元；122-监控单元；123-合并单元；124-通知单元；200-消息队列设备；300-任务处理设备；310-转换处理模块；311-第二拉取单元；312-转换单元；320-发送模块；321-封装单元；322-第二发送单元；600-电子设备；610-处理器；620-存储器；630-总线。具体实施方式为使本申请实本文档来自技高网...

【技术保护点】
1.一种文件转换系统，其特征在于，所述文件转换系统包括任务管理设备、消息队列设备以及任务处理设备；/n所述任务管理设备，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备中，以及接收所述消息队列设备发送的所述文件转换任务的转换结果；/n所述消息队列设备，用于将所述多个子任务发送至所述任务处理设备，并将所述任务处理设备处理得到的各个子任务的所述转换结果发送至所述任务管理设备；/n所述任务处理设备，用于对接收到的所述消息队列设备发送的所述多个子任务进行处理，并将处理得到的各个子任务的转换结果发送至所述消息队列设备。/n

【技术特征摘要】
1.一种文件转换系统，其特征在于，所述文件转换系统包括任务管理设备、消息队列设备以及任务处理设备；
所述任务管理设备，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备中，以及接收所述消息队列设备发送的所述文件转换任务的转换结果；
所述消息队列设备，用于将所述多个子任务发送至所述任务处理设备，并将所述任务处理设备处理得到的各个子任务的所述转换结果发送至所述任务管理设备；
所述任务处理设备，用于对接收到的所述消息队列设备发送的所述多个子任务进行处理，并将处理得到的各个子任务的转换结果发送至所述消息队列设备。


2.根据权利要求1所述的文件转换系统，其特征在于，所述任务管理设备包括：
获取模块，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备中；
接收模块，用于接收所述消息队列设备发送的所述文件转换任务的转换结果。


3.根据权利要求2所述的文件转换系统，其特征在于，所述获取模块包括：
存储单元，用于对用户端发送的文件转换任务进行存储；
拆分单元，用于对所述文件转换任务进行拆分，得到多个子任务，并发布针对所述多个子任务的任务处理请求；
发送单元，用于将所述多个子任务发送至所述消息队列设备中。


4.根据权利要求2所述的文件转换系统，其特征在于，所述接收模块包括：
第一拉取单元，用于监听并拉取所述消息队列设备中所述多个子任务的转换结果；
监控单元，用于监控所述多个子任务的完成程度；
合并单元，用于当所述文件转换任务对应的所有所述子任务全部完成转换后，将所述文件转换任务对应的所有所述子任务的转换结果进行合并，得到所述文件转换任务的转换结果；
通知单元，用于将所述文件转换任务的转换结...

【专利技术属性】
技术研发人员：谢岱峰，姚依林，
申请(专利权)人：北京普睿德利科技有限公司，
类型：发明
国别省市：北京;11