大规模图片处理方法及系统技术方案

本申请公开了一种大规模图片处理方法及系统，所述大规模图片处理方法包括以下步骤：接收来自用户的图片处理请求；根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到业务逻辑消息队列中；从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块；使用所述数据处理模块完成所述图片处理请求所请求的处理工作；保存所述图片处理请求所请求的处理工作的完成结果。

Large-scale Image Processing Method and System

This application discloses a large-scale image processing method and system. The large-scale image processing method includes the following steps: receiving the image processing request from the user; storing the image processing request into the business logic message queue according to the business logic of the image processing request; and eliminating the business logic. The image processing request is extracted from the information queue, and according to the business logic of the image processing request, the data processing module suitable for processing the image processing request is invoked from the data processing module of the server-less computing device of the public cloud platform, and the image processing request office is completed by using the data processing module. The processing work of the request; the completion result of the processing work requested by the picture processing request is saved.

【技术实现步骤摘要】
大规模图片处理方法及系统
本专利技术涉及多媒体数据处理
，特别涉及一种大规模图片处理方法及系统。
技术介绍
在现今的网络环境中，网络服务器经常需要处理用户提交的巨量多媒体数据，而且用户提交多媒体数据的数量、提交的时间、以及提交的频率都是不确定的。为了能够应对最极端的情况，例如多个用户在同一时间段同时提交大量多媒体数据请求处理，现有的用于多媒体数据的批量处理框架通常都要常备数量足够多的高性能服务器，时刻待命。但是这样就会导致在请求处理的数据较少或没有的时间段内，绝大部分甚至全部待命的服务器处于无用状态，造成资源浪费。另外，大量服务器的启动、升级、关闭以及重新分配角色都带来了极大的运维成本。
技术实现思路
本专利技术提供了一种大规模图片处理方法及系统，用于解决现有的多媒体数据处理技术中存在的上述问题。根据本专利技术的实施方式，提供了一种大规模图片处理方法，所述方法包括以下步骤：S1，接收来自用户的图片处理请求；S2，根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到业务逻辑消息队列中；S3，从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块；S4，使用所述数据处理模块完成所述图片处理请求所请求的处理工作；S5，保存所述图片处理请求所请求的处理工作的完成结果。优选地，所述大规模图片处理方法还包括以下步骤：S0，编写所述数据处理模块，将所述数据处理模块上传到所述无服务器计算设备中存储，以供在处理所述图片请求时进行调用。优选地，所述数据处理模块包括机器学习算法模型、深度学习模型、以及可使用所述机器学习算法模型及深度学习模型的代码。优选地，在所述步骤S0中，将所述数据处理模块上传到所述无服务器计算设备中存储的方式是：将所述数据处理模块以插件形式整合到所述无服务器计算设备中。优选地，在所述步骤S1中，所述图片处理请求的数量为多个；在所述步骤S2中，所述业务逻辑消息队列的数量为多个；所述步骤S2包括：根据每个图片处理请求的业务逻辑确定适用于该图片处理请求的业务逻辑消息队列；分别将每个图片处理请求存储到适用于该图片处理请求的业务逻辑消息队列中。优选地，所述步骤S3包括：将所述图片处理请求的业务逻辑划分为多个业务逻辑部分；根据所述多个业务逻辑部分，从所述公有云平台的所述无服务器计算设备中调用分别适用于处理所述多个业务逻辑部分的多个数据处理模块。优选地，所述步骤S4包括：使用所述多个数据处理模块分别完成所述多个业务逻辑部分所请求的处理工作。优选地，所述步骤S5包括：在使用所述多个数据处理模块分别完成所述多个业务逻辑部分所请求的处理工作之后，将所述多个业务逻辑部分所请求的处理工作的完成结果汇总为聚合结果；保存所述聚合结果。本专利技术的实施方式还提供一种大规模图片处理系统，所述大规模图片处理系统包括接收模块、暂存模块、执行模块、公有云平台和存储模块；所述暂存模块包括业务逻辑消息队列；所述执行模块包括业务逻辑执行器；所述公有云平台包括无服务器计算设备，所述无服务器计算设备包括数据处理模块；其中，所述接收模块用于：接收来自用户的图片处理请求，以及根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到所述业务逻辑消息队列中；所述暂存模块用于：通过所述业务逻辑消息队列暂存所述图片处理请求；所述执行模块用于：通过所述业务逻辑执行器从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块；所述数据处理模块用于：完成所述图片处理请求所请求的处理工作；所述存储模块用于：保存所述图片处理请求所请求的处理工作的完成结果。本专利技术的实施方式还提供一种计算机设备，所述计算机设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行根据上述各个实施方式所述的大规模图片处理方法。本专利技术的实施方式还提供一种计算机可读存储介质，其存储有上述计算机设备中存储及使用的所述计算机程序。依照上述的实施方式，本专利技术实质上是基于公有云平台的无服务器计算设备实现了大规模图片处理方法以及相应的系统、计算机设备和计算机可读存储介质。而公有云平台上的无服务器计算的特点是：只有进行了实际计算，才会产生费用；没有计算则不会产生费用；同时可以随着调用量的不断加大，自行完成计算资源的增加；随着调用量的减少，自行完成计算资源的减少。因此，在本专利技术的技术方案中，当用户提交大量图片数据时，无服务器计算会自行增大计算资源，支持足够的数据处理量；当用户提交的图片数据处理完毕后，因为不会再有发送给无服务器计算的请求，此时就不会再有计算费用产生。这样，相比于现有的图片数据处理技术，本专利技术可以取得多方面的优势：不需要自己设置大量的服务器进行工作，有效地节约了框架费用和运维成本；能够方便灵活地扩展应用程序，获得更好的可用性和容错能力；能够方便地实现框架可定制化，而且不会受到平台类型和存储地点的限制；同时，本专利技术在取得这些优势的前提下依旧能稳定地支持用户调用峰值所需的工作量。显然，本专利技术对于处理大规模图片数据的技术作出了多方面的改善。由于多媒体数据中最主要的部分就是图片数据，因此本专利技术的大规模图片处理方法及系统对于多媒体数据处理
而言是一个重大的改进，能够有效地解决现有技术中存在的问题。附图说明图1示出了本专利技术的一个实施方式提供的大规模图片处理系统的结构方框图。图2示出了本专利技术的一个实施方式提供的大规模图片处理方法的主要步骤的流程示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下参照附图结合实施例，对本专利技术进一步详细说明。为了解决现有的多媒体数据处理技术需要采用大量服务器，造成成本过高及资源浪费等问题，本专利技术的实施方式提供了一种大规模图片处理方法、以及相应的用于实现该大规模图片处理方法的大规模图片处理系统。由于多媒体数据中最主要的部分就是图片数据，因此本专利技术的大规模图片处理方法及系统对于多媒体数据处理
而言是一个重大的改进，能够有效地解决现有技术中存在的问题。由于介绍所述大规模图片处理方法时会涉及所述大规模图片处理系统的具体部件，为了使表述的顺序清晰，以下首先基于附图中的图1对所述大规模图片处理系统的实施方式进行介绍，之后再基于图2详细介绍所述大规模图片处理方法的实施方式。请参阅图1，其示出了示出了本专利技术的一个实施方式提供的大规模图片处理系统100的结构方框图。所述大规模图片处理系统100包括接收模块10、暂存模块20、执行模块30、公有云平台40和存储模块50。所述接收模块10可以包括例如现有的API(ApplicationProgrammingInterface,应用程序编程接口)网关，所述API网关与数量较多的具体的网络用户都建立有有线或无线的网络通信连接，可以从每个网络用户接收数据，例如接收来自网络用户的图片处理请求。API网关与具体网络用户建立网络通信连接以及从具体网络用户接收图片处理请求的方法都可以是现有技术，此处无需赘述。所述暂存模块20可以是设置在本地的暂存器模块，也可以设置本文档来自技高网...

【技术保护点】
1.一种大规模图片处理方法，包括以下步骤：S1，接收来自用户的图片处理请求；S2，根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到业务逻辑消息队列中；S3，从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块；S4，使用所述数据处理模块完成所述图片处理请求所请求的处理工作；S5，保存所述图片处理请求所请求的处理工作的完成结果。

【技术特征摘要】
1.一种大规模图片处理方法，包括以下步骤：S1，接收来自用户的图片处理请求；S2，根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到业务逻辑消息队列中；S3，从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块；S4，使用所述数据处理模块完成所述图片处理请求所请求的处理工作；S5，保存所述图片处理请求所请求的处理工作的完成结果。2.如权利要求1所述的大规模图片处理方法，其特征在于，还包括以下步骤：S0，编写所述数据处理模块，将所述数据处理模块上传到所述无服务器计算设备中存储，以供在处理所述图片请求时进行调用。3.如权利要求2所述的大规模图片处理方法，其特征在于，所述数据处理模块包括机器学习算法模型、深度学习模型、以及可使用所述机器学习算法模型及深度学习模型的代码。4.如权利要求2所述的大规模图片处理方法，其特征在于，在所述步骤S0中，将所述数据处理模块上传到所述无服务器计算设备中存储的方式是：将所述数据处理模块以插件形式整合到所述无服务器计算设备中。5.如权利要求1所述的大规模图片处理方法，其特征在于，在所述步骤S1中，所述图片处理请求的数量为多个；在所述步骤S2中，所述业务逻辑消息队列的数量为多个；所述步骤S2包括：根据每个图片处理请求的业务逻辑确定适用于该图片处理请求的业务逻辑消息队列；分别将每个图片处理请求存储到适用于该图片处理请求的业务逻辑消息队列中。6.如权利要求5所述的大规模图片处理方法，其特征在于，所述步骤S3包括：将所述图片处理请求的业务逻辑划分为多个业务逻辑部分；根据所述多个业务逻辑部分，从所述公有云平台的所述无服务器计算设备中调用分别适用于处...

【专利技术属性】
技术研发人员：魏颢，廖学聪，朱威，刘敬一，马修·罗伯特·斯科特，
申请(专利权)人：深圳码隆科技有限公司，
类型：发明
国别省市：广东,44