基于粒子群算法的图像视频过滤任务分配的优化方法技术

本发明专利技术涉及互联网领域，特别是涉及一种基于粒子群算法的图像视频过滤任务分配的优化方法。该方法包括：根据过滤任务的特性，确定过滤内容的优先级；根据优先级以及图像视频过滤集群系统的特性，实时生成任务分配方案；确定图像视频过滤集群系统的运行状态；根据任务分配方案和运行状态，采用粒子群算法将过滤任务分配给图像视频过滤集群系统；图像视频过滤集群系统对过滤任务进行第一过滤处理，得到第一处理结果；人工检测、筛选第一处理结果，得到第二处理结果；输出第二处理结果。该优化方法通过粒子群算法，将海量过滤任务调度分配给过滤集群系统，有效的解决了现阶段海量在线/离线视频图像当中成人内容无法大规模实时、高效过滤处理的问题。

Particle swarm optimization algorithm for image and video filtering task allocation

The invention relates to the field of the Internet, in particular to an optimization method for image and video filtering task allocation based on particle swarm optimization algorithm. The method includes: according to the characteristics of the filtering task, determine the content filtering priority; according to the characteristics of priority and video filtering of the cluster system, the real-time generation scheduling scheme; determine the running state of image and video filtering cluster system; according to the task allocation scheme and operation state, the particle swarm algorithm will filter the tasks assigned to the video image filtering cluster video image filtering system; cluster system for the first filtering on the filtering task, get the first treatment results; artificial detection and screening of the first results, get second results; second output results. The optimization method by particle swarm algorithm, the massive filtering task scheduling and allocation to filter cluster system, effectively solve the present massive online / offline video images of adult content to large-scale real-time and efficient filtering problem.

【技术实现步骤摘要】

本专利技术涉及互联网领域，特别是涉及一种基于粒子群算法的图像视频过滤任务分配的优化方法。
技术介绍
少量在线视频的快速精确处理和大量视频图像的简单处理目前都有相应的解决方案，但是在海量视频的情况下，进行实时在线实时精确处理是一个难题。现今随着数据规模的急剧增加，应用类型的极大丰富，企业和个人用户信息使用模式的变化已经突破了原有系统平台的局限。越来越多的应用和平台，不论对企业级还是个人级用户都不堪重负。企业应用平台的不断累加，个人用户桌面应用更是五花八门，呈爆炸式增长。传统数据分析处理领域在面临新的重大问题时，需要更多领域数据的融合和协作。在这种巨大潮流的推动下，云计算被推上了计算机科学和应用的舞台，带来信息使用模式的巨大变革。MapReduce架构正是为处理这种数据密集型的应用而诞生的。在MapReduce架构里面，待处理的数据被自动的分割，从而被集群中不同的节点并行处理；架构本身负责任务的自动并行化和负载均衡；为了提高可用性，每一个被分割的数据块均有3个副本，分别存储在不同的存储器上。在这种架构之下，对数据访问I/O带宽(包括访问磁盘I/O带宽和访问网络I/O带宽)的需求，比对其他任何类型资源的需求都要迫切得多。智能算法在调度策略中应用越来越多，如基于应用经济模型的优化调度算法，Min-min算法，Max-min启发算法，蚂蚁算法，模拟退火进化算法等。这些算法给调度策略带来了新的活力，但存在的问题是没有较好地处理子任务之间的关系而导致系统负载不均衡。遗传算法近年来也在调度策略中得到了良好的应用，但遗传算法存在早熟收敛问题，局部搜索能力不足，易于陷入局部最优解，算法中遗传算子无方向性等问题，并且遗传算法自身的参数较多，实现复杂，用于调度策略中难以同时满足较高的调度效率，适应计算网格环境动态性和负载均衡等要求，资源调度问题属于离散空间的非数值优化问题，是一类典型的组合优化问题，粒子群优化算法(ParticleSwarmOptimization，简称PSO)思想来源于人工生命和演化计算理论，是一种基于群智能(SwarmIntelligence)的进化类算法。目前，在有关粒子群算法的相关文献中，粒子群优化算法已被有效应用于规划问题求解，约束优化问题求解，多目标优化问题求解，离散空间组合优化问题求解等优化问题领域。
技术实现思路
本专利技术的目的在于提供一种基于粒子群算法的图像视频过滤任务分配的优化方法，以解决现阶段海量在线/离线视频图像当中成人内容无法大规模实时、高效过滤处理的问题。本专利技术提供了一种基于粒子群算法的图像视频过滤任务分配的优化方法，包括：S1：接收过滤任务，所述过滤任务包括一路以上的图像或视频数据；S2：根据所述过滤任务的特性，确定所述过滤内容的优先级；S3：根据所述优先级以及图像视频过滤集群系统的特性，实时生成任务分配方案；S4：确定所述图像视频过滤集群系统的运行状态；S5：根据所述任务分配方案和所述运行状态，采用粒子群算法将所述过滤任务分配给图像视频过滤集群系统；S6：所述图像视频过滤集群系统对所述过滤任务进行第一过滤处理，得到第一处理结果；S7：人工检测、筛选所述第一处理结果，得到第二处理结果；S8：输出第二处理结果。在一些实施例中，优选为，所述S2中过滤任务的特性包括但不局限于：图像或视频的影响度、大小、分辨率以及图像或视频的来源。在一些实施例中，优选为，所述S3中图像视频过滤集群系统的特性包括但不局限于：暗装图像视频过滤集群系统的机器的CPU占用率，则所述S4中所述运行状态为机器的CPU占用率状态。在一些实施例中，优选为，所述S5中的粒子群算法为：产生初始例子群和随机因子，初始化粒子群的规模和任务因子、惯性权重、迭代终止条件；根据任务处理的预计精度和时间，建立作业执行列表，以及设定适应度函数计算粒子的适应值；生成调度方案；根据所述调度方案以及作业执行列表，利用所述适应值，确定个体最优粒子和全局最优粒子；判断函数值是否满足迭代终止条件，若不满足，生成新的调度方案和新的作业执行列表，并根据新的调度方案和新的作业执行列表，确定新的个体最优粒子和新的全局最优粒子；否则，迭代终止；生成最优的调度方案。在一些实施例中，优选为，所述S7为：人工检测、筛选所述第一处理结果，并根据过滤要求判断是否进行第二过滤处理：若进行，则对第一处理结果进行第二过滤处理，得到第三处理结果，则S8将第三处理结构输出；否则，S8直接将所述第一处理结果输出。在一些实施例中，优选为，所述基于粒子群算法的图像视频过滤任务分配的优化方法在MapReduce架构内进行。在一些实施例中，优选为，将S1-S7处理过程中获得的数据缓存中采用主动全分布调度策略与弹性丢弃机制相结合。在一些实施例中，优选为，所述主动全分布调度策略为将数据缓存至节点本地。本专利技术实施例提供的基于粒子群算法的图像视频过滤任务分配的优化方法，与现有技术相比，通过粒子群算法，针对海量过滤任务(在线/离线视频图像当中成人内容)和图像视频过滤集群系统，将海量过滤任务调度分配给过滤集群系统，使过滤任务高效、实时已经更精准的完成。进而有效的解决了现阶段海量在线/离线视频图像当中成人内容无法大规模实时、高效过滤处理的问题。附图说明图1为本专利技术一个实施例中基于粒子群算法的图像视频过滤任务分配的优化方法步骤示意图；图2为本专利技术一个实施例中粒子群算法原理示意图；图3为本专利技术一个实施例中本地存储优化示意图；图4为本专利技术一个实施例中图像视频过滤集群系统设计框图示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。针对现阶段配海量在线/离线视频图像当中成人内容无法大规模实时、高效过滤处理的问题，本专利技术提出了一种基于粒子群算法的图像视频过滤任务分配的优化方法。如图1-4所示，包括S1：接收过滤任务，过滤任务包括一路以上的图像或视频数据；S2：根据过滤任务的特性，确定过滤内容的优先级；过滤任务的特性包括但不局限于：图像或视频的影响度、大小、分辨率以及图像或视频的来源。S3：根据优先级以及图像视频过滤集群系统的特性，实时生成任务分配方案；图像视频过滤集群系统的特性包括但不局限于：暗装图像视频过滤集群系统的机器的CPU占用率或稳定性，则S4中运行状态为机器的CPU占用率状态。S4：确定图像视频过滤集群系统的运行状态；S5：根据任务分配方案和运行状态，采用粒子群算法将过滤任务分配给图像视频过滤集群系统；S6：图像视频过滤集群系统对过滤任务进行第一过滤处理，得到第一处理结果；S7：人工检测、筛选所述第一处理结果，并根据过滤要求判断是否进行第二过滤处理：若进行，则对第一处理结果进行第二过滤处理，得到第三处理结果，则S8将第三处理结构输出；否则，S8直接将所述第一处理结果输出；该基于粒子群算法的图像视频过滤任务分配的优化方法基于云系统的图像视频过滤系统集群设计，基于粒子群优化算法的集群调度策略优化，分布式数据库系统优化本文档来自技高网...

【技术保护点】
一种基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，包括：S1：接收过滤任务，所述过滤任务包括一路以上的图像或视频数据；S2：根据所述过滤任务的特性，确定所述过滤内容的优先级；S3：根据所述优先级以及图像视频过滤集群系统的特性，实时生成任务分配方案；S4：确定所述图像视频过滤集群系统的运行状态；S5：根据所述任务分配方案和所述运行状态，采用粒子群算法将所述过滤任务分配给图像视频过滤集群系统；S6：所述图像视频过滤集群系统对所述过滤任务进行第一过滤处理，得到第一处理结果；S7：人工检测、筛选所述第一处理结果，得到第二处理结果；S8：输出第二处理结果。

【技术特征摘要】
1.一种基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，包括：S1：接收过滤任务，所述过滤任务包括一路以上的图像或视频数据；S2：根据所述过滤任务的特性，确定所述过滤内容的优先级；S3：根据所述优先级以及图像视频过滤集群系统的特性，实时生成任务分配方案；S4：确定所述图像视频过滤集群系统的运行状态；S5：根据所述任务分配方案和所述运行状态，采用粒子群算法将所述过滤任务分配给图像视频过滤集群系统；S6：所述图像视频过滤集群系统对所述过滤任务进行第一过滤处理，得到第一处理结果；S7：人工检测、筛选所述第一处理结果，得到第二处理结果；S8：输出第二处理结果。2.如权利要求1所述基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，所述S2中过滤任务的特性包括但不局限于：图像或视频的影响度、大小、分辨率以及图像或视频的来源。3.如权利要求1所述基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，所述S3中图像视频过滤集群系统的特性包括但不局限于：暗装图像视频过滤集群系统的机器的CPU占用率，则所述S4中所述运行状态为机器的CPU占用率状态。4.如权利要求1所述基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，所述S5中的粒子群算法为：产生初始例子群和随机因子，初始化粒子群的规模和任务...

【专利技术属性】
技术研发人员：朱山，左根宇，朱光喜，喻西香，
申请(专利权)人：武汉鸿瑞达信息技术有限公司，
类型：发明
国别省市：湖北;42