基于Python扩展模块的多进程共享系统及方法技术方案

技术编号:15329301 阅读:284 留言:0更新日期:2017-05-16 13:00
本发明专利技术公开了一种基于Python扩展模块的多进程共享系统及方法,该方法包括以下步骤:步骤一、初始化全局管理器并解析输入参数;步骤二、分配指定名称和大小的共享内存;若已经存在,则执行步骤4,若不存在,则分配固定大小的内存空间;步骤三、初始化slab内存管理器,构建红黑树,并返回创建Python扩展对象;步骤四、调用功能方法,分析处理后返回PyObject对象。本发明专利技术具有更高的性能,经测试对比发现,操作更新100万的共享数据,耗时仅为2.5秒,访问速度提升近10倍;通过使用原子锁和信号机制,保护处理异常子进程,同时避免出现程序死锁现象,运行程序更加稳定,异常处理更加完善;合理使用内存管理机制,减少内存碎片化,内存利用更加高效。

Multi process sharing system and method based on Python expansion module

The invention discloses a sharing system and method of multi process Python extension module based on the method comprises the following steps: step one, initialize the global manager and parsing the input parameters; step two, specify the name and size distribution of shared memory; if it already exists, then executing step 4, if not, distribution a fixed size memory; step three, initialize the slab memory manager, construction of red black tree, Python creates and returns an extended object; step four, transfer function method, after the analysis of return PyObject objects. The invention has higher performance, through test comparison, data sharing operation update 1 million, time is only 2.5 seconds, access speed increased nearly 10 times; by using atomic lock and signal processing mechanism, protection of abnormal child process, while avoiding deadlock phenomenon, operation process is more stable and more abnormal treatment perfect; rational use of memory management mechanism, to reduce memory fragmentation, more efficient use of memory.

【技术实现步骤摘要】
基于Python扩展模块的多进程共享系统及方法
本专利技术涉及进程间数据共享
,具体涉及一种基于Python扩展模块的多进程共享系统及方法。
技术介绍
在Python开发环境中,进程间的交互往往需要共享数据,同时可能存在数据内容的频繁更新。multiprocessing是Python支持多进程管理的程序包,利用multiprocessing的Value,Array,Manager等结构方法能够创建共享的对象,多个进程访问该对象实现数据的共享。multiprocessing提供多种方法对象实现进程间的数据共享。Manager采用代理与服务器的模式,由manager对象控制服务端进程,该进程包含的Python对象可以被其他进程通过代理的方式访问,实现进程间的数据共享。Value和Array是另一种简单对象,主进程创建对象的实例,并将数据存储在映射的共享内存中,通过参数传递的方式供其他进程使用。以上描述的multiprocessing技术方案存在的主要缺点是:1、Value结构为单个数据的共享,不能满足复杂的表结构共享,而Array结构仅允许使用索引访问共享的数据且个数固定,功能上受到很大的限制;2、multiprocessing.Manager本身设计为代理与服务器模式,共享数据的性能较差,测试发现在manager中使用Dict对象更新100万的数据,耗时超过24秒。同时manager对象控制的服务器进程缺少健壮的异常处理机制,容易产生异常子进程。
技术实现思路
本专利技术克服了现有技术的不足,提供一种基于Python扩展模块的多进程共享系统及方法。为解决上述的技术问题,本专利技术采用以下技术方案:一种基于Python扩展模块的多进程共享方法,所述的方法包括以下步骤:步骤一、初始化全局管理器并解析输入参数;步骤二、分配指定名称和大小的共享内存,且所述名称具有唯一性;若已经存在,则执行步骤4,若不存在,则分配固定大小的内存空间;步骤三、初始化slab内存管理器,构建红黑树,并返回创建Python扩展对象;步骤四、调用功能方法,分析处理后返回PyObject对象。更进一步的技术方案是所述步骤一包括类型、成员及方法的注册,以及模块名称、内存大小的参数解析。更进一步的技术方案是所述步骤四中所述调用功能方法包括添加,更新,删除操作。更进一步的技术方案是提供一种基于Python扩展模块的多进程共享系统,包括:内存管理模块,用于定义内存管理的接口与程序结构,并且利用原子锁模块实现加锁处理;红黑树模块,用于实现红黑树算法逻辑,提供初始化,插入,删掉方法;共享内存模块,该模块实现共享内存的分配与回收接口;原子锁模块,用于实现原子互斥锁逻辑,提供锁创建,加锁,解锁,锁销毁方法;接口模块,用于利用内存管理模块,红黑树模块以及原子锁模块实现功能调用的接口;封装模块,用于定义Python的扩展类型,注册对外开放的方法和属性;所述共享内存模块、原子锁模块分别连接所述内存管理模块;所述内存管理模块连接所述接口模块;所述红黑树模块连接所述接口模块;所述原子锁模块分别连接所述红黑树模块和接口模块;所述接口模块连接所述封装模块。与现有技术相比,本专利技术实施例的有益效果之一是:1、本专利技术相比于multiprocessing等现有技术具有更高的性能,经测试对比发现,操作更新100万的共享数据,耗时仅为2.5秒,访问速度提升近10倍;2、本专利技术通过使用原子锁和信号机制,保护处理异常子进程,同时避免出现程序死锁现象,运行程序更加稳定,异常处理更加完善;3、本专利技术合理使用内存管理机制,减少内存碎片化,内存利用更加高效。附图说明图1为本专利技术一个实施例的设计步骤图。图2为本专利技术一个实施例中设计步骤相对应的流程图。图3为本专利技术另一个实施例的系统模块结构框图。具体实施方式本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。下面结合附图及实施例对本专利技术的具体实施方式进行详细描述。实施例1如图1和图2所示,根据本专利技术的一个实施例,本实施公开一种基于Python扩展模块的多进程共享方法,该方法的构思是在共享内存的基础上,首先通过slab内存管理机制优化内存,并使用红黑树结构快速的检索数据,接着利用原子互斥锁解决数据的冲突问题,最后以模块扩展的方式在多个Python进程间进行高效的共享数据。具体的,本实施例基于Python扩展模块的多进程共享方法包括以下步骤:步骤1,初始化全局管理器并解析输入参数,包括类型、成员及方法的注册,模块名称、内存大小的参数解析;步骤2,分配指定名称和大小的共享内存,且名称具有唯一性,若已经存在,则执行步骤4,若不存在,则分配固定大小的内存空间;步骤3,初始化slab内存管理器,构建红黑树,并返回创建Python扩展对象;步骤4,调用功能方法,分析处理后返回PyObject对象,其功能方法包括添加,更新,删除等操作。本实施例方法相比于multiprocessing等现有技术具有更高的性能,经测试对比发现,操作更新100万的共享数据,耗时仅为2.5秒,访问速度提升近10倍。实施例2如图3所示,根据本专利技术的另一个实施例,本实施例公开一种基于Python扩展模块的多进程共享系统,该系统采用模块化设计,不同的功能归属于不同的模块,模块之间利用接口提供服务(如图3所示)。其中,内存管理模块负责共享内存的分配和回收,避免造成内存碎片。红黑树模块能够高效的检索数据,提高数据访问的速度。原子锁模块除了优化加锁粒度外,对死锁问题进行了特殊处理,当出现进程异常崩溃时,由信号注册处理程序完成强制解锁,同时提供进程的挂起服务。具体的,本实施例基于Python扩展模块的多进程共享系统包括:内存管理模块(SLAB),该模块定义内存管理的接口与程序结构,并且利用原子锁模块实现加锁处理;红黑树模块(RBTREE),该模块实现红黑树算法逻辑,提供初始化,插入,删掉等方法;共享内存模块(SHMEM),该模块实现共享内存的分配与回收接口;原子锁模块(SHMTX),该模块实现原子互斥锁逻辑,提供锁创建,加锁,解锁,锁销毁等方法;接口模块(TABLE),该模块为统一的接口服务,利用内存管理模块,红黑树模块以及原子锁模块实现功能调用的接口;封装模块(MAIN),该模块定义Python的扩展类型,注册对外开放的方法和属性。所述共享内存模块、原子锁模块分别连接所述内存管理模块;所述内存管理模块连接所述接口模块;所述红黑树模块连接所述接口模块;所述原子锁模块分别连接所述红黑树模块和接口模块;所述接口模块连接所述封装模块。本实施例以模块扩展的方式在多个Python进程间进行高效的共享数据。通过使用原子锁和信号机制,保护处理异常子进程,同时避免出现程序死锁现象,运行程序更加稳定,异常处理更加完善;合理使用内存管理机制,减少内存碎片化,内存利用更加高效。在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”等,指的是结合该实施例描述的本文档来自技高网...
基于Python扩展模块的多进程共享系统及方法

【技术保护点】
一种基于Python扩展模块的多进程共享方法,其特征在于:所述的方法包括以下步骤:步骤一、初始化全局管理器并解析输入参数;步骤二、分配指定名称和大小的共享内存,且所述名称具有唯一性;若已经存在,则执行步骤4,若不存在,则分配固定大小的内存空间;步骤三、初始化slab内存管理器,构建红黑树,并返回创建Python扩展对象;步骤四、调用功能方法,分析处理后返回PyObject对象。

【技术特征摘要】
1.一种基于Python扩展模块的多进程共享方法,其特征在于:所述的方法包括以下步骤:步骤一、初始化全局管理器并解析输入参数;步骤二、分配指定名称和大小的共享内存,且所述名称具有唯一性;若已经存在,则执行步骤4,若不存在,则分配固定大小的内存空间;步骤三、初始化slab内存管理器,构建红黑树,并返回创建Python扩展对象;步骤四、调用功能方法,分析处理后返回PyObject对象。2.根据权利要求1所述的Python扩展模块的多进程共享方法,其特征在于所述的步骤一包括类型、成员及方法的注册,以及模块名称、内存大小的参数解析。3.根据权利要求1所述的Python扩展模块的多进程共享方法,其特征在于所述的步骤四中所述调用功能方法包括添加,更新,删除操作。4.一种...

【专利技术属性】
技术研发人员:肖尧孙云松
申请(专利权)人:四川长虹电器股份有限公司
类型:发明
国别省市:四川,51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1