The invention discloses a sharing system and method of multi process Python extension module based on the method comprises the following steps: step one, initialize the global manager and parsing the input parameters; step two, specify the name and size distribution of shared memory; if it already exists, then executing step 4, if not, distribution a fixed size memory; step three, initialize the slab memory manager, construction of red black tree, Python creates and returns an extended object; step four, transfer function method, after the analysis of return PyObject objects. The invention has higher performance, through test comparison, data sharing operation update 1 million, time is only 2.5 seconds, access speed increased nearly 10 times; by using atomic lock and signal processing mechanism, protection of abnormal child process, while avoiding deadlock phenomenon, operation process is more stable and more abnormal treatment perfect; rational use of memory management mechanism, to reduce memory fragmentation, more efficient use of memory.
【技术实现步骤摘要】
基于Python扩展模块的多进程共享系统及方法
本专利技术涉及进程间数据共享
,具体涉及一种基于Python扩展模块的多进程共享系统及方法。
技术介绍
在Python开发环境中,进程间的交互往往需要共享数据,同时可能存在数据内容的频繁更新。multiprocessing是Python支持多进程管理的程序包,利用multiprocessing的Value,Array,Manager等结构方法能够创建共享的对象,多个进程访问该对象实现数据的共享。multiprocessing提供多种方法对象实现进程间的数据共享。Manager采用代理与服务器的模式,由manager对象控制服务端进程,该进程包含的Python对象可以被其他进程通过代理的方式访问,实现进程间的数据共享。Value和Array是另一种简单对象,主进程创建对象的实例,并将数据存储在映射的共享内存中,通过参数传递的方式供其他进程使用。以上描述的multiprocessing技术方案存在的主要缺点是:1、Value结构为单个数据的共享,不能满足复杂的表结构共享,而Array结构仅允许使用索引访问共享的数据且个数固定,功能上受到很大的限制;2、multiprocessing.Manager本身设计为代理与服务器模式,共享数据的性能较差,测试发现在manager中使用Dict对象更新100万的数据,耗时超过24秒。同时manager对象控制的服务器进程缺少健壮的异常处理机制,容易产生异常子进程。
技术实现思路
本专利技术克服了现有技术的不足,提供一种基于Python扩展模块的多进程共享系统及方法。为解决上 ...
【技术保护点】
一种基于Python扩展模块的多进程共享方法,其特征在于:所述的方法包括以下步骤:步骤一、初始化全局管理器并解析输入参数;步骤二、分配指定名称和大小的共享内存,且所述名称具有唯一性;若已经存在,则执行步骤4,若不存在,则分配固定大小的内存空间;步骤三、初始化slab内存管理器,构建红黑树,并返回创建Python扩展对象;步骤四、调用功能方法,分析处理后返回PyObject对象。
【技术特征摘要】
1.一种基于Python扩展模块的多进程共享方法,其特征在于:所述的方法包括以下步骤:步骤一、初始化全局管理器并解析输入参数;步骤二、分配指定名称和大小的共享内存,且所述名称具有唯一性;若已经存在,则执行步骤4,若不存在,则分配固定大小的内存空间;步骤三、初始化slab内存管理器,构建红黑树,并返回创建Python扩展对象;步骤四、调用功能方法,分析处理后返回PyObject对象。2.根据权利要求1所述的Python扩展模块的多进程共享方法,其特征在于所述的步骤一包括类型、成员及方法的注册,以及模块名称、内存大小的参数解析。3.根据权利要求1所述的Python扩展模块的多进程共享方法,其特征在于所述的步骤四中所述调用功能方法包括添加,更新,删除操作。4.一种...
【专利技术属性】
技术研发人员:肖尧,孙云松,
申请(专利权)人:四川长虹电器股份有限公司,
类型:发明
国别省市:四川,51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。