一种适用于指导关联算法并行化的分析方法、系统及装置制造方法及图纸

技术编号:17516412 阅读:42 留言:0更新日期:2018-03-21 01:01
本发明专利技术公开了一种适用于指导关联算法并行化的分析方法、系统及装置,方法包括:根据预设的SDGOT模型优化原则,对关联算法进行并行化优化处理,得到并行计算模型;对优化后的并行计算模型进行并行计算,并进行并行化迭代优化,得到并行化算法模型;对并行化算法模型进行性能分析。本发明专利技术利用优化设计的SDGOT模型提供的时间成本函数对并行架构内部开销如数据加载、任务排队和数据通信开销进行形式化描述,弥补了以往分析并行算法时不能量化这几类开销的不足,解决了算法在并行计算过程中的并行架构内部开销的量化问题。本发明专利技术可广泛应用于并行分析技术中。

An analytical method, system and device for the parallelization of the Guidance Association Algorithm

【技术实现步骤摘要】
一种适用于指导关联算法并行化的分析方法、系统及装置
本专利技术涉及并行分析
,尤其涉及一种适用于指导关联算法并行化的分析方法、系统及装置。
技术介绍
现有的DOT模型的不足之处在于:(1)假设资源是无限的,缺乏现实意义,没有对运行时间成本等进行说明;(2)没有对全局访问数据做矩阵形式化描述;而P-DOT模型的不足之处在于:(a)在时间成本描述上没有考虑因处理器有限带来的任务排队开销;(b)在迭代算法计算过程中的计算节点作为资源调整单位粒度过大,且不够实时灵活。现在的关联算法并行化缺乏指导模型,且缺乏并行架构内部开销的形式化描述和分析,即网络通信开销、数据及任务加载开销等。
技术实现思路
为了解决上述技术问题,本专利技术的目的是提供一种描述更全面,适用于指导关联算法并行化的分析方法、系统及装置。本专利技术所采取的技术方案是:一种适用于指导关联算法并行化的分析方法,包括以下步骤:根据预设的SDGOT模型优化原则,对关联算法进行并行化优化处理,得到并行计算模型;对优化后的并行计算模型进行并行计算,并进行并行化迭代优化,得到并行化算法模型;对并行化算法模型进行性能分析。作为所述的一种适用于本文档来自技高网...
一种适用于指导关联算法并行化的分析方法、系统及装置

【技术保护点】
一种适用于指导关联算法并行化的分析方法,其特征在于,包括以下步骤:根据预设的SDGOT模型优化原则,对关联算法进行并行化优化处理,得到并行计算模型;对优化后的并行计算模型进行并行计算,并进行并行化迭代优化,得到并行化算法模型;对并行化算法模型进行性能分析。

【技术特征摘要】
1.一种适用于指导关联算法并行化的分析方法,其特征在于,包括以下步骤:根据预设的SDGOT模型优化原则,对关联算法进行并行化优化处理,得到并行计算模型;对优化后的并行计算模型进行并行计算,并进行并行化迭代优化,得到并行化算法模型;对并行化算法模型进行性能分析。2.根据权利要求1所述的一种适用于指导关联算法并行化的分析方法,其特征在于,还包括以下步骤:根据性能分析的结果,判断其是否满足预设的要求,若是,则不再进行优化计算;反之,则再次对并行化算法模型进行迭代优化。3.根据权利要求1所述的一种适用于指导关联算法并行化的分析方法,其特征在于:所述的根据预设的SDGOT模型优化原则,对关联算法进行并行化优化处理,这一步骤具体包括:根据预设的SDGOT模型优化原则的矩阵表达形式,判断关联算法中是否有不必要的数据扫描或重复操作,若是,则按照DOT模型所给策略进行合并;判断关联算法中是否存在迭代场景,若是,则按照P-DOT模型所给的策略,对不同迭代阶段的问题规模,动态调整分区数目;判断关联算法中是否存在全局访问数据,若是,则根据数据大小或计算复杂度对其进行分布式缓存或广播操作,得到并行计算模型。4.根据权利要求3所述的一种适用于指导关联算法并行化的分析方法,其特征在于:所述的对并行化算法模型进行性能分析,这一步骤具体包括:根据并行化算法模型,计算总计算复杂度和总通信复杂度;根据总计算复杂度和总通信复杂度,计算得到时间成本函数;根据时间成本函数,计算模型效率、问题规模和额外开销时间。5.根据权利要求4所述的一种适用于指导关联算法并行化的分析方法,其特征在于:进行分布式缓存后得到的并行计算模型为:进行广播操作后得到的并行计算模型为:其中,Gi(i=1,2,...,n)表示分布式缓存,Gg表示全局只读变量,矩阵D[D1D2...Dn]表示n个工作节点中的分区数据,矩阵O表示n个工作节点执行并发操作,矩阵和表示并行数据传输矩阵,tm,n表示第n个节点第m个分区的数据,tm表示第m个分区的数据。6.根据权利要求5所述的一种适用于指导关联算法并行化的...

【专利技术属性】
技术研发人员:赵淦森张海明王欣明庄序填蔡斯凯李振宇李胜龙林成创唐华庞雄文
申请(专利权)人:华南师范大学广东蔚海数问大数据科技有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1