一种面向大规模安全监控的参数通信方法技术

本发明专利技术公开了一种面向大规模安全监控的参数通信方法。本发明专利技术首先利用监控图片作为数据集，采用多节点集群组成参数服务器系统，其中一个节点作为参数服务器，其他节点作为计算节点。其次部署性能监控模型，参数服务器通过性能监控模块获取计算节点的性能参数。然后参数服务器以收集到的性能参数为依据，使用性能聚类算法计算出参数服务器下次同步计算节点的数量。最后计算节点根据同步标记选择全局模型或本地模型进入下一次迭代训练。本发明专利技术动态限制参数服务器的同步屏障规模，减少了同步通信开销，并且保证了模型训练的准确率；在计算节点间实现了有限异步计算，充分发挥了集群整体性能，实现集群动态负载均衡。

A parameter communication method for large-scale security monitoring

【技术实现步骤摘要】
一种面向大规模安全监控的参数通信方法
本专利技术属于分布式机器学习加速
，具体是一种面向大规模安全监控的参数通信方法。
技术介绍
智慧城市是城市现代化和信息化发展的必然趋势。智慧城市在支持社会经济发展，创新经济发展模式，提高城市功能质量，保障和改善民生方面发挥着积极作用。安全监控作为城市大数据的重要基础资源，提供了大量的图像信息。随着互联网时代的发展与科技的进步，数据的量级已从TB级别转向PB量级，并且正向ZB量级转变，传统机器学习方法面临着海量数据的严峻挑战。将传统机器学习方法分布化，以适应日趋庞大的数据规模成为学术界及工业界研究的热点。本专利技术主要关注迭代收敛算法，这类算法是数值分析中从一个初始估计出发，寻找一系列近似解来解决问题的方法。迭代收敛算法的分布式实现通常遵循整体同步并行(BulkSynchronousParallel)方法，在此方法中，每个计算进程对前一次迭代生成的全局模型本地副本进行相同的迭代，每次迭代结束后，各计算进程进入同步屏障进行同步，这可能会显着降低这些算法的性能，因为每次迭代的时间始终由性能最差的计算本文档来自技高网...

【技术保护点】
1.一种面向大规模安全监控的参数通信方法，其特征在于该方法包括如下步骤：/n步骤1：利用监控图片作为数据集，采用多节点集群组成参数服务器系统，其中一个节点作为参数服务器，其他节点作为计算节点；/n所述的参数服务器采用多线程的方式实现，线程按其功能分为三类：/n通信线程：有多个，每个通信线程对应一个计算节点，用于维持参数服务器与计算节点之间的通信；/n参数聚合线程，有一个，作为参数更新管理器，用于处理全局模型参数的更新；/n性能监控线程，有一个，作为计算节点性能监控器，用于实时监控计算节点的性能动态变化；/n步骤2：部署性能监控模块：在参数服务器和计算节点上实现基于MPI通信的性能监控线程，实现...

【技术特征摘要】
1.一种面向大规模安全监控的参数通信方法，其特征在于该方法包括如下步骤：
步骤1：利用监控图片作为数据集，采用多节点集群组成参数服务器系统，其中一个节点作为参数服务器，其他节点作为计算节点；
所述的参数服务器采用多线程的方式实现，线程按其功能分为三类：
通信线程：有多个，每个通信线程对应一个计算节点，用于维持参数服务器与计算节点之间的通信；
参数聚合线程，有一个，作为参数更新管理器，用于处理全局模型参数的更新；
性能监控线程，有一个，作为计算节点性能监控器，用于实时监控计算节点的性能动态变化；
步骤2：部署性能监控模...

【专利技术属性】
技术研发人员：张纪林，阳瑞，袁俊峰，陈军相，万健，张俊聪，魏振国，
申请(专利权)人：杭州电子科技大学，杭州电子科技大学舟山同博海洋电子信息研究院有限公司，浙江曙光信息技术有限公司，
类型：发明
国别省市：浙江;33