【技术实现步骤摘要】
一种基于群体智能的群智竞赛平台框架系统及方法
本专利技术涉及一种基于群体智能的群智竞赛平台框架系统及方法,属于计算机网络传输和机器学习
技术背景目前,传统的机器学习竞赛平台框架系统功能单一、流程简单,并不能充分组合释放人工智能,其过程如下:首先由举办方公开已有数据集并颁布比赛规则,竞赛参与者基于竞赛举办者指定的比赛任务及数据集开始分析数据、设计算法,最终利用私有计算资源完成模型训练并将训练好的模型或者数据结果向竞赛平台提交,竞赛发布者利用测试集并根据预期评分标准制定的评分器对参与者的提交答案给出评价反馈,竞赛参与者根据反馈结果进行算法调优,之后再次提交运行,整个过程直至比赛结束举办者根据评分标准公布选手的成绩排名。这种传统意义上的群智竞赛举办过程并没有充分利用群智资源,并没有体现出交互式机器学习的概念,其更多地是关注个人的提交结果,其最终得到的所谓“最优”模型,只是参与者提交的众多模型中表现最好的一个,而非基于数据集所能训练出来的最好模型。同时,就群智平台的现状而言,竞赛者已标注的数据毕竟有限,与海量未标 ...
【技术保护点】
1.一种基于群体智能的群智竞赛平台框架系统,其特征在于,包括:在服务器端布置数据标注平台接入模块、群智社区接入模块、交互式训练空间模块;整个系统以Web页面形式呈献给用户进行交互;/n数据标注平台接入模块:以RestfulAPI协议作为通信方式,从交互式训练空间模块接收用户提出的数据标注请求,通过主动学习策略动态选择标注实例,优先选择最有信息量的价值实例进行标注,将标注完成的数据输出至交互式训练空间模块;/n群智社区接入模块:为基于手机微信的群智竞赛平台辅助模块,部署在一台独立的服务器上实现竞赛发布者、竞赛选手间相互的交流沟通功能,同时永久保存竞赛发布者发布的文字信息、文件 ...
【技术特征摘要】
1.一种基于群体智能的群智竞赛平台框架系统,其特征在于,包括:在服务器端布置数据标注平台接入模块、群智社区接入模块、交互式训练空间模块;整个系统以Web页面形式呈献给用户进行交互;
数据标注平台接入模块:以RestfulAPI协议作为通信方式,从交互式训练空间模块接收用户提出的数据标注请求,通过主动学习策略动态选择标注实例,优先选择最有信息量的价值实例进行标注,将标注完成的数据输出至交互式训练空间模块;
群智社区接入模块:为基于手机微信的群智竞赛平台辅助模块,部署在一台独立的服务器上实现竞赛发布者、竞赛选手间相互的交流沟通功能,同时永久保存竞赛发布者发布的文字信息、文件信息和分享链接信息;通过itchat框架实现微信端与服务器端双向同步通讯,将最终的信息发往服务器端;通过Django框架将信息最终呈现到竞赛平台的指定位置;群智社区接入模块通过交互式训练空间模块,实时获取交互式训练空间模块中的模型训练日志、模型训练结果及选手在群智竞赛平台上发布的各项信息,将各项信息及时同步到选手的微信账号中;
交互式训练空间模块:为在线模型的训练模块,采用Docker技术实现对多编程语言、多函数依赖的广泛兼容,并以Docker方式部署线上模型训练环境,接收参赛选手提交的不同模型,基于服务器集群资源对不同模型进行线上训练;同时,结合主动学习方法,对海量未标注数据进行数据标注选择,将选择后的结果发往数据标注平台模块进行标注,同时接收数据标注平台模块标注后的返回结果,继续对所述不同模型进行线上训练,不断调优,最终达到符合上传者的预期。
2.根据权利要求1所述的基于群体智能的群智竞赛平台框架系统,其特征在于,数据标注平台接入模块实现过程如下:
(1)以RestfulAPI协议作为通信方式,完成交互式训练空间模块与数据标注平台接入模块的双向通信,一方面实现派发标注任务,即根据所获得的标注任务,通过标注策略将标注任务派发给标注方,其中标注策略通常为随机派发策略,即根据标注方的标注能力随机派发特定的标注任务;另一方面实现完成标注任务回传,即完成标注任务后,通过即时回传和统一回传两种方式将标注结果回传,即时回传是每完成一定批次的标注任务后以RestfulAPI的形式向交互式训练空间模块发送标注好的结果,支持交互式训练空间中的模型即时快速迭代;统一回传根据标注方的需求标注完特定量的标注任务后,直接将结果以文件形式返回给标注方;
(2)基于主动学习策略优先派发最有信息量的价值实例,接收从交互式模型训练空间模块发来的数据标注请求,优先派发主动学习选择的最有信息量的价值实例给标注方。
3.根据权利要求1所述的基于群体智能的群智竞赛平台框架系统,其特征在于,所述群智社区接入模块实现过程如下:
(1)通过itchat框架实现微信端与服务器端的双向同步通讯,一方面,从交互式训练空间模块获取信息同步至微信端,调用itchat库的auto_login函数生成微信登录二维码,竞赛举办者扫码登录微信账号,竞赛举办者在平台端发布的文字形式、文件形式、分享链接形式的信息,信息将被封装为json形式字段通过itchat库同步至微信端,方便竞赛举办者与选手进行即时交流;另一方面,从微信端同步消息至服务器端,通过在一台通讯服务器上启动群聊消息抓取程序实时获取群聊消息,根据消息类型生成数据记录并存入数据库,实现微信端消息抓取;
(2)基于Django框架完成信息存储及呈现,通过Django框架管理的postgreSQL数据库可永久保存微信端与服务器端同步的所有信息,方便选手随时查阅;在交互式训练空间模块的前端页面进行消息可视化展示时要先从数据库中查询得到相应的微信群聊消息数据,然后根据模板文件将数据信息渲染,最终以可视化的形式展示在页面上,对于交互式训练空间模块的消息可视化展示采用JavaScript与HTML语言编译开发,使用semantic-ui前端开发框架进行页面布局。
4.根据权利要求1所述的基于群体智能的群智竞赛平台框架系统,其特征在于,所述交互式训练空间模块实现过程如下:
(1)基于Docker技术实现交互式训练空间模块的搭建,模型训练空间的搭建利用DockerHub公共仓库,它既支持竞赛举办者根据实际需求选择现有Docker镜像,又支持竞赛参与者根据自身需求定制并上传特定Docker镜像;竞赛举办者可从DockerHub公共仓库中...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。