【技术实现步骤摘要】
本专利技术属于类脑神经网络，具体涉及基于docker容器引擎的类脑大规模神经网络管理系统及方法。
技术介绍
1、近年来，神经网络技术在人工智能领域取得了显著的进步，包括图像识别、自然语言处理、目标检测等方面。大规模神经网络展现出强大的端到端表示能力和非线性函数的无线逼近能力，在多个领域表现出有优异的性能，成为一个重要的发展方向。然而，按照现有的神经网络组织方式，目前的大规模神经网络难以达到人脑生物神经网络连接的规模。人工很久网络构建过程受人脑神经元工作原理启发，一直以来，研究者都尝试构建复杂神经网络模型以模仿大脑功能。但人脑大于1000亿个神经元，每个神经元通过数千甚至上万个神经突触和其他神经元相连接，整个生物神经网络拥有约100万亿连接，人脑生物神经网络的复杂程度远超目前的人工神经网络模型。同时，现有的大规模网络在多通道协同处理、持续学习、知识存储和迁移方面表现不佳。目前的超大规模神经网络往往也是人为预先设计好的，主要解决的是某一个领域内的多个问题，但跨领域泛化问题的能力较弱。例如:bert模型虽然在nlp领域效果较好，但若将其直接应用于其他领域，则效果欠佳。跨领域的超大规模神经网络的应用往往需要对原始模型做进行重构设，而反观我们的人脑，不仅具有极强的持续学习能力，更是拥有解决不同领域问题的能力。此外，大规模神经网络的训练需要消耗巨大的计算资源和时间。例如，gpt3存储需求高达350gb，单次训练成本超过1200万美元，这在很大程度上限制了大规模神经网络的推广和应用。因此，大规模神经网络模型需要一种新的类脑机制指导大规模神经网
2、而且，随着神经网络模型变得越来越复杂，其训练和部署的需求也变得越来越具有挑战性。同时，云计算和分布式计算的兴起，为大规模神经网络的应用提供了更多的计算资源，但有效地管理、部署和扩展这些资源也成为一个重要问题。传统的部署方式可能涉及繁琐的配置、资源浪费和系统维护的问题。此外，大规模神经网络系统的动态资源需求难以有效满足，从而限制了系统的扩展性和灵活性。因此，有必要开发一种能够高效部署和管理大规模神经网络的新型系统，以满足日益增长的智能应用需求。
技术实现思路
1、针对现有技术中的上述不足，本专利技术提供的基于docker容器引擎的类脑大规模神经网络管理系统解决了现有的大规模神经网络管理系统中存在的环境隔离、部署复杂性、依赖管理和扩展性受限的问题。
2、为了达到上述专利技术目的，本专利技术采用的技术方案为：基于docker容器引擎的类脑大规模神经网络管理系统，包括：
3、前端交互模块：用于为用户提供模型请求及展示界面，并将模型请求传输至后端处理模块；
4、后端管理模块：用于处理前端交互模块的模型构建请求并拉取docker容器，并进行模型属性管理；
5、模型构建模块：用于在docker容器引擎的docker容器中组装并训练请求模型，获得模型训练结果；每个训练模型被封装为独立的docker容器，其内部封装有对应的后端应用、数据库以及依赖包；
6、数据存储模块：用于存储和管理系统数据。
7、进一步地，所述后端管理模块包括类脑功能区单元、模型属性管理单元、预训练模型构建单元和模型任务构建单元；
8、其中，类脑功能区单元包括若干不同类脑功能区，用于存储不同类型的神经网络模型；
9、模型属性管理单元用于对训练模型的属性进行拆分并分别存储；
10、预训练模型构建单元用于根据请求模型的属性构建对应预训练模型；
11、模型任务构建单元用于创建请求模型生成任务并拉取docker容器。
12、进一步地，所述前端交互模块通过ajax与后端管理模块通信；
13、所述后端管理模块采用spring boot作为编程框架，所述后端管理模块中集成有lombok；
14、所述数据存储模块为mysql数据库，所述mysql数据库将mybatis作为持久层框架，通过编写sql映射文件描述java对象与数据库表的映射关系。
15、进一步地，所述系统还包括文档生成模块，所述文档生成模块采用swagger生成api文档，并提供查看和调试的api接口。
16、一种类脑大规模神经网络管理方法，包括以下步骤：
17、s1、在后端管理模块中，预先上传并存储神经网络模型的不同属性；
18、s2、在前端交互模块中录入请求模型的基础信息；
19、s3、在后端管理模块中，根据录入的基础信息选择对应不同属性构建神经网络模型任务；
20、s4、根据神经网络模型任务，在在docker容器中组装并训练请求模型，获得模型训练结果并存入预训练模型；
21、s5、将模型训练结果在前端交互模块中展示，实现神经网络管理。
22、进一步地，所述步骤s2中，请求模型的基础信息包括任务名称、任务对应功能分区、任务类型、任务日志名称、任务创建信息以及任务更新时间。
23、进一步地，所述步骤s3中，构建神经网络模型任务包括选择模型属性构建预训练模型和构建运行环境；
24、其中，选择的模型属性包括网络模型名称、优化器、数据集和评价指标；
25、构建运行环境包括选择镜像、创建docker容器以及安装依赖包。
26、进一步地，所述步骤s3中，构建的神经网络模型包括父任务；
27、所述父任务对应的任务生成方法为：
28、a1、根据请求任务的基础信息选择模型属性构建对应的预训练模型，生成python命令；
29、a2、选择预训练模型的依赖包及镜像，构建任务容器；
30、a3、在任务容器中运行python命令，完成模型组装及训练任务，获得模型训练结果；
31、a4、将模型训练结果对应的父子任务信息及生成的运行监控日志存储；
32、其中，运行监控日志内的信息包括训练阶段信息、验证阶段信息、测试结果、期望时间和实际时间。
33、进一步地，构建的神经网络模型还包括父任务对应的子任务；
34、所述子任务对应的任务生成方法具体为：
35、b1、生成子任务的python命令；
36、b2、在子任务所属父任务的任务容器中运行子任务的python命令；
37、b3、在任务容器中运行python命令，完成模型组装及训练任务，获得模型训练结果；
38、b4、将模型训练结果对应的父子任务信息及生成的运行监控日志存储；
39、其中，运行监控日志内的信息包括训练阶段信息、验证阶段信息、测试结果、期望时间和实际时间。
40、进一步地，所述步骤a2中依赖包包括创建的docker容器、模型运行环境以及运行监控日志；其中，docker容器包括内外映射目录、构建日志目录、运行日志目录以及预训练目录。
41、本文档来自技高网...
【技术保护点】
1.基于Docker容器引擎的类脑大规模神经网络管理系统，其特征在于，包括：
2.根据权利要求1所述的基于Docker容器引擎的类脑大规模神经网络管理系统，其特征在于，所述后端管理模块包括类脑功能区单元、模型属性管理单元、预训练模型构建单元和模型任务构建单元；
3.根据权利要求1所述的基于Docker容器引擎的类脑大规模神经网络管理系统，其特征在于，所述前端交互模块通过Ajax与后端管理模块通信；
4.根据权利要求1所述的基于Docker容器引擎的类脑大规模神经网络管理系统，其特征在于，所述系统还包括文档生成模块，所述文档生成模块采用Swagger生成API文档，并提供查看和调试的API接口。
5.一种基于权利要求1～4任一项权利要求所述的基于Docker容器引擎的类脑大规模神经网络管理系统的类脑大规模神经网络管理方法，其特征在于，包括以下步骤：
6.根据权利要求5所述的类脑大规模神经网络管理方法，其特征在于，所述步骤S2中，请求模型的基础信息包括任务名称、任务对应功能分区、任务类型、任务日志名称、任务创建信息以及任务更
7.根据权利要求5所述的类脑大规模神经网络管理方法，其特征在于，所述步骤S3中，构建神经网络模型任务包括选择模型属性构建预训练模型和构建运行环境；
8.根据权利要求7所述的类脑大规模神经网络管理方法，其特征在于，所述步骤S3中，构建的神经网络模型包括父任务；
9.根据权利要求8所述的类脑大规模神经网络管理方法，其特征在于，构建的神经网络模型还包括父任务对应的子任务；
10.根据权利要求8所述的类脑大规模神经网络管理方法，其特征在于，所述步骤A2中依赖包包括创建的Docker容器、模型运行环境以及运行监控日志；其中，Docker容器包括内外映射目录、构建日志目录、运行日志目录以及预训练目录。
...【技术特征摘要】
1.基于docker容器引擎的类脑大规模神经网络管理系统，其特征在于，包括：
2.根据权利要求1所述的基于docker容器引擎的类脑大规模神经网络管理系统，其特征在于，所述后端管理模块包括类脑功能区单元、模型属性管理单元、预训练模型构建单元和模型任务构建单元；
3.根据权利要求1所述的基于docker容器引擎的类脑大规模神经网络管理系统，其特征在于，所述前端交互模块通过ajax与后端管理模块通信；
4.根据权利要求1所述的基于docker容器引擎的类脑大规模神经网络管理系统，其特征在于，所述系统还包括文档生成模块，所述文档生成模块采用swagger生成api文档，并提供查看和调试的api接口。
5.一种基于权利要求1～4任一项权利要求所述的基于docker容器引擎的类脑大规模神经网络管理系统的类脑大规模神经网络管理方法，其特征在于，包括以下步骤：
6.根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。