使用神经网络的黑盒优化制造技术

技术编号:39933252 阅读:23 留言:0更新日期:2024-01-08 21:59
本公开涉及使用神经网络的黑盒优化。用于确定机器学习训练过程的一个或多个过程参数的优化设置的方法和系统。方法中的一个包括:使用递归神经网络依照网络参数的第一值来处理当前网络输入以获得当前网络输出;获得使用由当前网络输出所定义的经更新的设置的机器学习训练过程的性能的量度;以及生成新网络输入,所述新网络输入包括(i)由当前网络输出所定义的经更新的设置以及(ii)使用由当前网络输出所定义的经更新的设置的训练过程的性能的量度。

【技术实现步骤摘要】

本说明书涉及使用神经网络来确定用于机器学习训练过程的过程参数的优化设置。


技术介绍

1、神经网络是采用一个或多个层的非线性单元来针对接收到的输入预测输出的机器学习模型。一些神经网络除了包括输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一个层的输入,所述下一个层即下一个隐藏层或输出层。网络的每个层依照相应的参数集的当前值根据接收到的输入生成输出。

2、一些神经网络是递归神经网络。递归神经网络是接收输入序列并根据该输入序列生成输出序列的神经网络。特别地,递归神经网络可在计算当前时间步的输出时使用来自前一个时间步的网络的内部状态中的一些或全部。递归神经网络的示例是长期短期(lstm)神经网络,所述长期短期(lstm)神经网络包括一个或多个lstm记忆块。每个lstm记忆块可包括一个或多个单元,所述单元均包括允许单元存储该单元的先前状态例如以用于在生成当前激活或者被提供给lstm神经网络的其它组件的输入门、遗忘门和输出门。


技术实现思路

1、本说明书描述过程参数优化系统如何可确定机器学本文档来自技高网...

【技术保护点】

1.一种用于确定机器学习训练过程的一个或多个过程参数的优化设置的系统,所述机器学习训练过程被用于训练机器学习模型以执行机器学习任务,所述机器学习任务包括图像处理任务、语音辨识任务、序列转导任务和机器翻译任务中的一个或多个,所述系统包括一个或多个计算机和存储指令的一个或多个存储设备,所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机实现递归神经网络、子系统和多个工作器计算单元,其中:

2.根据权利要求1所述的系统,其中,所述一个或多个过程参数包括用于所述机器学习训练过程的一个或多个超参数。

3.根据权利要求1所述的系统,其中,所述一个或多个过程参数包括正在...

【技术特征摘要】

1.一种用于确定机器学习训练过程的一个或多个过程参数的优化设置的系统,所述机器学习训练过程被用于训练机器学习模型以执行机器学习任务,所述机器学习任务包括图像处理任务、语音辨识任务、序列转导任务和机器翻译任务中的一个或多个,所述系统包括一个或多个计算机和存储指令的一个或多个存储设备,所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机实现递归神经网络、子系统和多个工作器计算单元,其中:

2.根据权利要求1所述的系统,其中,所述一个或多个过程参数包括用于所述机器学习训练过程的一个或多个超参数。

3.根据权利要求1所述的系统,其中,所述一个或多个过程参数包括正在使用所述机器学习训练过程来训练的所述机器学习模...

【专利技术属性】
技术研发人员:若昂·费迪南多·戈梅斯·德弗雷塔斯陈御天
申请(专利权)人:渊慧科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1