【技术实现步骤摘要】
【国外来华专利技术】基于声音反馈的认知的和偶然的深度可塑性
本公开一般涉及深度学习，并且更具体地涉及在训练人工神经网络时模拟不确定性，以便预测神经网络在以后的真实世界应用期间在不确定性中产生准确结果的能力。
技术介绍
深度学习是基于算法集合的机器学习的分支，该算法集合试图通过使用由多个非线性变换组成的人工神经网络架构来对数据中的高级抽象进行建模。这种机器学习可以是监督的或无监督的。深度学习架构已经被应用于诸如例如音频识别、计算机视觉、语音识别和自然语言处理之类的领域，其中这些架构已经产生了与人类专家相当的结果，并且在一些情况下优于人类专家。深度学习使用多个处理节点层的级联来进行特征提取和变换。每个连续的节点层使用来自前一节点层的输出作为输入。深度架构被组织为图(graph)。图中的节点由边或链路连接，以将在源处计算的激活传播到目的地节点。每条边具有确定连接的相对强度和符号的权重，并且每个节点将激活函数应用于传入激活的所有加权和。例如，激活函数被给定为硬阈值、S形函数或双曲正切。这种深度架构通过考虑示例而渐进地学习并提高任务的性能，通常没有特定任务的编程。例如，在音频识别中，这些深度架构可以通过分析已经被手动标记为“恐慌”或“无恐慌”的声音样本并且使用结果来标识其他声音输入中的恐慌人群，来学习标识指示人群中的恐慌的声音。这些深度架构能够在没有关于人群的任何先验知识的情况下做到这一点。相反，这些深度架构从它们处理的训练数据中演化它们自己的相关特性集合。然而，由于测量误差或不考虑当前模型所不知道的内容，当前的深度架构模型在现实...
【技术保护点】
1.一种用于模拟人工神经网络中的不确定性的计算机实现的方法，所述计算机实现的方法包括：/n由计算机通过在所述人工神经网络的输出数据的反向传播期间将随机值添加到所述人工神经网络中的节点之间的边权重、并且测量向所述节点之间的所述边权重添加的所述随机值对所述输出数据的影响，来模拟偶然不确定性，以测量所述人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容；/n由所述计算机通过在所述传感器数据的前向传播期间从所述人工神经网络的每个相应层中丢弃所选择的节点并且测量丢弃的节点对所述人工神经网络的所述输出数据的影响，来模拟认知不确定性，以测量所述人工神经网络不知道的内容；以及/n由所述计算机基于模拟所述偶然不确定性和所述认知不确定性的影响，执行与发送所述传感器数据并且在所述真实世界环境中操作的所述对象相对应的动作。/n
【技术特征摘要】
【国外来华专利技术】20180307 US 15/914,2221.一种用于模拟人工神经网络中的不确定性的计算机实现的方法，所述计算机实现的方法包括：
由计算机通过在所述人工神经网络的输出数据的反向传播期间将随机值添加到所述人工神经网络中的节点之间的边权重、并且测量向所述节点之间的所述边权重添加的所述随机值对所述输出数据的影响，来模拟偶然不确定性，以测量所述人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容；
由所述计算机通过在所述传感器数据的前向传播期间从所述人工神经网络的每个相应层中丢弃所选择的节点并且测量丢弃的节点对所述人工神经网络的所述输出数据的影响，来模拟认知不确定性，以测量所述人工神经网络不知道的内容；以及
由所述计算机基于模拟所述偶然不确定性和所述认知不确定性的影响，执行与发送所述传感器数据并且在所述真实世界环境中操作的所述对象相对应的动作。
2.根据权利要求1所述的计算机实现的方法，还包括：
由所述计算机通过使用对应于所述真实世界环境的所述传感器数据选择将从所述人工神经网络的每一层中被随机丢弃的节点以用于蒙特卡罗丢弃采样；以及
对于所述人工神经网络的每个相应层：
由所述计算机标识对应于特定层的概率密度函数；以及
由所述计算机基于将所述传感器数据的强度水平应用于与所述特定层相对应的所述概率密度函数来选择将从所述特定层被随机丢弃的所述节点。
3.根据权利要求1所述的计算机实现的方法，还包括：
由所述计算机基于模拟所述偶然不确定性和所述认知不确定性来生成所述人工神经网络的输出。
4.根据权利要求1所述的计算机实现的方法，还包括：
由所述计算机使用对应于所述真实世界环境的经标记的传感器数据样本来运行包括多个隐藏层的所述人工神经网络；以及
由所述计算机利用所述人工神经网络的所获得的输出，来基于目标输出与所述所获得的输出之间的增量确定模型误差。
5.根据权利要求4所述的计算机实现的方法，还包括：
由所述计算机将所述人工神经网络的所述所获得的输出输入到与所述多个隐藏层中的每个相应隐藏层相对应的每个不同类型的概率密度函数中，以基于所述所获得的输出在所述真实世界环境中的出现概率来生成节点之间的边权重调整。
6.根据权利要求5所述的计算机实现的方法，还包括：
由所述计算机通过所述人工神经网络反向传播所述模型误差，以基于每个相应节点对所述模型误差的贡献水平来更新所述多个隐藏层中的节点之间的边权重；以及
由所述计算机将所述边权重调整添加到所述多个隐藏层中的每个相应隐藏层中的节点之间的经更新的所述边权重，以模拟所述偶然不确定性。
7.根据权利要求1所述的计算机实现的方法，还包括：
由所述计算机从在所述真实世界环境中操作的所述对象接收所述传感器数据；
由所述计算机确定所述传感器数据的强度水平；以及
由所述计算机确定所述传感器数据的所述强度水平是否大于或等于指示未知事件的发生的强度水平阈值水平。
8.根据权利要求7所述的计算机实现的方法，还包括：
响应于所述计算机确定所述传感器数据的所述强度水平大于或等于指示未知事件的发生的所述强度水平阈值水平，由所述计算机将所述传感器数据输入到包括多个隐藏层的所述人工神经网络中，每个隐藏层包括多个节点；以及
由所述计算机对所述传感器数据执行蒙特卡罗丢弃采样，以确定所述多个隐藏层中的每个相应隐藏层中的哪个节点将被随机丢弃，以模拟所述未知事件。
9.根据权利要求8所述的计算机实现的方法，还包括：
由所述计算机选择所述多个隐藏层中的隐藏层；以及
由所述计算机标识与所述多个隐藏层中的所选择的所述隐藏层相对应的概率密度函数，所述概率密度函数对所述人工神经网络的输出进行建模。
10.根据权利要求9所述的计算机实现的方法，还包括：
由所述计算机基于将所述传感器数据的所述强度水平应用于所标识的所述概率密度函数，来选择将被随机丢弃的所选择的所述隐藏层内的节点；以及
由所述计算机丢弃所选择的所述隐藏层内的所选择的所述节点，以模拟与所述未知事件相关联的认知不确定性。
11.一种用于模拟人工神经网络中的不确定性的计算机系统，所述计算机系统包括：
总线系统；
被连接到所述总线系统的存储设备，其中所述存储设备存储程序指令；以及
处理器，其被连接到所述总线系统，其中所述处理器执行所述程序指令以：
通过在所述人工神经网络的输出数据的反向传播期间将随机值添加到所述人工神经网络中的节点之间的边权重、并且测量向所述节点之间的所述边权重添加的所述随机值对所述输出数据的影响，来模拟偶然不确定性，以测量所述人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容；
通过在所述传感器数据的前向传播期间从所述人工神经网络的每个相应层中丢弃所选择的节点并且测量丢弃的节点对所述人工神经网络的所述输出数据的影响，来模拟认知不确定性，以测量所述人工神经网络不知道的内容；以及
基于模拟所述偶然不确定性和所述认知不确定性的影响，执行与发送所述传感器数据并且在所述真实世界环境中操作的所述对象相对应的动作。
12.根据权利要求11所述的计算机系统，其中所述处理器还执行所述程序指令以：
通过使用对应于所述真实世界环境的所述传感器数据选择将从所述人工神经网络的每一层中被随机丢弃的节点以用于蒙特卡罗丢弃采样；以及
对于所述人工神经网络的每个相应层：
标识对应于特定层的概率密度函数；以及
基于将所述传感器数据的强度水平应用于与所述特定层相对应的所述概率密度函...
【专利技术属性】
技术研发人员：A·鲍曼，S·哈梅，M·福斯特，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。