确定用于卷积神经网络的加权的方法和装置制造方法及图纸

一个示例包括将第一加权值发送到第一客户端设备；访问由第一客户端设备提供的更新后的加权值的集合，该更新后的加权值是由第一客户端设备基于以下各项训练相应的第一卷积神经网络(CNN)而生成的：第一加权值；以及在客户端设备处生成的传感器数据；在第二CNN中测试以下各项中的至少一个的性能：更新后的加权值的集合；或者来自更新后的加权值的集合的更新后的加权值的组合；根据以下各项中的至少一个选择服务器同步的加权(SSW)值：更新后的加权值的集合；或者来自更新后的加权值的集合的更新后的加权值的组合；以及将SSW值发送到以下各项中的至少一个：第一客户端设备中的至少一些；或者第二客户端设备。

【技术实现步骤摘要】
【国外来华专利技术】确定用于卷积神经网络的加权的方法和装置
本公开总体上涉及移动计算，并且更具体地涉及确定用于卷积神经网络的加权的方法和装置。
技术介绍
手持移动计算设备(例如，蜂窝电话和手持媒体设备)、其他类型的计算设备(例如，平板计算设备和膝上型计算机)通常配备有相机。用户操作这种相机以捕获数字图像和视频。计算设备有时还配备有其他类型的传感器，包括用于捕获数字音频录音的麦克风。可以将数字图像和视频以及数字音频录音本地地存储在计算设备的存储器中，或者可以将它们通过诸如互联网之类的公共网络或通过专用网络发送到网络可访问的存储位置。在任何情况下，这些数字图像和视频以及数字音频可以由这些图像和视频的创建者或具有访问特权的其他人随后访问。附图说明图1A示出了以移动相机的形式的示例客户端设备。图1B示出了能够执行图6的机器可读指令以实现图1A、图1B和图2的移动相机和/或图1A和图1B的VPU从而生成用于对应的CNN的调整后的加权的示例硬件平台。图2示出了与对应的移动相机和云系统进行无线通信的以移动电话主机设备的形式的示例客户端设备。图3示出了图1A、图1B和图2的移动相机的示例实现方式，该移动相机可以用于训练对应的卷积神经网络(CNN)并生成更新后的加权值以用于CNN的特征识别过程来基于传感器数据标识特征。图4示出了图2的服务器同步的加权生成器的示例实现方式，该服务器同步的加权生成器可以在图2的云系统的服务器中实现，以生成用于图1A、图1B和图2的移动相机的CNN中的服务器同步的加权。<br>图5示出了表示示例机器可读指令的流程图，该示例机器可读指令可以被执行以实现图2和图4的服务器同步的加权生成器，以生成用于图1A、图1B、图2和图3的移动相机的CNN中的服务器同步的加权。图6是表示示例机器可读指令的流程图，该示例机器可读指令可以被执行以实现图1A、图1B、图2和图3的移动相机和/或图1A和图1B的VPU从而生成用于对应的CNN的更新后的加权。图7是处理器平台，该处理器平台能够执行图5的机器可读指令以实现图2和图4的服务器同步的加权生成器，从而生成用于图1A、图1B、图2和图3的移动相机的CNN中的服务器同步的加权。附图未按比例绘制。相反，为了清楚起见，在附图中可以放大不同的示出的方面。通常，在整个附图和随附的书面描述中将使用相同的附图标记来指代相同或类似的部分。具体实施方式本文公开的示例方法和装置在基于云的系统中生成并提供用于客户端设备中的卷积神经网络(CNN)的CNN加权。结合被实现为移动相机的客户端设备来描述本文公开的示例，该移动相机可以用于监督监视、生产力、娱乐和/或辅助用户日常活动的技术(例如，辅助技术)。示例移动相机监视环境特性以标识在这种环境特性中感兴趣的特征。由这样的移动相机监视的示例环境特性包括视觉特性、音频特性和/或运动特性。为了监视这样的环境特性，本文公开的示例移动相机设置有多个传感器。示例传感器包括相机、麦克风和/或运动检测器。在不脱离本公开的范围的情况下，也可以提供用于监视其他类型的环境特性的其他类型的传感器。在特征识别过程中使用卷积神经网络(或CNN)来识别不同类型的数据中的特征。例如，CNN的结构包括多个神经元(例如，节点)，这些神经元以用于过滤输入数据的配置布置和/或彼此连接。通过使用神经元在输入数据传播通过CNN时应用这种过滤，CNN可以生成一个或多个概率值，该概率值指示一个或多个特征存在于输入数据中的可能性。例如，CNN可以产生输入图像数据包括狗的1.1％的概率、输入图像数据包括猫的2.3％的概率以及输入图像数据包括人的96.6％的概率。以这种方式，设备或计算机可以使用概率值来确认具有一个或多个最高概率的一个或多个特征存在于输入数据中。CNN应用的过滤基于CNN网络加权。如本文中所使用的，CNN网络加权是系数值，这些系数值被存储、加载或以其他方式提供给CNN以供CNN的神经元使用来对输入数据执行卷积以识别输入数据中的特征。通过改变CNN网络加权的值，CNN对输入数据执行的卷积会导致不同类型的过滤。因此，这种卷积对检测输入数据中的期望特征的过滤质量或有用性是基于用于CNN网络加权的值的。例如，可以通过测试不同的CNN网络加权值并调整这种加权值以增加与数据中特定特征的存在相对应的生成概率的准确度，来训练CNN以检测或识别数据中的特征。当找到令人满意的加权值时，可以将加权值加载到CNN中以用于分析随后的输入数据。可以不时地对CNN进行重新训练，以调整或完善CNN网络加权值，以便在不同的环境条件下使用、用于不同质量的数据和/或用于识别不同的或附加的特征。本文公开的示例可以用于生成和/或调整CNN网络加权，以结合要由CNN分析以进行特征识别的任何类型的输入数据使用。示例输入数据包括由传感器(例如，相机(例如，图像或视频)、麦克风(例如，音频数据、声压数据等)、运动传感器(例如，运动数据)、温度传感器(例如，温度数据)、压力传感器(例如，大气压数据)、湿度传感器(例如，湿度数据)、雷达(例如，雷达数据)、辐射传感器(例如，辐射数据)、射频(RF)传感器(例如，RF数据)等)生成的传感器数据。其他示例输入数据可以是计算机生成的数据和/或计算机收集的数据。例如，可以采用本文公开的示例来生成和/或调整CNN网络加权，以对大量收集和/或生成的数据执行基于CNN的特征识别，以在诸如销售、互联网业务、媒体观看、天气预报、金融市场绩效分析、投资分析、传染病趋势之类的领域中和/或可以通过分析相关数据来检测特征、趋势或事件的任何其他领域中标识过去事件、当前事件或未来事件中的模式或特征。本文公开的示例通过从多个客户端设备收集大量设备生成的CNN网络加权，并结合使用所收集的CNN网络加权来在云服务器或可以访问设备生成的CNN网络加权的其他远程计算设备处生成改进的CNN网络加权的集合，来实现众包或联邦学习。例如，云服务器或其他远程计算设备可以通过使用由多个客户端设备生成的完善或调整后的CNN网络加权(例如，调整后的加权)，以众包或联邦学习的方式利用基于客户端的学习。即，随着客户端设备重新训练其CNN以优化其基于CNN的特征识别能力，这种重新训练导致设备生成的调整后的CNN网络加权随时间的推移而改进，从而实现更准确的特征识别。在本文公开的示例中，云服务器从客户端设备收集这种设备生成的调整后的CNN网络加权，并且使用设备生成的调整后的CNN网络加权来生成改进的CNN网络加权，云服务器可以将该改进的CNN网络加权发送到相同或不同客户端设备以增强这些客户端设备的特征识别能力。在云服务器或其他远程计算设备处生成的这种CNN网络加权在本文中称为服务器同步的CNN网络加权(例如，服务器同步的加权、服务器同步的加权值)。通过向多个客户端设备发送(例如，广播，多播等)服务器同步的加权，本文公开的示例可以用于通过利用由其他客户端设备执行的CNN学习或CNN训练来改进某些客户端设备的特征识别过程。这对于克服尚未适当地训练的客户端设备或首次投入使用并因此没有本文档来自技高网...

【技术保护点】
1.一种提供用于卷积神经网络的加权的装置，所述装置包括：/n通信接口，其用于：/n经由网络将第一加权值发送到第一客户端设备；以及/n访问由所述第一客户端设备经由所述网络提供的更新后的加权值的集合，所述更新后的加权值是由所述第一客户端设备基于以下各项训练相应的第一卷积神经网络而生成的：(a)所述第一加权值；以及/n(b)在所述第一客户端设备处生成的传感器数据；/n测试器，其用于在第二卷积神经网络中测试以下各项中的至少一个的性能：(a)所述更新后的加权值的集合；或者(b)来自所述更新后的加权值的集合的更新后的加权值的组合；/n分发选择器，其用于基于测试，根据以下各项中的至少一个选择服务器同步的加权值：(a)所述更新后的加权值的集合；或者(b)来自所述更新后的加权值的集合的所述更新后的加权值的组合；以及/n所述通信接口用于将所述服务器同步的加权值发送到以下各项中的至少一个：(a)所述第一客户端设备中的至少一些；或者(b)第二客户端设备。/n

【技术特征摘要】
【国外来华专利技术】20180307 US 15/914,8541.一种提供用于卷积神经网络的加权的装置，所述装置包括：
通信接口，其用于：
经由网络将第一加权值发送到第一客户端设备；以及
访问由所述第一客户端设备经由所述网络提供的更新后的加权值的集合，所述更新后的加权值是由所述第一客户端设备基于以下各项训练相应的第一卷积神经网络而生成的：(a)所述第一加权值；以及
(b)在所述第一客户端设备处生成的传感器数据；
测试器，其用于在第二卷积神经网络中测试以下各项中的至少一个的性能：(a)所述更新后的加权值的集合；或者(b)来自所述更新后的加权值的集合的更新后的加权值的组合；
分发选择器，其用于基于测试，根据以下各项中的至少一个选择服务器同步的加权值：(a)所述更新后的加权值的集合；或者(b)来自所述更新后的加权值的集合的所述更新后的加权值的组合；以及
所述通信接口用于将所述服务器同步的加权值发送到以下各项中的至少一个：(a)所述第一客户端设备中的至少一些；或者(b)第二客户端设备。


2.根据权利要求1所述的装置，还包括：卷积神经网络配置器，其用于配置所述第二卷积神经网络的结构，并且所述通信接口用于将所述第二卷积神经网络的至少一部分发送到以下各项中的至少一个：(a)所述第一客户端设备中的至少一些；或者(b)所述第二客户端设备。


3.根据权利要求1所述的装置，其中，所述卷积神经网络配置器用于通过配置神经元的数量或者配置所述第二卷积神经网络中的神经元如何连接中的至少一项来配置所述第二卷积神经网络的结构。


4.根据权利要求1所述的装置，其中，所述测试器用于通过(a)准确地标识存在于输入数据中的特征；或者(b)不标识不存在于所述输入数据中的特征中的至少一项来确定以下各项中的至少一个是否满足特征识别准确度阈值：(a)所述更新后的加权值的集合；或者(b)来自所述更新后的加权值的集合的所述更新后的加权值的组合。


5.根据权利要求1所述的装置，其中，所述第一客户端设备是移动相机。


6.根据权利要求1所述的装置，其中，在所述第一客户端设备处生成的所述传感器数据是视觉捕获数据、音频数据或运动数据中的至少一个。


7.根据权利要求1所述的装置，其中，所述通信接口、所述测试器和所述分发选择器是在服务器处实现的。


8.一种提供用于卷积神经网络的加权的装置，所述装置包括：
用于测试以下各项中的至少一个的性能的模块：(a)更新后的加权值的集合；或者(b)第一卷积神经网络中的更新后的加权值的组合，所述更新后的加权值是经由网络从第一客户端设备获得的，所述更新后的加权值是由所述第一客户端设备基于以下各项训练相应的第二卷积神经网络而生成的：(a)第一加权值；以及(b)在所述第一客户端设备处生成的传感器数据；以及
用于根据以下各项中的至少一个选择服务器同步的加权值的模块：(a)所述更新后的加权值的集合；或者(b)所述更新后的加权值的组合。


9.根据权利要求8所述的装置，还包括：用于配置所述第二卷积神经网络的结构的模块；以及用于进行通信以将所述第二卷积神经网络的至少一部分发送到以下各项中的至少一个的模块：(a)所述第一客户端设备中的至少一些；或者(b)所述第二客户端设备。


10.根据权利要求9所述的装置，其中，用于配置所述结构的所述模块用于通过配置神经元的数量或者配置所述第二卷积神经网络中的神经元如何连接中的至少一项来配置所述第二卷积神经网络的结构。


11.根据权利要求8所述的装置，其中，用于测试的所述模块用于通过(a)准确地标识存在于输入数据中的特征；或者(b)不标识不存在于所述输入数据中的特征中的至少一项来确定以下各项中的至少一个是否满足特征识别准确度阈值：(a)所述更新后的加权值的集合；或者(b)所述更新后的加权值的组合。


12.根据权利要求8所述的装置，其中，所述第一客户端设备是移动相机。


13.根据权利要求8所述的装置，其中，在所述第一客户端设备处生成的所述传感器数据是视觉捕获数据、音频数据或运动数据中的至少一个。


14.根据权利要求8所述的装置，还包括：用于将所述第一加权值经由所述网络传送到所述第一客户端设备的模块。


15.一种非暂时性计算机可读存储介质，包括指令，所述指令当被执行时使得至少一个处理器至少进行以下操作：
经由网络将第一加权值发送到第一客户端设备；
访问由所述第一客户端设备经由所述网络提供的更新后的加权值的集合，所述更新后的加权值是由所述第一客户端设备基于以下各项训练相应的第一卷积神经网络而生成的：(a)所述第一加权值；以及(b)在所述第一客户端设备处生成的传感器数据；
在第二卷积神经网络中测试以下各项中的至少一个的性能：(a)所述更新后的加权值的集合；或者(b)来自所述更新后的加权值的集合的更新后的加权值的组合；
基于测试，根据以下各项中的至少一个选择服务器同步的加权值：(a)所述更新后的加权值的集合；或者(b)来自所述更新后的加权值的集合的所述更新后的加权值的组合；以及
将所述服务器同步的加权值发送到以下各项中的至少一个：(a)所述第一客户端设备中的至少一些；或者(b)第二客户端设备。

【专利技术属性】
技术研发人员：D·莫洛尼，A·德加尼，A·K·邓恩，
申请(专利权)人：莫维迪乌斯有限公司，
类型：发明
国别省市：荷兰;NL