【技术实现步骤摘要】
【国外来华专利技术】从图像生成对象嵌入
技术介绍
本说明书涉及使用神经网络处理图像。机器学习模型接收输入并基于接收到的输入生成输出，例如预测的输出。一些机器学习模型是参数模型，并且基于接收到的输入和模型的参数的值生成输出。一些机器学习模型是深度模型，该深度模型采用多层模型来针对接收到的输入生成输出。例如，深度神经网络是深度机器学习模型，该深度机器学习模型包括输出层和一个或多个隐藏层，每个隐藏层对接收到的输入应用非线性变换以生成输出。
技术实现思路
本说明书描述了一种在一个或多个位置的一个或多个计算机上实现为计算机程序的方法，用于训练对象嵌入(embedding)系统。根据第一方面，提供了一种用于对象嵌入系统的端到端训练的方法，该方法包括：在多个图像上迭代地训练对象嵌入系统，每一个图像描绘特定类型的对象，训练的每个迭代包括：将所选图像作为输入提供给对象嵌入系统并生成相应的嵌入，其中对象嵌入系统包括缩略(thumbnailing)神经网络和嵌入神经网络，其中每个神经网络包括多个相互排斥的连续层，并且其中使用对象嵌入系统生成图像中描绘的...
【技术保护点】
1.一种用于对象嵌入系统的端到端训练的计算机实现的方法，所述方法包括：/n在多个图像上迭代地训练对象嵌入系统，所述图像中的每一个描绘特定类型的对象，训练的每次迭代包括：/n将所选图像作为输入提供给对象嵌入系统并生成相应的嵌入，其中所述对象嵌入系统包括缩略神经网络和嵌入神经网络，其中每个神经网络包括多个彼此排斥的连续层，并且其中使用所述对象嵌入系统生成图像中描绘的对象的嵌入包括：/n生成图像中描绘的对象的缩略表示作为缩略神经网络的输出，其中所述缩略神经网络根据缩略神经网络参数的集合的值处理输入以：/n确定定义缩略表示的像素和图像的像素之间的对应关系的空间变换的参数的值；以及/...
【技术特征摘要】
【国外来华专利技术】20171120 US 15/818,1241.一种用于对象嵌入系统的端到端训练的计算机实现的方法，所述方法包括：
在多个图像上迭代地训练对象嵌入系统，所述图像中的每一个描绘特定类型的对象，训练的每次迭代包括：
将所选图像作为输入提供给对象嵌入系统并生成相应的嵌入，其中所述对象嵌入系统包括缩略神经网络和嵌入神经网络，其中每个神经网络包括多个彼此排斥的连续层，并且其中使用所述对象嵌入系统生成图像中描绘的对象的嵌入包括：
生成图像中描绘的对象的缩略表示作为缩略神经网络的输出，其中所述缩略神经网络根据缩略神经网络参数的集合的值处理输入以：
确定定义缩略表示的像素和图像的像素之间的对应关系的空间变换的参数的值；以及
使用空间变换和图像生成缩略表示作为输出；
通过将缩略表示作为输入提供给嵌入神经网络来生成嵌入，所述嵌入神经网络被配置为根据嵌入神经网络参数的集合的值来处理缩略表示，以生成嵌入作为输出；
基于损失函数确定梯度，以减小相同对象实例的嵌入之间的距离，并增大不同对象实例的嵌入之间的距离；以及
使用梯度调整空间变换器神经网络参数的集合的值和所述嵌入神经网络参数的集合的值。
2.根据权利要求1所述的计算机实现的方法，其中，所述对象嵌入系统还包括检测神经网络，所述检测神经网络包括多个连续层，以及使用所述对象嵌入系统生成图像中描绘的对象的嵌入还包括：
通过将图像作为输入提供给检测神经网络来生成图像的编码表示，其中所述检测神经网络被配置为根据检测神经网络参数的集合的值来处理图像，以生成图像的编码表示；以及
将图像的编码表示作为输入提供给缩略神经网络。
3.根据权利要求2所述的计算机实现的方法，其中预训练所述检测神经网络以生成图像的编码表示，所述图像的编码表示包括识别图像中特定类型的对象的预测位置的数据。
4.根据任一项前述权利要求所述的计算机实现的方法，其中，基于所述特定类型的对象的不是由缩略神经网络生成的缩略表示来预训练嵌入神经网络。
5.根据任一项前述权利要求所述的计算机实现的方法，其中，对于每个所选图像，基于损失函数确定梯度还包括：
确定由缩略神经网络生成的缩略表示的关键点的位置；
确定缩略表示的关键点在图像的参考帧中的位置；以及
减小图像中描绘的特定类型的对象的...
【专利技术属性】
技术研发人员：GF施罗夫，D卡列尼琴科，叶可人，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。