使用生成式对抗模型修改传感器数据制造技术

包括编码在计算机存储介质上的计算机程序的方法、系统和装置，其使用生成式对抗模型以将由第一环境传感器生成的传感器数据的质量提高到类似于由具有比第一环境传感器更高质量的另一传感器生成的传感器数据的质量。接收分别由具有第一质量的第一环境传感器和具有目标质量的第二传感器生成的第一训练数据集合和第二训练数据的集合。使用第一训练数据集合和第二训练数据集合训练生成式对抗模型，以通过减小由第一环境传感器生成的传感器数据与由目标环境传感器生成的传感器数据之间的质量的差异来修改来自第一环境传感器的传感器数据。感器数据。感器数据。

【技术实现步骤摘要】
【国外来华专利技术】使用生成式对抗模型修改传感器数据

技术介绍

[0001]本说明书涉及使用生成式对抗模型以将由第一环境传感器生成的传感器数据的质量提高到类似于由具有比第一环境传感器更高质量的另一传感器生成的传感器数据的质量。
[0002]环境传感器(例如，音频传感器、视频传感器和图像传感器)有不同的分辨率。作为结果，一些环境传感器具有比其他传感器更高的分辨率。例如，现代无反相机中的图像传感器通常具有比袖珍傻瓜相机中的图像传感器更高的分辨率。与具有较低分辨率环境传感器的设备相比，具有较高分辨率环境传感器的设备通常生成较高分辨率的媒体。

技术实现思路

[0003]总的来说，本说明书中描述的主题的一个创新方面可以体现在能够包括以下操作的方法中：接收由具有第一质量的第一环境传感器生成的第一训练数据集合，第一训练数据集合具有第一质量；接收由具有目标质量的目标环境传感器生成的第二训练数据集合，第二训练数据集合具有目标质量，并且第一质量与目标质量不同；使用第一训练数据集合和第二训练数据集合来训练生成式对抗模型，以通过减小由第一环境传感器生成的传感器数据与由目标环境传感器生成的传感器数据之间的质量差异来修改来自第一环境传感器的传感器数据，其中训练包括：从生成式对抗模型的生成器模型中并且使用第一训练数据集合中的一个或多个数据项，获得具有不同于第一质量的质量的经修改的传感器数据集合；将包括第二训练传感器数据集合和经修改的第一传感器数据集合中的一个或多个数据项的数据项集合输入到生成式对抗模型的鉴别器模型中；由鉴别器模型并且使用数据项集合来确定数据项集合中的每个数据项是否具有目标质量；当鉴别器模型确定由生成器模型生成的数据项集合中的数据项具有目标质量时，调整鉴别器模型和生成器模型；以及当鉴别器模型确定数据项集合中的由生成器模型生成的数据项不具有目标质量时，调整鉴别器模型和生成器模型。该方面的其他实施例包括被配置为执行方法的动作的相应系统、设备、装置和计算机程序。计算机程序(例如，指令)可以被编码在计算机存储设备上。这些和其他实施例可以各自可选地包括一个或多个以下特征。
[0004]在一些实施方式中，第一环境传感器和第二环境传感器中的每个可以获取声音、图像或视频中的一个。
[0005]在一些实施方式中，方法可以包括以下操作：接收由具有第一质量的第一环境传感器生成的第一传感器数据；将第一传感器数据输入到生成式对抗模型中；以及使用生成式对抗模型的生成器模型，基于输入的第一传感器数据获得经修改的传感器数据。
[0006]在一些实施方式中，方法可以包括：接收由具有第一质量的第一环境传感器生成的第一传感器数据；将关于第一环境传感器的信息输入到存储不同环境传感器的已知缺陷的已知缺陷数据结构中；从已知缺陷数据结构中获得第一环境传感器的已知缺陷；基于第一环境传感器的已知缺陷来调整第一传感器数据；将调整后的第一传感器数据输入到生成式对抗模型中；以及使用生成式对抗模型的生成器模型，基于调整后的第一传感器数据获
得经修改的传感器数据。
[0007]本说明书中描述的主题的特定实施例可以被实施为实现一个或多个以下优点。本说明书中描述的创新能够使用低分辨率环境传感器来生成具有比环境传感器的分辨率更高的分辨率的媒体。传统的环境传感器生成的传感器数据的分辨率与这些传感器的分辨率相同(或更低)。因此，环境传感器的分辨率与传感器所获取的传感器数据的分辨率之间存在直接的相关性。本说明书中描述的创新使用生成式对抗模型(也可以称为生成式对抗网络)以将由环境传感器生成的传感器数据修改成类似于由具有较高分辨率的不同环境传感器生成的传感器数据。作为结果，具有低分辨率的低成本传感器的设备可以被修改(如本说明书中所述)以生成按惯例仅由较昂贵、较高分辨率的传感器生成的高分辨率媒体。这允许，例如，用户体验高分辨率媒体内容，尽管该内容是用低分辨率传感器捕获的。此外，它允许具有较低成本和较低分辨率传感器的设备与使用具有较高分辨率的较昂贵传感器的设备在市场中竞争。
[0008]本说明书中描述的创新可以用于生成高分辨率媒体，尽管使用了较低分辨率传感器，这些传感器是部署这些传感器的环境所必需的。例如，一些户外应用只能容纳适用于恶劣环境(例如，户外、高湍流等)的低分辨率传感器。作为结果，与由较高分辨率传感器生成的媒体相比，由这些应用中使用的传感器生成的媒体通常具有较低的质量。本说明书中描述的创新能够修改由低分辨率传感器接收的传感器数据，以生成与由较高分辨率传感器生成的媒体类似的高分辨率媒体。
[0009]此外，本说明书中描述的创新能够使用有缺陷的传感器来生成高分辨率图像。传统的环境传感器可能具有某些缺陷(在传感器的使用期间存在或出现)。例如，图像传感器可能具有如色差或卡住像素(stuck pixel)等缺陷，这些缺陷可能在这些传感器的使用期间出现。在这样的情况下，可以修复图像传感器(由于图像传感器的复杂性，这可能是昂贵的)，或者用另一传感器来替换图像传感器。本说明书中描述的创新有助于避免对有缺陷的环境传感器这样的昂贵的修复或替换。本说明书中描述的创新通过使用已知缺陷数据结构和生成式对抗模型的组合(如下面进一步描述的)以将由有缺陷的传感器生成的传感器数据修改成类似于由正常运转的传感器获取的传感器数据来实施。
[0010]本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。本主题的其他特征、方面和益处将从描述、附图和权利要求中变得显而易见。
附图说明
[0011]图1是用于训练生成式对抗模型的示例环境的框图。
[0012]图2是用于训练生成式对抗模型的示例过程的流程图。
[0013]图3是其中生成式对抗模型用于修改从第一环境传感器接收的传感器数据的示例环境的框图。
[0014]图4是使用生成式对抗模型修改从第一环境传感器接收的传感器数据的示例过程的流程图。
[0015]图5是示例计算机系统的框图。
[0016]不同附图中的相同的附图标记和名称指示相同的元件。
具体实施方式
[0017]本说明书涉及使用模型(诸如生成式对抗模型)以将由第一环境传感器生成的传感器数据的质量提高到类似于由具有比第一环境传感器更高质量的另一传感器生成的传感器数据的质量。如在本说明书中所使用的，传感器数据的质量可以指传感器数据的测量方面，其中可以包括传感器数据的分辨率、错误率、保真度和信噪比等。虽然下面描述的示例实施方式使用生成式对抗模型，但是也可以使用其他机器学习系统。此外，虽然下面使用分辨率作为传感器数据质量度量来描述示例实施方式，但是其他传感器数据质量度量(例如，错误率、保真度和信噪比)可以用于实施本说明书中描述的操作和结构。
[0018]生成式对抗模型是神经网络模型，其使用两个相互竞争的神经网络模型来生成与训练数据集合具有相同特性的数据。两个相互竞争的神经网络模型是生成器模型和鉴别器模型。生成器模型的目标是生成类似于训练数据的数据，并且鉴别器模型的目标是区分真实数据(即，训练数据)和虚假数据(即，生成的数据)。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实施的方法，包括：接收由具有第一质量的第一环境传感器生成的第一训练数据集合，所述第一训练数据集合具有所述第一质量；接收由具有目标质量的目标环境传感器生成的第二训练数据集合，所述第二训练数据集合具有所述目标质量，并且所述第一质量与所述目标质量不同；使用所述第一训练数据集合和所述第二训练数据集合来训练生成式对抗模型，以通过减小由所述第一环境传感器生成的传感器数据与由所述目标环境传感器生成的传感器数据之间的质量的差异来修改来自所述第一环境传感器的传感器数据，其中，所述训练包括：从所述生成式对抗模型的生成器模型中并且使用所述第一训练数据集合中的一个或多个数据项，获得具有不同于所述第一质量的质量的经修改的传感器数据集合；将包括所述第二训练传感器数据集合和经修改的第一传感器数据集合中的一个或多个数据项的数据项集合输入到所述生成式对抗模型的鉴别器模型中；由所述鉴别器模型并且使用所述数据项集合来确定所述数据项集合中的每个数据项是否具有所述目标质量；当所述鉴别器模型确定所述数据项集合中的由所述生成器模型生成的数据项具有所述目标质量时，调整所述鉴别器模型和所述生成器模型；以及当所述鉴别器模型确定所述数据项集合中的由所述生成器模型生成的数据项不具有所述目标质量时，调整所述鉴别器模型和所述生成器模型。2.根据权利要求1所述的计算机实施的方法，其中，所述第一环境传感器和所述第二环境传感器中的每个获取声音、图像或视频中的一个。3.根据权利要求1所述的计算机实施的方法，还包括：接收由具有所述第一质量的所述第一环境传感器生成的第一传感器数据；将所述第一传感器数据输入到所述生成式对抗模型中；以及使用所述生成式对抗模型的所述生成器模型，基于输入的第一传感器数据获得经修改的传感器数据。4.根据权利要求1所述的计算机实施的方法，还包括：接收由具有所述第一质量的所述第一环境传感器生成的第一传感器数据；将关于所述第一环境传感器的信息输入到存储不同环境传感器的已知缺陷的已知缺陷数据结构中；从所述已知缺陷数据结构中获得所述第一环境传感器的已知缺陷；基于所述第一环境传感器的所述已知缺陷来调整所述第一传感器数据；将调整后的第一传感器数据输入到所述生成式对抗模型中；以及使用所述生成式对抗模型的所述生成器模型，基于所述调整后的第一传感器数据获得经修改的传感器数据。5.一种系统，包括：一个或多个存储器设备，其存储指令；以及一个或多个数据处理装置，被配置为与所述一个或多个存储器设备交互，并且在执行指令时，执行的操作包括：接收由具有第一质量的第一环境传感器生成的第一训练数据集合，所述第一训练数据
集合具有所述第一质量；接收由具有目标质量的目标环境传感器生成的第二训练数据集合，所述第二训练数据集合具有所述目标质量，并且所述第一质量与所述目标质量不同；使用所述第一训练数据集合和所述第二训练数据集合来训练生成式对抗模型，以通过减小由所述第一环境传感器生成的传感器数据与由所述目标环境传感器生成的传感器数据之间的质量的差异来修改来自所述第一环境传感器的传感器数据，其中，所述训练包括：从所述生成式对抗模型的生成器模型中并且使用所述第一训练数据集合中的一个或多个数据项，获得具有不同于所述第一质量的质量的经修改的传感器数据集合；将包括所述第二训练传感器数据集合和经修改的第一传感器数据集合中的一个或多个数据项的数据项集合输入到所述生成式对抗模型的鉴别器模型中；由所述鉴别器模型并且使用所述数据项集合来确定所述数据项集合中的每个数据项是否具有所述目标质量；当所述鉴别器模型确定所述数据项集合中的由所述生成器模型生成的数据项具有所述目标质量时，调整所述鉴别器模型和所述生成器模型；以及当所述鉴别器模型确定所述数据项集合中的由所述生成器模型生成的数据项不具有所述目标质量时，调整所述鉴别器模型和所述生成器模型。6....

【专利技术属性】
技术研发人员：V卡布恩，DM凯瑟斯，T德泽莱斯，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：