用于图像处理的软件开发工具包制造技术

模块化图像处理SDK包括API，该API从在包括摄像装置的便携式设备上运行的第三方软件接收API调用。SDK逻辑接收并处理从API接收的命令和参数，该命令和参数基于从第三方软件接收的API调用。标注系统基于由标注系统从SDK逻辑接收的图像处理指令和参数对来自摄像装置的馈送执行图像处理操作。图像处理至少部分地基于增强现实内容生成器数据(或AR内容生成器)、用户输入和传感器数据。器)、用户输入和传感器数据。器)、用户输入和传感器数据。

【技术实现步骤摘要】
【国外来华专利技术】用于图像处理的软件开发工具包
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月10日提交的美国临时专利申请序列第63/037,348号以及于2021年5月3日提交的美国专利申请序列第17/302,424号的权益，上述申请中的每一个的内容通过引用整体并入本文中。

技术介绍

[0003]随着数字图像的使用的增加、便携式计算设备的可负担性、数字存储介质的增加的容量的可得性以及网络连接的增加的带宽和可访问性，数字图像和视频已成为越来越多人日常生活的一部分。另外，设备用户的预期还在于，在便携式计算设备上使用app的体验将继续变得更加复杂巧妙和媒体丰富。
附图说明
[0004]在不一定按比例绘制的附图中，相似的附图标记可以在不同视图中描述类似的部件。为了容易地识别对任何特定元件或动作的讨论，附图标记中的一个或多个最高位数字指代该元件被首次引入时所在的图号。在附图的图中，通过示例而非限制的方式示出了实施方式，在附图中：
[0005]图1是根据一些示例的其中可以部署本公开内容的联网环境的图解表示。
[0006]图2是图1中示出的app的架构及其与图1的开发者数据库和SDK服务器系统的关系的图解表示。
[0007]图3是示出图2的标注系统的各种模块的框图。
[0008]图4示出了描绘用于选择AR内容生成器数据并将其应用于媒体内容的轮播的示例用户界面。
[0009]图5示出了描绘可以被提供给图4的用户界面的可选特征的示例用户界面。
[0010]图6示出了可能由对图4和图5的用户界面的进一步用户动作产生的示例用户界面。
[0011]图7示出了如果存在仅一个可用的AR内容生成器则可以显示的用户界面。
[0012]图8是示出用于导航图4至图7的用户界面的示例方法的流程图。
[0013]图9是根据一些示例的呈计算机系统形式的机器的图解表示，在该计算机系统内可以执行指令的集合以使机器执行本文中讨论的方法中任何一种或更多种。
[0014]图10是示出可以在其中实现示例的软件架构的框图。
具体实施方式
[0015]具有一系列兴趣并且来自不同位置的用户可以捕获各种被摄体的数字图像，并且使其他人能够经由网络例如因特网获得捕获的图像。使得计算设备能够对在各种各样的变化条件(例如，图像比例、噪声、照明、移动或几何失真的改变)下捕获的各种对象和/或特征执行图像处理或图像增强操作可以是具有挑战性的且计算密集型的。
[0016]另外，用于在个人设备上使用的app的第三方开发者可能想要提供增强的视觉效果，但是可能不具有在他们的app中提供这样的效果的技术知识或预算。支持增强的视觉效果的系统和技术的原始开发者(SDK提供者)可以通过提供模块化软件开发工具包(SDK)来使得能够在由第三方app开发者发布的app中使用这样的效果，如以下更详细地描述的。如本文中所使用的，术语“第三方开发者”、“app开发者”和“开发者”不限于实际开发者本身，而是包括托管、提供或拥有可能最初由其他人开发的相关软件、app、SDK或服务的人和实体。
[0017]在一些情况下，SDK的提供者还提供如本文中所述的包括图像修改能力的消息收发应用。SDK向第三方提供对这样的图像修改能力的访问，以使得第三方能够独立于启动SDK提供者的消息收发应用而在第三方的app中提供图像修改特征。
[0018]如本文中所讨论的，主题基础设施支持在由app开发者发布的app中创建、查看和/或共享交互式或增强的二维或三维媒体。主题系统还支持由第三方开发者创建、存储和加载外部效果和资产数据，以供在客户端设备上运行的app使用。
[0019]如本文中所述的，用于增强的图像、视频或其他媒体可以从现场摄像装置捕获，或者可以从本地或远程数据存储装置检索。在一个示例中，除了常规的图像纹理之外，还使用主题系统来呈现图像以使摄像装置所看到的空间细节/几何形状可视化。当观看者通过移动客户端设备与该图像交互时，该移动触发向观看者呈现图像和几何形状的视角的对应改变。
[0020]如本文中所提及的，短语“增强现实体验”包括或指代与如本文中进一步描述的图像修改、过滤器、媒体覆盖、变换等对应的各种图像处理操作。在一些示例中，这些图像处理操作提供了真实世界环境的交互体验，其中真实世界中的对象、表面、背景、照明等通过计算机生成的感知信息增强。在该上下文中，“增强现实内容生成器”包括将选择的增强现实体验应用于图像或视频馈送所需的数据、参数和其他资产的集合。在一些示例中，增强现实内容生成器由Snap公司以注册商标LENSES提供。
[0021]在一些示例中，增强现实内容生成器包括被配置成以某种方式修改或变换在客户端设备的GUI内呈现的图像数据的增强现实(或“AR”)内容。例如，可以使用AR内容生成器数据来执行对内容图像的复杂添加或变换，例如向视频片段中的人的头部添加兔耳、向视频片段添加具有背景着色的浮动心、改变视频片段内的人的特征的比例、向在客户端设备上观看的场景中的界标添加增强或者许多其他这样的变换。这包括实时修改以及对存储的内容(例如图库中的视频片段)的修改，实时修改在使用与客户端设备相关联的摄像装置捕获图像时修改图像，该图像然后在有AR内容生成器修改的情况下显示在客户端设备的屏幕上，存储的内容例如可以使用AR内容生成器修改。例如，在具有多个AR内容生成器的创建者简档中，授权的第三方开发者可以使用具有多个AR内容生成器的单个视频片段来查看不同的AR内容生成器将如何修改存储的片段。类似地，实时视频捕获可以与AR内容生成器一起使用以在其显示器上向客户端设备的用户示出当前正由设备的传感器捕获的视频图像将如何修改捕获的数据。这样的数据可以简单地显示在屏幕上而不存储在存储器中，由设备传感器捕获的内容可以在有或没有AR内容生成器修改(或两者)的情况下被记录和存储在存储器中，或者由设备传感器捕获的内容可以与AR内容生成器修改一起通过网络102发送至服务器或另一客户端设备。
[0022]因此，AR内容生成器以及用于使用AR内容生成器来修改内容的相关联的系统和模块可以涉及：对象(例如，面部、手、身体、猫、狗、表面、对象等)的检测，在这样的对象离开、进入视频帧中的视场以及在视频帧中的视场四处移动时对这样的对象的跟踪，以及在这样的对象被跟踪时对这样的对象的修改或变换。在各种示例中，可以使用用于实现这样的变换的不同方法。例如，一些示例可能涉及生成一个或多个对象的3D网格模型，并且在视频内使用模型的变换和动画纹理来实现变换。在其他示例中，可以使用对对象上的点的跟踪来将图像或纹理(其可以是二维或三维的)放置在所跟踪的位置处。在更进一步的示例中，可以使用视频帧的神经网络分析来将图像、模型或纹理放置在内容(例如，视频的帧或图像)中。因此，AR内容生成器数据可以包括以下两者：用于在内容中创建变换的图像、模型和纹理，以及通过对象检测、跟踪和放置(placement)实现这样的变换所需的附加建模和分析信息。
[0023]在一个方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种软件开发工具包(SDK)，包括：应用编程接口(API)，其从在便携式设备上运行的第三方应用接收API调用，所述便携式设备包括摄像装置；SDK逻辑，其接收和处理从所述API接收的命令和参数，所述命令和参数基于从所述第三方应用接收的所述API调用；以及标注系统，其基于由所述标注系统从所述SDK逻辑接收的图像处理指令和参数，为所述第三方应用对来自所述摄像装置的馈送执行图像处理操作。2.根据权利要求1所述的SDK，其中，所述标注系统基于增强现实内容生成器数据对来自所述摄像装置的馈送进行操作。3.根据权利要求2所述的SDK，其中，所述增强现实内容生成器数据由所述SDK逻辑从由所述SDK的提供者托管的服务器接收。4.根据权利要求3所述的SDK，其中，所述第三方应用从由所述第三方应用的提供者或开发者托管的服务器接收用于处理的第三方数据。5.根据权利要求1所述的SDK，其中，所述SDK逻辑从由所述SDK的提供者托管的服务器获得所述图像处理指令和参数。6.根据权利要求5所述的SDK，其中，所述图像处理指令和参数存储在所述便携式设备上的本地数据存储装置中。7.根据权利要求5所述的SDK，其中，如果所述SDK不能从所述便携式设备中的本地数据存储装置检索到所述图像处理指令和参数，则所述SDK逻辑从由所述SDK的提供者托管的服务器获得所述图像处理指令和参数。8.根据权利要求1所述的SDK，其中，所述图像处理操作对应于在消息收发应用上可获得的图像处理操作，所述图像处理操作能够在所述消息收发应用不启动的情况下经由所述SDK被获得。9.根据权利要求3所述的SDK，其中，所述图像处理操作对应于在消息收发应用上可获得的图像处理操作，所述图像处理操作能够在所述消息收发应用不启动的情况下经由所述SDK被获得，并且所述SDK的提供者也是所述消息收发应用的提供者。10.根据权利要求1所述的SDK，其中，所述图像处理操作对应于在消息收发应用上可获得的图像处理操作，所述第三方应用...

【专利技术属性】
技术研发人员：埃博尼，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：