基于Web的视频效果添加制造技术

本公开提供了用于实现视频效果添加的方法和装置。在目标应用处，可以从视频源处获取原始视频帧，可以向视频效果处理应用提供所述原始视频帧，其中所述视频效果处理应用是Web应用，以及可以从所述视频效果处理应用处获取施加了视频效果的经处理视频帧。在视频效果处理应用处，可以从目标应用处获取原始视频帧，可以对所述原始视频帧施加视频效果以得到经处理视频帧，以及可以向所述目标应用提供所述经处理视频帧。经处理视频帧。经处理视频帧。

【技术实现步骤摘要】
基于Web的视频效果添加

技术介绍

[0001]在视频相关场景中，存在视频效果添加的需求。用户可能希望在使用视频相关应用过程中能够对视频施加视频效果。在本文中，视频相关应用可以指涉及到对视频的捕获、传输、呈现等操作的各种应用，例如，在线会议应用、视频流服务应用等。此外，对视频施加视频效果可以广泛地指对视频帧中的像素进行编辑或改变，例如，对像素执行删除、替换、增加、修改等操作。以在线会议应用为例，会议参与者可能希望对摄像头所捕获的该会议参与者的原始视频画面施加视频效果，例如，施加滤镜，以便将原始视频画面改变为具有所期望的视频效果。

技术实现思路

[0002]提供本
技术实现思路
以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本
技术实现思路
并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。
[0003]本公开的实施例提出了用于实现视频效果添加的方法和装置。在一些实施例中，在目标应用处，可以从视频源处获取原始视频帧，可以向视频效果处理应用提供所述原始视频帧，其中所述视频效果处理应用是Web应用，以及可以从所述视频效果处理应用处获取施加了视频效果的经处理视频帧。在一些实施例中，在视频效果处理应用处，可以从目标应用处获取原始视频帧，可以对所述原始视频帧施加视频效果以得到经处理视频帧，以及可以向所述目标应用提供所述经处理视频帧。
[0004]应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。
附图说明
[0005]以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。
[0006]图1示出了根据实施例的用于实现视频效果添加的示例性架构。
[0007]图2示出了根据实施例的用于实现视频效果添加的示例性过程。
[0008]图3示出了根据实施例的、在目标应用是Web应用的情况下的用于实现视频效果添加的示例性过程。
[0009]图4示出了根据实施例的、在目标应用是桌面应用的情况下的用于实现视频效果添加的示例性过程。
[0010]图5示出了根据实施例的、在目标应用是桌面应用的情况下的用于实现视频效果添加的示例性过程。
[0011]图6A至图6D示出了根据实施例的实现视频效果添加的示例性用户界面。
[0012]图7示出了根据实施例的用于实现视频效果添加的示例性方法的流程图。
[0013]图8示出了根据实施例的用于实现视频效果添加的示例性方法的流程图。
[0014]图9示出了根据实施例的用于实现视频效果添加的示例性装置。
[0015]图10示出了根据实施例的用于实现视频效果添加的示例性装置。
[0016]图11示出了根据实施例的用于实现视频效果添加的示例性装置。
具体实施方式
[0017]现在将参考多种示例性实施方式来讨论本公开。应当理解，这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开的实施例，而并非教导对本公开的范围的任何限制。
[0018]由于视频效果是性能敏感的，传统的视频效果通常被实现为从例如C/C++等编程语言所编译的二进制代码。与视频效果对应的这些二进制代码将形成单独的二进制代码库。如果想要在视频相关应用中提供视频效果添加功能，则需要预先下载并安装用于施加视频效果的二进制代码库。该二进制代码库被嵌入到视频相关应用中，并且作为视频相关应用的用于提供视频效果添加功能的底层代码。当向视频施加视频效果时，需要在本地机器中运行与该视频效果对应的二进制代码。二进制代码的安装和运行都将要求以较大的努力来避免安全风险问题。此外，二进制代码库的分发和升级过程较为复杂，为了提供视频效果添加功能，视频相关应用的开发者需要较大的努力来开发多种应用特征，以便对用于施加视频效果的二进制代码库执行下载、修订、更新、运行等处理。
[0019]本公开的实施例提出了基于Web的视频效果添加，例如，可以利用基于Web的视频效果处理应用来辅助目标应用实现视频效果添加。目标应用可以广泛地指需要视频效果添加的各种视频相关应用，例如，在线会议应用、视频流服务应用、视频编辑应用等。目标应用可以是Web应用、桌面(desktop)应用等。视频效果处理应用可以利用预先准备的视频效果库和视频效果算法来对视频帧施加视频效果。视频效果处理应用可以是Web应用，并且可以是在Web内容容器(container)中运行的普通Web页面。例如，视频效果处理应用可以是利用HTML、层叠样式表(CSS)、Javascript等来实现的Web页面。从而，视频效果处理应用可以在任意时间被加载而无需安装。Web内容容器可以指用于加载或运行应用的各种基于Web的容器，例如iframe(内联框架)、Webview(网页视图)等，其中，iframe是Web页面的HTML载体并且用于在Web页面或浏览器环境中加载一个Web页面，Webview是Web页面的原生(native)载体并且用于在原生环境中加载一个Web页面。当需要对视频帧施加视频效果时，可以通过Web内容容器来在目标应用中加载视频效果处理应用，以便视频效果处理应用可以对目标应用所提供的视频帧施加视频效果并且将施加了视频效果的经处理视频帧返回给目标应用。因此，目标应用也可以被视为是视频效果处理应用的宿主(host)应用。
[0020]与现有的视频相关应用将二进制代码库包含作为自身一部分以实现视频效果添加功能不同，根据本公开实施例的基于Web的视频效果处理应用可以是第三方应用，其可以在任意时间被目标应用加载而无需安装。从而，目标应用可以方便地接入由不同第三方开发的各种视频效果处理应用，以便获得更强的视频效果添加的扩展性，并且向用户提供更多样性的视频效果。此外，由于无需在本地机器中安装和运行与视频效果对应的二进制代码，本公开的实施例可以有效地避免安全风险问题。此外，基于Web的视频效果处理应用的
视频效果添加处理可以是在例如浏览器中管理和执行的，而浏览器具有自身的安全机制以避免所运行的脚本恶意地访问本地系统和资源，由此，本公开的实施例可以进一步有效地避免安全风险问题。
[0021]随着诸如WebAssembly、WebGL、WebGPU等Web技术的发展，可以高效地实现在浏览器中运行的视频效果。相应地，对基于Web页面的视频效果处理应用的开发、部署、升级等将变得更为容易。此外，由于各种Web技术是当前广泛使用的，这将促进更多第三方来开发可供目标应用使用的更多视频效果。
[0022]在目标应用是桌面应用的情况下，可以通过共享内存来在目标应用与视频效果处理应用之间高效地传送原始视频帧和经处理视频帧。可以通过进程间通信来实现目标应用与视频效果处理应用对共享内存的同步访问。此外，可以至少为视频效果处理应用设置定制应用编程接口(API)，以用于访问共享内存。通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于实现视频效果添加的方法，所述方法在目标应用处执行，并且所述方法包括：从视频源处获取原始视频帧；向视频效果处理应用提供所述原始视频帧，所述视频效果处理应用是Web应用；以及从所述视频效果处理应用处获取施加了视频效果的经处理视频帧。2.如权利要求1所述的方法，其中，所述目标应用是Web应用。3.如权利要求2所述的方法，其中，所述提供所述原始视频帧包括：以可传递数组缓冲区(ArrayBuffer)方式向所述视频效果处理应用提供所述原始视频帧，并且所述获取经处理视频帧包括：以可传递ArrayBuffer方式从所述视频效果处理应用处获取所述经处理视频帧。4.如权利要求1所述的方法，其中，所述目标应用是桌面应用。5.如权利要求4所述的方法，其中，所述提供所述原始视频帧包括：通过共享内存向所述视频效果处理应用提供所述原始视频帧，并且所述获取经处理视频帧包括：通过所述共享内存从所述视频效果处理应用处获取所述经处理视频帧。6.如权利要求5所述的方法，其中，所述提供所述原始视频帧包括：向所述共享内存中存储所述原始视频帧，并且所述获取所述经处理视频帧包括：从所述共享内存处读取所述经处理视频帧。7.如权利要求6所述的方法，其中，所述存储所述原始视频帧包括：利用定制API向所述共享内存中存储所述原始视频帧，并且所述读取所述经处理视频帧包括：利用所述定制API从所述共享内存处读取所述经处理视频帧。8.如权利要求5所述的方法，还包括：通过进程间通信，实现所述目标应用与所述视频效果处理应用对所述共享内存的同步访问。9.一种用于实现视频效果添加的方法，所述方法在视频效果处理应用处执行，所述视频效果处理应用是Web应用，并且所述方法包括：从目标应用处获取原始视频帧；对所述原始视频帧施加视频效果，以得到经处理视频帧；以及向所述目标应用提供所述经处理视频帧。10.如权利要求9所述的方法，其中，所...

【专利技术属性】
技术研发人员：卢勃，潘新，周民亮，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：