视频数据处理方法、装置、电子设备和介质制造方法及图纸

本公开提供一种视频数据处理方法、装置、电子设备和介质。视频数据处理方法包括：获取待处理的视频数据；对视频数据进行拆分，以获取多个第一图像帧；针对多个第一图像帧中的每个第一图像帧：对该第一图像帧进行图像处理，以获取图像处理结果；对该第一图像帧进行压缩，以获取压缩结果；以及将压缩结果与图像处理结果打包，以获取数据包。该方法还包括：将多个第一图像帧的数据包提供给与服务器通信连接的至少一个客户端，以使至少一个客户端中的每个客户端能够基于数据包生成经渲染的视频数据。数据。数据。

【技术实现步骤摘要】
视频数据处理方法、装置、电子设备和介质


[0001]本公开涉及计算机
，尤其涉及一种视频数据处理方法、视频数据处理装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能相关技术被越来越多地应用到图像与视频处理中。例如，可以根据用户的不同需求，对图像或视频进行不同方式的运算处理，并将运算结果提供给用户。对于运算量较高的数据处理任务，通常可以在服务器处部署人工智能算力(例如神经网络模型)，并由服务器向客户端提供相应的运算结果。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0004]本公开提供了一种视频数据处理方法、视频数据处理装置、电子设备、计算机可读存储介质和计算机程序产品。
[0005]根据本公开的一方面，提供了一种视频数据处理方法，应用于服务器。该方法包括：获取待处理的视频数据；对视频数据进行拆分，以获取多个第一图像帧；针对多个第一图像帧中的每个第一图像帧：对该第一图像帧进行图像处理，以获取图像处理结果；对该第一图像帧进行压缩，以获取压缩结果；以及将压缩结果与图像处理结果打包，以获取数据包。该方法还包括：将多个第一图像帧的数据包提供给与服务器通信连接的至少一个客户端，以使至少一个客户端中的每个客户端能够基于数据包生成经渲染的视频数据。
[0006]根据本公开的另一方面，提供了一种视频数据处理方法，应用于客户端。该方法包括：从与客户端通信连接的服务器获取多个数据包；针对多个数据包中的每个数据包：对该数据包进行拆分，以获取压缩结果和与压缩结果相对应的图像处理结果，压缩结果是由服务器对第一图像帧进行压缩而获取的；针对压缩结果和相对应的图像处理结果获取标识；对压缩结果进行解压缩，以获取第二图像帧；以及根据标识，对第二图像帧和与第二图像帧相对应的图像处理结果进行渲染，以获取渲染图像帧。该方法还包括：基于多个数据包的渲染图像帧，生成经渲染的视频数据。
[0007]根据本公开的另一方面，提供了一种视频数据处理装置，应用于服务器。该装置包括：视频数据获取单元，被配置为获取待处理的视频数据；拆分单元，被配置为对视频数据进行拆分，以获取多个第一图像帧；视频数据处理单元，被配置为针对多个第一图像帧中的每个第一图像帧：对该第一图像帧进行图像处理，以获取图像处理结果；对该第一图像帧进行压缩，以获取压缩结果；以及将压缩结果与图像处理结果打包，以获取数据包；以及视频数据发送单元，被配置为将多个第一图像帧的数据包提供给与服务器通信连接的至少一个客户端，以使至少一个客户端中的每个客户端能够基于数据包生成经渲染的视频数据。
[0008]根据本公开的另一方面，提供了一种视频数据处理装置，应用于客户端。该装置包括：数据包获取单元，被配置为从与客户端通信连接的服务器获取多个数据包；图像渲染单元，被配置为针对多个数据包中的每个数据包：对该数据包进行拆分，以获取压缩结果和与压缩结果相对应的图像处理结果，压缩结果是由服务器对第一图像帧进行压缩而获取的；针对压缩结果和相对应的图像处理结果获取标识；对压缩结果进行解压缩，以获取第二图像帧；以及根据标识，对第二图像帧和与第二图像帧相对应的图像处理结果进行渲染，以获取渲染图像帧；以及视频渲染单元，被配置为基于多个数据包的渲染图像帧，生成经渲染的视频数据。
[0009]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的视频数据处理方法。
[0010]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上述的视频数据处理方法。
[0011]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的视频数据处理方法。
[0012]根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
[0013]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0014]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0015]图2示出了根据本公开的实施例的视频数据处理方法的流程图；
[0016]图3示出了根据本公开的实施例的视频数据处理方法的流程图；
[0017]图4示出了根据本公开的实施例的图3中视频数据处理方法的部分过程的流程图；
[0018]图5示出了根据本公开的实施例的视频数据处理装置的结构框图；
[0019]图6示出了根据本公开的实施例的视频数据处理装置的结构框图；以及
[0020]图7是示出能够应用于示例性实施例的示例性电子设备的框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些
情况下，基于上下文的描述，它们也可以指代不同实例。
[0023]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0024]在人工智能视觉领域，因不同的业务需求，可能需要对原始视频数据进行处理，例如利用人工智能模型对视频数据进行处理以得到处理结果，再对处理结果与视频数据进行渲染以进行显示。在智慧城市或安保监控场景中，可以将视频数据输入神经网络模型，以对视频中的人物进行识别并对识别到的人物进行标注，由此可以在渲染的视频中针对其中的人物叠加显示识别结果(例如可以在监控视频中标注人脸识别结果或其他体貌特征的识别结果)。
[0025]在一些实施例中，可以利用服务器对视频数据进行人工智能处理，服务器完成人工智能处理后，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频数据处理方法，应用于服务器，所述方法包括：获取待处理的视频数据；对所述视频数据进行拆分，以获取多个第一图像帧；针对所述多个第一图像帧中的每个第一图像帧：对该第一图像帧进行图像处理，以获取图像处理结果；对该第一图像帧进行压缩，以获取压缩结果；以及将所述压缩结果与所述图像处理结果打包，以获取数据包；以及将所述多个第一图像帧的数据包提供给与所述服务器通信连接的至少一个客户端，以使所述至少一个客户端中的每个客户端能够基于所述数据包生成经渲染的视频数据。2.根据权利要求1所述的方法，其中，对所述第一图像帧进行图像处理包括：将所述第一图像帧输入人工智能模型，以获取所述人工智能模型输出的包围所述第一图像帧中的对象的检测框和针对所述对象的目标检测结果。3.根据权利要求1或2所述的方法，其中，所述压缩结果包括由网络抽象层NAL处理得到的NAL包。4.根据权利要求1或2所述的方法，其中，将所述数据包提供给与所述服务器通信连接的至少一个客户端包括：通过缓存或消息队列将所述数据包提供给所述至少一个客户端。5.一种视频数据处理方法，应用于客户端，所述方法包括：从与所述客户端通信连接的服务器获取多个数据包；针对所述多个数据包中的每个数据包：对该数据包进行拆分，以获取压缩结果和与所述压缩结果相对应的图像处理结果，其中，所述压缩结果是由所述服务器对第一图像帧进行压缩而获取的；针对所述压缩结果和所述相对应的图像处理结果获取标识；对所述压缩结果进行解压缩，以获取第二图像帧；以及根据所述标识，对所述第二图像帧和与所述第二图像帧相对应的所述图像处理结果进行渲染，以获取渲染图像帧；以及基于所述多个数据包的渲染图像帧，生成经渲染的视频数据。6.根据权利要求5所述的方法，其中，根据所述标识，对所述第二图像帧和与所述第二图像帧相对应的所述图像处理结果进行渲染包括：将所述第二图像帧渲染到第一图层；将具有与所述第二图像帧相同标识的图像处理结果渲染到第二图层，其中，所述第二图层具有透明背景；以及将所述第一图层与所述第二图层叠加，以获取所述渲染图像帧。7.根据权利要求5或6所述的方法，...

【专利技术属性】
技术研发人员：林先炎，李辰，汤凯，方洁，熊荆武，何兴，
申请(专利权)人：瀚博半导体上海有限公司，
类型：发明
国别省市：